SVMをSVMたらしめているカーネルですが落とし穴があります。 カーネルについてよく言われることに、 どのようなカーネルを使うかより、カーネルパラメータをいかに設定するか ということがあります。 カーネルパラメータの設定がすごく重要ということです。 …

勉強したってほどではないけど、意味が理解できた。 疎な解＝サポートベクトルが見つかる、という認識でよさげ。 つまり、データ全てを用いなくても、サポートベクトル(全データの一部)さえあれば、最適な超平面を構成できる。 最適な超平面を構成できるとい…

マニュアルはちゃんと読もうという話。 LIBSVMの各種機能は関数として提供されているようだ。 良く分かっていなかったので、今まで約半年以上の間、システムコールでシェルから実行ファイルを呼び出していた。 なんと効率のよくないことをしていたのか。

SVMの実装まではまだ距離はあるので、少し方向転換して、現在使っているSVMのパッケージLIBSVMについて調べていく。 理論・実装の部分も引き続き調べていく。 LIBSVMはSVMで有名な実装の1つ。 後は、SVMLightとかTinySVMとか？？ LIBSVM↓ LIBSVM -- A Librar…

ソフトマージンSVMについてソフトマージンSVMはマージン領域にデータが入り込むことを許容したものである。 ノイズが含まれる実世界のデータに対して有効となる。 ここから新たな知識。 ソフトマージンSVMは緩和変数の形式により２種類存在する。 L1ソフトマ…

研究室に会ったのでこちらの本も読み始める。サポートベクターマシン入門作者: ネロクリスティアニーニ,ジョンショー‐テイラー,Nello Cristianini,John Shawe‐Taylor,大北剛出版社/メーカー: 共立出版発売日: 2005/03メディア: 単行本購入: 8人 クリック: 13…

KKT条件について ここを見ればよいと思われ http://www.indsys.chuo-u.ac.jp/~konnolab/lect/Optimization3.pdfSVMは非線形計画問題である。 制約条件が線形で、目的関数が上に凸の2次式のとき、２次計画と呼ぶ。SVMの制約条件はマージン領域にデータが入り…

昨日の続き。 KKT条件が成り立つのはなぜか、というところについて。 結局のところ、答えは最適化の式の形からそうなることが保証される定理である、というところかな。 マージン最大化を定式化とそのときの制約条件の形から、ラグランジュ関数を作るとKKT条…

とりあえず - Seeking for my unique color. 自分で自分を追い込んでみた。