SVM理論

マインドマップ+復習の勉強サイクルでSVMの理論について学びなおし。
以前ざっと見た時は難しいという印象だったけど、今回は案外いける気がする。
これが新たに取り入れた勉強法のおかげなのか、それとも2回目だからなのかは定かではない。

理解具合

• ラグランジュの未定乗数法を使用…OK
• クーン・タッカー条件が成り立つ理由…△（なぜ鞍点になるのかがまだわかっていない。前提条件のような気もするが…）

列挙しようと思ったけど、実は線形SVMの肝は上の二つであることに気がついた。
あとは、双対問題に変換後、2次計画問題をいかに解くか。
SMOアルゴリズムが一般的な模様。
これは実装の話なので後で勉強する。

あと、緩和変数を用意して制約条件をゆるめてマージン領域にデータが入り込むことを許すのがソフトマージン。
線形分離不可能なときに、データを高次元空間に写像して線形分離できるデータ配置に変換することと同じ効果を生み出すのがカーネルトリック。
カーネルトリックは高次元空間への写像＋内積と同じ効果を与える関数にデータを突っ込む。
一般的なデータは、非線形でさらに完全な分離は困難と思われるので、非線形ソフトマージンSVMを使うのがベター。

理解が微妙なところ。

• カーネルトリックによってもクーン・タッカー条件が成り立つ理由

ぼちぼち勉強していく。
どうやら自分の提案手法に用いている考え方は若干怪しいことが発覚したかも。

現在用いている参考書

サポートベクターマシン (知の科学)