続・SVM理論

昨日の続き。
KKT条件が成り立つのはなぜか、というところについて。
結局のところ、答えは最適化の式の形からそうなることが保証される定理である、というところかな。
マージン最大化を定式化とそのときの制約条件の形から、ラグランジュ関数を作るとKKT条件が成り立つようだ。

KKT条件が成り立つのは

• 上に凸な目的関数（つまり最大値を求めるための目的関数)
• 制約式がのように不等式であること

のようだ。
SVMではマージンの最大化を行い、マージン領域にデータが入り込むのを禁止するため<=という制約不等式が用いられるので、ラグランジュ関数を用いて双対問題に変換したときに、同時にKKT条件を満たすようだ。

一件落着。