SVMの理論４

ソフトマージンSVMについて

ソフトマージンSVMはマージン領域にデータが入り込むことを許容したものである。
ノイズが含まれる実世界のデータに対して有効となる。

ここから新たな知識。
ソフトマージンSVMは緩和変数の形式により２種類存在する。
L1ソフトマージンSVMとL2ソフトマージンSVMである。
それぞれ特徴が違うらしく、これは後でもう少し詳しく調べていく。

今まで僕がソフトマージンSVMだと思っていたものはL1ソフトマージンSVMだった。
これは緩和変数によって制約が緩むが、その他の点はハードマージンSVMと同じになる。
具体的には、ラグラジアンにより双対問題に変換したときの目的関数はハードマージンSVMと同じになる。
ただし、ラグランジュ乗数の条件が、ハードマージンが0以上であるのに対し、ソフトマージンでは0以上マージンパラメータ（レギュラリゼーションパラメータ）以下となる。