overfitting

過学習よりもoverfittingの方がかっこよく聞こえる件。

今日の授業

• 機械学習
• ニューロサイエンス

の両方で、過学習に扱っていたので少々まとめてみる。

Overfitting - Wikipedia, the free encyclopedia
wikipediaのこの項目はなかなかすばらしいですよ。

統計でも使われる用語のようである。

統計の場合

In statistics, overfitting is fitting a statistical model that has too many parameters. An absurd and false model may fit perfectly if the model has enough complexity by comparison to the amount of data available.

多くのパラメータを持った統計モデルにfitすること、とのこと。
扱うことのできるデータが多くて、十分複雑なモデルを構成できるときはおかしな統計モデルにも適合してしまうらしい。
この変はよく分からないので、id:syou6162がいつか教えてくれるはず。

機械学習の場合

The concept of overfitting is important also in machine learning. Usually a learning algorithm is trained using some set of training examples, i.e. exemplary situations for which the desired output is known. The learner is assumed to reach a state where it will also be able to predict the correct output for other examples, thus generalizing to situations not presented during training (based on its inductive bias).

これは分かりやすい（すでに知識があるからか）。
典型的な場合であるトレーニングデータで学習させる、すなわち学習機械のパラメータを調整するわけだけど、典型的な場合と学習者が思っているトレーニングデータが、常に本当にある集団の典型的な場合を抜き出せているかの保証がないため、学習データの傾向からかけ離れたものに対しての正答率が著しく下がってしまうわけですね。

今日の講義で話されていたことについて言うと、過学習の問題はいろいろと議論されているらしい。
今のところ、学習データに対する正答率を余り高く設定しないことや、多目的で最適化を行ったりすることが有効であるという流れらしい。
人間で言うと、あまり丸暗記ばかりせずに、一つの物事にのめりこまずに周囲をいろいろ見て判断しろよ、みたいなところですか。
常識的といえば常識的すぐる。
overfittingの問題は、僕自身が悩まされていることでもあるので、いろいろと考えたり、調べたりする必要のあるテーマだ。