機械学習と統計の関係(なんとなく版)

この前ごちゃごちゃっと書いたような書いてないようなことについて、テスト勉強中の機械学習のノートについて書かれていた。

最近傍学習は、学習用データが無限に存在するとき、ギブスのアルゴリズムに等しくなる。
k最近傍学習は、学習用パターンが無限に存在しているとき、ベイズ最適学習と等しくなる。

ギブスのアルゴリズムが良く分かっていないけど…
Gibbs measure - Wikipedia, the free encyclopedia


学習用データがむちゃくちゃいっぱいあったら、統計的な処理の話になっていくわけですね。
ここから、なんとなく機械学習の活躍の場がうっすらと見えてきたりこなかったり。