SICPの練習問題1.7を解くに辺り、浮動小数点の復習を行った。 というか、割と適当に流してたけど、この問題は奥が深いんだな。SICPの練習問題1.7自体はこちらを見てもらうとして、まずSICPを解くにあたり自分が利用しているGaucheでは、IEEEの64bit浮動小数…

一年以上パターン認識・機械学習の世界から離れていたので、ちょっと色々とひどいことになっています。といっても、一年前も大したことはなかったので、再勉強というところでしょうか。リハビリをかねてこちらの本を読んで、まとめつつ、基礎から学び直して…

僕は情報工学を選考してきた学生ではあるが、残念ながら大学の意味不明なカリキュラムにより，統計確率は必修ではないため、学部自体に確率についてまともに勉強する機会がなく、当然の事ながら大学院入試でも統計確率が試験科目としてなかったため、必要に…

今期の学生自主ゼミの対象物が俗ボケしすぎててワロタ。 どこかで見たことあるシリーズすぎるて、逆にやる気がおきないという罠。 ちなみに、学生自主ゼミのはずなのに、留学帰りの先生がこれを一緒に勉強したいから是非これをやろうよ、というやや強めの圧…

何となくだけど、検定の理解が深まった気がする。 これって、けっこう便利だね。 「何らかの分布に従ったサンプルが現在手元にある」ってのが、前提条件な訳ですな。 あと、Rって思っていた以上にすげぇ。 プログラミング言語っていう点でそう感じているとい…

英語の勉強。TOEIC対策というかなんというか。 授業の課題でUMLを書いた。 英語の論文を読みきった。タイトルで期待したが、それほどでもなかった。感覚で分かっていた部分を実験してくれていた。 英語の要約を書き終えた。まだ第一稿なので、これからしばか…

よくよく考えたら情報理論そのものをほとんど忘れている。 輪講の資料にも情報理論が扱われていて、用語の意味が分からなかったり忘れていたりしていた。 いい機会なので学び直してみる。 以下、厳密な定義というよりも自分の解釈＋イメージ 確率分布(Probab…

輪講形式の講義のテキストが英語だたorz Amazonで売ってなくて、ググっても一件しかヒットしないっていうのが先生らしくてワロタ An Information-Theoretic Approach to Neural Computing - Gustavo Deco - Google ブックス ニューラルネットワークはともか…

判別分析に用いられる二つの尺度のうち、線形判別関数でない方がマハラノビス距離である。 ということで、調べてみたけどなんだか難しめな感じ。 マハラノビス距離 - Wikipediaでもそんなに難しくなかった。 マハラノビス距離とは データ分布の広がりを加味…

判別分析とは、データのグループ分けを行う方法。 データを何がしかの基準で、二つに分類する。 分類の方法としては、超平面である線形判別関数を使う方法と、マハラノビス距離を使う方法がある。 今日は線形判別関数を使う方法を学んだ。 二つのグループに…

今さらながら勉強した。 難しいだろうと思って敬遠してたけど、けっこう面白い、っていうか多変量解析は普通に面白いな。 主成分分析とは データを取得したまま使用するのではなく、分散が最大になるような合成変量を作成して使用する。 これが一番の特徴で…

多変量解析を勉強してみる。 動機としては、実験結果にの検討に統計的な観点も加えたいから。 現在主成分分析辺りを勉強中。 これにRをかませれば、理論と実践の両方がおｋのはず。

これまで何かと逃げてきた英語にそろそろ本気で立ち向かうとする。村上式シンプル英語勉強法―使える英語を、本気で身につける作者: 村上憲郎出版社/メーカー: ダイヤモンド社発売日: 2008/08/01メディア: 単行本購入: 26人 クリック: 505回この商品を含むブ…

復習は大事だね。 つくづくこれをサボってきたので、右から左へ身につけたことを流してた。 というのもトニー・ブザン 頭がよくなる本作者: トニーブザン,Tony Buzan,佐藤哲,田中美樹出版社/メーカー: 東京図書発売日: 2006/09メディア: 単行本購入: 27人 ク…

オライリーの本なんか置いてないと思っていた本屋に平積みにされていたことに動揺してしまったのか、気にはなってはいたもののしばらく購入予定はなかったのに気付くと買っていた。 これが衝動買いってやつね。集合知プログラミング作者: Toby Segaran,當山…

NNについてのレポートを書いた。 その過程でいろいろ分かったことのメモ。バックプロパゲーションは最急降下法とほぼ同じ。 違いは慣性項の部分のみ。 シグモイド関数とかヘビサイド関数とかの微分ができれば、基本的にはごくごく簡単な変化量を求めて更新を…

Radial-Basis Functionについての非常に分かりやすい解説を見つけたのでメモ。 楽天が運営するポータルサイト ： 【インフォシーク】Infoseek

この前ごちゃごちゃっと書いたような書いてないようなことについて、テスト勉強中の機械学習のノートについて書かれていた。 最近傍学習は、学習用データが無限に存在するとき、ギブスのアルゴリズムに等しくなる。 ｋ最近傍学習は、学習用パターンが無限に…

が、できたよー 中間層の数や、学習係数、安定化定数にはまだまだ検討の余地があるけど、一応完成した。 以下が仕様 5*5のマス目で入力を行う。数字の1を使って文字入力。 こんな感じ（1の場合） 00100 01100 10100 00100 11111 出力は入力文字の2進数表記 …

階層型NNの多出力バージョンが完成した。 まぁ一出力の場合とほとんど変わらなかったかな、と。 正直ずっとSVMしか使ってこなかったから、NNの有効さはまだ分かっていない。 ちょっと使ってみたところ、やはり汎化性能に難ありなのかもしれない。 追記 うぉ…

BP法の実装がようやく完了した。 ってか、どれだけかかってるんだよ、俺！ 教科書をちゃんと読まないので重みの接続をひたすら間違えていた。 あと、おもしろいのが、安定化定数が意外に重要であるということ。 安定化定数が大きすぎると、変なところで収束…

テスト難しすぎてワロタ

昨日のエントリ ちょｗｗｗ - rindai87の日記 のしましまさんのコメントより 機械学習は，カーネルなどのモデルに大きく予測性能が依存依存します．また，no free lunch定理いうものがあり，いかなる問題に対しても他より高い予測性能を示すモデルは存在しえ…

テストやばいかも〜

よくよく考えると去年はテストらしいテストが院試だけだったので、テスト勉強はほぼ一年ぶりということらしい。 うん、興味が薄い科目の勉強はやっぱり苦痛だなぁ。 授業一つ。 明日と明後日のためのテスト勉強。 途中でサーバーの設定あれこれ。 寝不足のせ…

授業2つ。疲れていたのかあまり頭に残っていない。どちらも本日がラストらしい。 Perl勉強会用の予習。あんまり流行らなかったしそろそろ終了しようかな。一通りのことはやったし、後は自分で勉強した方が効率がよいだろうし、誰もついてきてないきがする。 …

テストはテスト期間にやれ と誰か偉い人が言って欲しいところだが、来週2つばかりテストがあるという事実は変わらないので嘆いてばかりもいられず、とっとと勉強を始めることにした。 前々から写像写像って言うけど関数とどこが違うねん、と密かに思っていた…

についての論文を読む。 SVMは基本的には2クラス分類器なので、多クラス分類は原理的には不可能である。 そこで、多クラスの分類にSVMを用いるには以下の二つを用いる。 One-Versus-Rest(1-vs-R) One-Versus-One(1-vs-1) 1-vs-Rは一つのクラスと残りすべての…

レポートをこなしつつ論文を読み、勉強をする日々。 しかし最近この状況に対して心境の変化が起きてきた。 前ほどしんどくない。 どうやら、僕は勉強をすることに多少楽しさを見出し始めたようだ。 これはいい傾向のような気がするような、現実逃避の一環と…

を捕捉。 2008-07-07 - きしだのはてな 正確には機械学習全般か。 お、何度かコメントくれている人ではないか。 ソースちゃんと読んでないけど、SVMを実装しようと頑張ってるのはすごいなぁ。 LIBSVMで満足しちゃってる俺ってどうよ。