私の関わりのある法人
ksbutton.png omemebuttan.png sowerbuttan.png
※このブログに書いていることは、私の関わりある法人の意見ではなく、
 あくまでも、私個人の意見です。

2017年11月05日

「ニューラルネットワークの動作原理」AI・機械学習ワークショップ 2回目



 11月4日に ROBOCO の「AI・機械学習ワークショップ 2回目」に参加しに行って来ました。

 1回目の様子はこちら。



 今回のテーマは

「ニューラルネットワークの動作原理」

キーワードは

重み

バイアス



順伝播( Foward propagation )

 順伝播していく時に発火して起きた信号に「重み・W」をつけるわけだけど、ここが人間が「重みづけ」をするのじゃないわけね。
「重み」はデータが決める。
 そしてその「重み」が変化することが「学習」
 データは人が決めるわけじゃない。

 このあたり、トレーダーの言う「現実はいつも正しい」とかいうのが連想されました。

 ニューラルネットワークってのは脳の神経細胞を模して考えられてきたわけだけど、まだまだ言葉がちゃんと定義づけされてなくて、神経細胞の「核」とかがある部分を模したところのことを「ユニット」と言ったり「ノード」と言ったり、人によって呼び方が違うので論文を読む時でも気をつけないといけない。

 で、ここでΣを使った式がいっぱい出てきたのだけど、わかんねえ(笑)
 Wikipediaにもちょこっと式が書いてありますね。



逆伝播(  Back propagation )

 これができるようになって、機械学習が進んだという話なんだけど、

 ○ → ○ → ○ → 答え
 (本当は○は層をなしてるんだけどね)

となる→と逆方向に分析できる(わかる)ってことかな。

で、「微分」なんだって・・・凾ヒ・・・

 わかんね(笑)


活性化関数

・階段関数(微分に関して性質が良くない。水平か垂直しかないから)
・シグモイド関数(2クラス分類の出力層によく使われる)
・タンジェントハイパボリクス関数(ー1から1までの地域の回帰問題の出力層によく使われる)
(で、ここでまた三角関数も関連してくる・・・)
・ソフトマックス関数((多)Kクラス分類の出力層によく使う)

クラス分け→分類→シグモイド
値づけ→回帰→タンジェント・・・


勾配降下法

 逐次的にパラメータWを更新して、最適解を見つける方法
(なんか力技っぽいなあ。やっぱりハードの能力が上がったからできる方法なんだろうな)

η(イータ)は学習率(Learning rate)
これを小さくしないと勾配を下って行けない。
(なんか、最初は弱い敵であるスライムを地道に倒していって力をつけないとボスキャラを倒せない、みたいな連想・・・)

で、こうやってグラフというかランドスケープ(地形?景観?)を確定していくわけだけれども、大事なのはランドスケープは最初はこちらに形とかもわかっていない、雲の中にある、ってこと。

「深層学習において誤差関数のランドスケープは自明では無い」

このあたりも、めっちゃ人生訓めいている。
私自身のことに引きつければ
「私の人生も、お子さんの人生も、自明では無い。あれこれやっているうちにだんだん姿を現すものだ」
みたいな・・・



誤差逆伝播法

 1985年頃から言われていたが、実際できるようになったのは2000年頃から。
 これもハードの進歩による。

 勾配はデータの順伝播と逆伝播の積で求められる。



 なお、会は質問のある人はどんどん質問していく形式で進められるのですが、

講師「私なんかが講師をしていいのかと思います。本に書いてあることを言ってるだけですし」
参加者「いえいえ。本は答えてくれませんもん」


なんてやりとりもありました。
私にとってはこういう会はめっちゃ面白いです。オタク話できるだけでも。

 今回のワークショップは、全体の会費(?)が3000円で、それ以外に1回参加するごとに2000円の参加費ですが、それでも私にとっては価値があります。内容はほぼ理解できてませんが(笑)

 30年ほど前に、カウンセリングの勉強会をしてた頃、1回が1500円くらいだったかな。
 私自身がやってた教師・保護者むけのTEACCHを中心として時々ABAや太田ステージなんかも入れる研究会が年間6000円(12回)だったかな。
 勉強会とか研究会、ワークショップにお金を出すのは当然のこと、という意識はありますね。


 しかし、帰りにジュンク堂で「ふたたびの微分・積分」という本を勉強しようと思って買って来たのですが、まだ1行も読んで無い・・・


posted by kingstone at 23:37| Comment(0) | ネット・パソコン・携帯など | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

※ブログオーナーが承認したコメントのみ表示されます。