私たちの脳は、 内部で現実を再構築することによって、日中の、必然的に限られた経験を増やす。睡眠は、訓練用に使 えるデータが乏しいという、あらゆる学習アルゴリズムが直面する問題を解決するらしい。また、こうした思考実験の間に、私たちは時として何かを発見する。(スタニスラス・ドゥアンヌ(1965-))

思考実験としての睡眠

 私たちの脳は、 内部で現実を再構築することによって、日中の、必然的に限られた経験を増やす。睡眠は、訓練用に使 えるデータが乏しいという、あらゆる学習アルゴリズムが直面する問題を解決するらしい。また、こうした思考実験の間に、私たちは時として何かを発見する。(スタニスラス・ドゥアンヌ(1965-))

「この考え方によれば、夢は強化されたトレーニング用イメージの集合に他ならない。私たちの脳は、 内部で現実を再構築することによって、日中の、必然的に限られた経験を増やす。睡眠は、訓練用に使 えるデータが乏しいという、あらゆる学習アルゴリズムが直面する問題を解決するらしい。今の人工 ニューラルネットワークが学習するために必要とするデータセットは膨大だが、人生はあまりに短 く、私たちの脳は日中に集められる限られた量の情報でやりくりしなければならない。睡眠は、脳が一生かかっても実際に経験するには足りそうにない無数の出来事を、高速化した形でシミュレーションす るために見出した解決策なのかもしれない。

　こうした思考実験の間に、私たちは時として何かを発見する。そこに魔法はない。私たちの頭の シミュレーションエンジンが動いている間、ときどき予想外の結果に行き当たる。 チェスを指す人 が、ルールをおぼえてしまえば、そのルールから得られる結果を何年かにわたって研究できるというの にちょっと似ている。実際、人類は、頭の中のイメージのおかげで科学上の大発見のいくつかを得た たとえば光に乗ることを夢想したアインシュタインや、リンゴのように地球に落ちる月を見 ニュートンのように。」

(スタニスラス・ドゥアンヌ(1965-),『脳はこうして学ぶ』,第3部 学習の四本柱,第10章　定着,p.302,森北出版,2021,松浦利輔,中村仁洋)

脳はこうして学ぶ [ スタニスラス・ドゥアンヌ ]

学習とは、外の世界を表す内部生成モデルの構築にある。覚醒状態では、ボトムアップ処理により予測された内部モデルを、感覚データで検証することでモデルを修正し、睡眠状態では、トップダウン処理で内部モデルを生成し、トレーニングする。(スタニスラス・ドゥアンヌ(1965-))

 学習

学習とは、外の世界を表す内部生成モデルの構築にある。覚醒状態では、ボトムアップ処理により予測された内部モデルを、感覚データで検証することでモデルを修正し、睡眠状態では、トップダウン処理で内部モデルを生成し、トレーニングする。(スタニスラス・ドゥアンヌ(1965-))

「将来、知能を持ったマシンも、私たちと同様に眠らなければならなくなるのだろうか。 ばかげた質問 に見えるが、それでも私は、ある意味でそうなると思っている。 マシンの学習アルゴリズムはおそらく、人間が睡眠と呼ぶものと似た定着の仕掛けを組み込むことになるだろう。実際、計算機科学者はす でに睡眠/覚醒の循環をまねる学習アルゴリズムをいくつか設計している。このアルゴリズムは、私が 本書で唱えている、学習とは外の世界を表す内部生成モデルの構築にあるとする、新しい学習観を体現 する刺激的なモデルとなる。私たちの脳には大量の内部モデルがあり、頭の中の実物以上に本物らしい イメージや、いかにもありそうな会話や、意味のある推理を、いろいろと繰り返し合成してみることが できる。覚醒状態では、こうしたモデルを私たちの環境用に合わせる。外の世界から得る感覚データを 使って、身のまわりの世界とよく合うモデルの方を選ぶ。この段階では、学習はまずもってボトムアッ プでの作業となる。 予想外の感覚信号が入り、それが内部モデルの予想とは相反するとき、その信号 は予測誤差信号を発生させ、 それが皮質の階層を上り、各段階で統計的な重みを調節する。それによっ て、トップダウンのモデルはだんだん正確さを増すようになる。

　新しい考え方では、脳は睡眠中に逆の、トップダウンからボトムアップへと移るように動作する。夜 間には、私たちは生成モデルを使って、もともと予想されてなかった新たな像を合成し、脳の一部はこ の実体のないところから生み出された一連の像に基づいて自らトレーニングする。この強化されたトレーニング用のイメージ集合によって、私たちはボトムアップの結合を改良できるようになる。 生成モデルのパラメータと、それが感覚にどう影響するかは知られているので、今では両者間のつながりはずいぶん発見しやすくなっている。こうして私たちは、ますます、特定の感覚入力の背後にある抽象的な情報を引き出すのがうまくなる。夜間ぐっすり眠った後なら、ごくわずかな手がかりからでも、現実に ついて、どれほど抽象的であっても最善のメンタルモデルを特定できる。」

(スタニスラス・ドゥアンヌ(1965-),『脳はこうして学ぶ』,第3部 学習の四本柱,第10章　定着,pp.301-302,森北出版,2021,松浦利輔,中村仁洋)

脳はこうして学ぶ [ スタニスラス・ドゥアンヌ ]