Up Transformer 脳の知識の特徴 作成: 2025-11-10
更新: 2025-11-10

    人の円周率の記憶は，「3.14 (さんてんいちよん)」を何回も唱える。
    そうすると脳が, 「円周率」のことばに対し「3.14」を生成するようになる。

    「フレーズの繰り返しで憶える」は，Transformer 脳も同じ。
    Transformer 脳の "Training" は，入力テクストをなぞるというものだが，これは処理レイアｰの数だけテクストを頭の中で繰り返しているわけである。


    人の場合，記憶した「3.14」は，その後ずっと使わないでいると忘れる──生成されなくなる。
    脳は絶えず更新されており，その更新が以前の記憶を消してしまうことになる。

    Transformer 脳の "Training" の「入力テクストをなぞる」は，パラメータ値の調節がこれの内容である。
    この場合，入力テクストＡをなぞるように調節したパラメータ値は，つぎの入力テクストＢをなぞることにはならない。
    そしてＢをなぞるようにパラメータ値を調節すると，そのかわり，Ａをなぞらなくなる。
    Ａを「忘れる」というわけである。


    しかし，入力テクストごとに調節を繰り返したパラメータ値は，厖大な数のテクストをこなしていくうちに，固定していく。
    これは「一度憶えたことは忘れない」の状態なので，以降はテクストをこなしだけ，知識が増えることになる。

    こうして Transformer 脳は，知識を厖大かつ詳細にもつものになる。
    ChatGPT がこのことの実証である。

    　註： 知識の質は，｢学習材」として使われたビッグデータに依存する。
    特に, 「詳細＝正しい」ではない。