Up 知識の記憶 作成: 2025-08-04
更新: 2025-11-10

    Transformer 脳の "Training" は，｢入力テクストをなぞる｣ である。
    Transformer は，処理レイアｰの数だけ，テクストを頭の中で繰り返す格好になる。
    これは，人間がテクストを記憶しようとして何度も繰り返して口に出すのと，同じである。

    実際，Transformer は "Training" の中で知識を記憶していく。
    ChatGPT がこのことの実証である。


    ことばのロジックでは，「記憶」は「知識の記憶」である。
    そしてこれは，「脳に知識をしまい込む」である。
    「想起」はこれの逆で，「脳にしまい込まれていた知識を取り出す」。
    こうして脳は, 「知識の倉庫」になる。

    事実は，こうではない。
    脳は「倉庫」のようなものではない。
    想起は「倉庫」からの取り出しではない。
    テクストの生成が「想起」であり，テクスト生成が「記憶」を現す。
    「記憶」は，テクスト生成によって見出されるのであり，この意味で結果論である。


    脳は，｢記憶の倉庫｣ ではないが，
    　　「入力Ｘに対し記憶Ｙを出力する」
    の意味において，「記憶のポテンシャル」ということができる。

    翻って，脳にＡを記憶させることは，或る入力に対しＡが出力されるように，脳を更新するということである。
    記憶することは，脳を更新することである。


    Transformer 脳の更新は，パラメータ値の更新である。
    パラメータは，＜想起＝テクスト生成＞の機構である。
    パラメータは，そこに記憶をさがすようなものではない。

    ChatGPT に搭載の Transformer 脳は，固定脳である。
    更新できないので，新しい情報の記憶はできない。


    ChatGPT のテクスト生成は，ユーザの入力が頼み。
    想起させるものは，先行するテクストだからである。

    ひとは，何かの名前を忘れたとき，頭の音を「あ, い, う,‥‥」と探っていくと，名前が出てくることがある。
    名前の想起は文字列の生成なので，文字列生成のシミュレーションがうまくいったというわけ。