Up 記憶がぼやける 作成: 2023-06-29
更新: 2025-06-29

    テクストの糸づくりは，TV, W の値の変更である。
    この変更は，TV, W のこれまでの値でうまくいっていたテクストの糸を損なうことになる。

    「糸が損なわれる」とは，p_i がこれまで「ほぼ one-hot」であったのが，そうではなくなるということである。
    TV, W の値の変更によって，これが起こることになる。


    こうして，新しい糸をつくるたびに，それに替わってぼやける糸がある。
    その糸は，更新される機会が無ければ，だんだんと壊れて無くなる。
    これは，その糸の表すテクストが，忘却されるということである。

    Transformer 脳においても，新しいことの学習は，記憶の保持とのトレード・オフである。
    構造がそうなっているので，これはどうしようもないことなのである。