Up テクストの記憶 作成: 2023-06-29
更新: 2025-06-29

    学習を終えた Transformer 脳は，テクストの入力
    　　S → T = [ t_1, ‥‥, t_m ] → X = [ x_1, ‥‥, x_m ]
    に対して出力される 　　　P = [ p_1, ‥‥, p_m ] が，つぎのようになる：
    • p_i ( i = 1, ‥‥, m ) は, 「ほぼ one-hot」
    • p_ik ( i < m ) が「ほぼ1」ならば，k = ID_(i+1)
    • S が質問テクストのとき，つぎのようにして生成されるトークン点列 [ y_1, y_2, ‥‥ ] は，良質な応答のトークン点列になる：
      　　[ x_1, ‥‥, x_m ] → x_m のつぎ y_1
      　　[ x_1, ‥‥, x_m, y_1 ] → y_1 のつぎ y_2
      　　　　　：

    このことを，脳がテクスト [ y_1, y_2, ‥‥ ] を記憶している，と読むことにする。
    これにより，Transformer 脳の「記憶」「想起」を論じられるようになる。

    即ち，
    　　[ x_1, ‥‥, x_m ] → x_m のつぎ y_1
    は，「話の糸口を摑む」に当たる。
    そして [ y_1, y_2, ‥‥ ] の生成は，「その話の糸を伝う」に当たる。

    念のため：
    「テクストの記憶」の言い方は，脳にテクスの書庫があるように思わせる。
    書庫は，存在しない。
    Transformer 脳は，テクストの入力に対し，決定論的に何らかのテクストＸを出力する。 この「決定論にＸを出力する」を，「Ｘを記憶している」と呼ぶことにしよう，というわけである。