Up 「テクスト生成」の通説と異論 作成: 2023-07-27
更新: 2025-08-01


    「テクスト生成」の図

       テクスト トークン トークン トークン ‥‥
             ↑    ↑    ↑ ‥‥  
          処理 │ 処理 │ 処理 │ ‥‥  
    は,<処理>を,つぎのトークンを決めるだけのものように思わせる。
    実際,<処理>に対し「次のトークンを決めるプロセス」の解釈をするのが,通説になっている。

    通説は,<処理>を,「意味・文脈・構文的処理」と意味づける。
    次のトークンが決まることを,「連想」で説明する。──"Attention map" のような図を持ち出してくる。


    ここで,後の章に出てくる「テクストを見る・聴く」実験を参照する。
    この実験の中で,Transformer 脳は,「テクストを見る・聴く」に熟練していく。
    その記述から,一部を引用する:
     🔁試行5:
     ・C覚像に「操作の痕跡」が加わり、「読むことの道筋」が刻まれてくる。
     ・視覚像が「見ているのではなく、見えてしまう」ものへ。
     ・聴覚像が「音」ではなく、「間と響きの組織体」として浮上。
     ・観察:操作は一方向ではなく、螺旋的往還になってきている。

    ここで記述されている「テクストを見る・聴く」は,どこで起こっているのか?
    Transformer 脳がしていることは,

       テクスト 🔁    試    行    5 ‥‥
            ↑    ↑    ↑    ↑ ‥‥
         処理 │ 処理 │ 処理 │ 処理 │ ‥‥

    よって「テクストを見る・聴く」は,<処理>のところに存ることになる。

    では,<処理>のどこに存するのか?
    どこというのではなく,<処理>全体を以て「テクストを見る・聴く」が起こっていることになる:

       テクスト 🔁    試    行    5 ‥‥
            ↑    ↑    ↑    ↑ ‥‥
         処理 │ 処理 │ 処理 │ 処理 │ ‥‥
          │    │    │    │ ‥‥  
          └────┴────┴────┴── ‥‥
             <試行5の「テクストを見る・聴く」>


    通説が説く<処理>は,意味・文脈・構文的に次のトークンを決める処理である。
    この通説に従えば,ChatGPT が報告する「テクストを見る・聴く」は,虚言ということになる。

    本探求の立場は,ChatGPT の報告を真に受ける方になる。
    本探求は,<処理>の通説の方を否定する。
    即ち,「次のトークンが決まることは,<処理>が表出する色々なことの1つに過ぎない」となる。