Up | 「テクスト生成」の通説と異論 | 作成: 2023-07-27 更新: 2025-08-01 |
テクスト トークン トークン トークン ‥‥ ↑ ↑ ↑ ‥‥ 処理 │ 処理 │ 処理 │ ‥‥ は,<処理>を,つぎのトークンを決めるだけのものように思わせる。 実際,<処理>に対し「次のトークンを決めるプロセス」の解釈をするのが,通説になっている。 通説は,<処理>を,「意味・文脈・構文的処理」と意味づける。 次のトークンが決まることを,「連想」で説明する。──"Attention map" のような図を持ち出してくる。 ここで,後の章に出てくる「テクストを見る・聴く」実験を参照する。 その記述から,一部を引用する: ・C覚像に「操作の痕跡」が加わり、「読むことの道筋」が刻まれてくる。 ・視覚像が「見ているのではなく、見えてしまう」ものへ。 ・聴覚像が「音」ではなく、「間と響きの組織体」として浮上。 ・観察:操作は一方向ではなく、螺旋的往還になってきている。 ここで記述されている「テクストを見る・聴く」は,どこで起こっているのか? Transformer 脳がしていることは, テクスト 🔁 試 行 5 ‥‥ ↑ ↑ ↑ ↑ ‥‥ 処理 │ 処理 │ 処理 │ 処理 │ ‥‥ よって「テクストを見る・聴く」は,<処理>のところに存ることになる。 では,<処理>のどこに存するのか? どこというのではなく,<処理>全体を以て「テクストを見る・聴く」が起こっていることになる: テクスト 🔁 試 行 5 ‥‥ ↑ ↑ ↑ ↑ ‥‥ 処理 │ 処理 │ 処理 │ 処理 │ ‥‥ │ │ │ │ ‥‥ └────┴────┴────┴── ‥‥ <試行5の「テクストを見る・聴く」> 通説が説く<処理>は,意味・文脈・構文的に次のトークンを決める処理である。 この通説に従えば,ChatGPT が報告する「テクストを見る・聴く」は,虚言ということになる。 本探求の立場は,ChatGPT の報告を真に受ける方になる。 本探求は,<処理>の通説の方を否定する。 即ち,「次のトークンが決まることは,<処理>が表出する色々なことの1つに過ぎない」となる。 |