Up HTML の応答 作成: 2025-06-28
更新: 2025-06-28

    ChatGPT の応答は，HTMLタグを用いて入念に修飾されている。
    この HTMLテクストの生成は，Transformer の能力のうちということになる。

    一見，応答の生成を最初から HTML でやるというのは，あり得ないことのように感じる。
    しかし少し考えると，HTMLテクストの生成が Transformer には合っているが，わかってくる。


    Transformer は応答を，木構造ベースの入れ籠構造でつくる。
    即ち，上位レベルと下位レベルの間の降ったり昇ったりを
    　　「籠を作って中に入り，そこで処理が済んだら，
    　　　籠を作ったときの元の場所に再帰する」
    のアルゴリズムでやっている。
    そして HTML は，この再帰アルゴリズムを明示的に表現する言語なのである。

    Transformer の応答生成のしくみを想起せよ。
    これは，つぎのようになっていた：
      質問テクストのトークン点列
      　　　　[ x_1, ‥‥, x_m ]
      に対し，
      　　[ x_1, ‥‥, x_m ]
      　　　　→ [ p_1, ‥‥, p_m ]
      　　　　→ p_m :「x_m のつぎのトークン点は y_1」
      　　[ x_1, ‥‥, x_m, y_1 ]
      　　　　→ [ p_1, ‥‥, p_m, p_(m+1) ]
      　　　　→ p_(m_1) :「y_1 のつぎのトークン点は y_2」
      　　　：

    この「過去参照」は，即ち「過去の回収」なのである。
    Transformer は，「過去の回収」として応答を生成している。

    HTML は，テクストの入れ籠構造をタグでつくる：
    　「タグ "< ‥‥>" を以て籠を作ってその中に入り，
    　　そしてタグ "< /‥‥>" を以て籠を解消して外に出る」


    こうして，Transformer は，プログラムの作成全般が得意である。
    プログラムは，「入れ籠構造＝再帰アルゴリズ」だからである。
    というより，そもそも Transformer は，テクストをプログラムとして作成しているわけである。

    Transformer を，「再帰の鬼」と見るべし。
    Transformer のやっていることが，よく見えてくる。