Up

ChatGPT 探求 第1部 ｢Transformer 脳｣

作成: 2025-05-16 更新: 2025-08-09

---

『ChatGPT 探求』＞

Transformer 脳 |

スキル・自己｜

研究型 |

漂泊型

導入 　　 　0.1　本論考について 　0.2　｢野生の思考」 　0.3　ChatGPT から支援を得るための作法 　0.4　結論から：Transformer とは何か 　Transformer は＜話の糸＞をつくる 　1.1　｢話の糸」立論の理由 　1.2　出力 [ p_1, ‥‥, p_m ] 　1.3　｢話の糸｣ の幾何学 　1.4　トークン点の分布は「意味分布」ではない 　1.5　｢話の糸」の所在──電子場 　　学習前 　　 　2.1インストール 　　2.1.1　｢埋め込み (embedding)」 　　2.1.2　トークン ID (固定) 　　2.1.3　トークベクトル (ランダム初期設定) 　　2.1.4　位置エンコーディング (固定) 　　2.1.5　重み行列 W_Q, W_K, W_V (ランダム初期設定) 　　2.1.6　重み行列 W_Ｏ (ランダム初期設定) 　2.2学習テクスト　 　　2.2.1　学習データセット 　　2.2.2　入力テクストの長さ制限 　　テクストの記憶 　3.1　入力層──学習テクストの入力 　3.2　テクストの糸 　　3.2.1　｢テクストの糸」 　　3.2.2　レイヤー構造 　　3.2.3　Self-Attention 　　　・Self-Attention がしていること 　　　・通説の「Query･Key･Value」解釈 　　　・Multi-Head Attention 　　3.2.4　FFN (FeedForward Network) 　　3.2.5　LayerNorm (Layer Normalization) 　　3.2.6　[ p_1, ‥‥, p_m ] の導出 　3.3　脳の調節 (成長) 　　3.3.1　処理の流れ 　　3.3.2　誤差 (得失) 　　3.3.3　誤差逆伝播 　3.4　自己参照・再帰 　3.5　大数・複雑・冗長 　3.6　知識の蓄積 　 「応答」の学習 　4.1　エンコーダ・デコーダ構造 　4.2　教師あり 　　4.2.1　｢教師あり」の意味 　　4.2.2　例 : ｢翻訳｣ の学習 　　4.2.3　例 : ｢応答｣ の学習 　4.3　質問応答パターンの記憶 　4.4　学習のゴール [ p_1, ‥‥, p_m ] 　4.5　新種の学習は既成の脳を損なわないか？ 　4.6　HTML の応答 　　学習の終了・RLHF 　5.1　学習の終了 (切り上げ) 　5.2　ポテンシャルとしての Transformer 　5.3　｢生成的｣ の様相 　5.4　RLHF