Up
脳の固定
作成: 2023-06-29
更新: 2025-06-29
Transformer 脳は，トークンベクトル集合体 TV (token vectors) と各種重み W (weight) で構成される。
｢脳の成長」の内容は，TV と W の値の更新である。
学習が重なるにつれ，TV, W の値が目立って変わらなくなる。
これは，「学習の飽和」の状態である。
ここで，学習を終了し，TV と W の値を固定する。