GLOSSARY
Attention（注意機構）
モデルが出力ごとに入力のどの部分が重要かを判断する仕組み。現代の AI を可能にした唯一のアイデアです。
Attention は毎ステップで一つの問いに答えます。「見たすべての中で、今何が重要か」。river bank の bank を読むとき、attention は river を引き寄せ finance を下げます。各トークンは他の全トークンに対する関連度を計算し、モデルは注意を向けたものの重み付きの混合になります。
だから Transformer は長距離の意味を扱い、翻訳は数段落前の性別を覚え、コンテキスト窓がトークンで測られるのです — attention のコストはペアの数だけ増えます。その変種（マルチヘッド、grouped-query、flash attention）は vLLM のような推論エンジンの背後にある配管の最適化です。