GLOSSARY
Transformer
チャットボットから画像生成まで、現代のほぼすべての AI モデルの基盤となるニューラルネットワーク構造。その核心は attention（注意機構）です。
Transformer は 2017 年の論文「Attention Is All You Need」で提唱され、逐次処理を attention に置き換えました。入力のどの部分も他の任意の部分へ直接影響でき、長距離の関係を捉え、数千 GPU での並列学習が可能です。この並列性こそ、インターネット規模のデータでの学習を可能にしました。
このディレクトリのすべてはここに遡ります。GPT 型言語モデルは Transformer デコーダ、Stable Diffusion のような画像生成は Transformer ブロックを内蔵、Whisper 型音声モデルも Transformer です。研究者が「スケーリング則」で言うのは、データ・パラメータ・計算量の増加に伴い品質が予測可能に向上する性質のことです。