GLOSSARY
ネイティブマルチモーダル
同じ前向き計算で画像を見、音声を聞き、テキストを書く一つのモデル — 専門家パイプラインを接着したものではない。
初期のマルチモーダル製品はパイプラインでした。OCR、キャプション、LLM。ネイティブマルチモーダルは混合トークン — 画像パッチ、スペクトログラム、テキスト — で一つのネットワークを学習し、同じ重みが文をスクリーンショットに接地できます。Gemini、GPT-4o とその仲間はその統一で売られます。
得は後付けでない交差注意です。「このチャートの何がおかしいか」がキャプション往復で画素を失いません。コストは、すべてのモダリティ対をカバーするデータと評価、そしてネイティブ経路が失敗したとき製品が静かにパイプラインへ戻ること。パンフレットのマルチモーダルは、トレースのそれとは限りません。