GLOSSARY
指示チューニング
数千の指示–応答ペアでベースモデルをファインチューニングし、頼みを聞けるようにする工程。生の予測器と使えるアシスタントの間にあります。
ベースモデルはテキストを続き書きするだけで、従いません。指示チューニングは例から従うことを教えます。良い応答を添えた指示形式のタスクを、形式(リスト、表、コード)・スタイル・領域に渡って揃えます。この工程の後、モデルはオートコンプリートのように文を続けるのをやめ、アシスタントのように質問に答え始めます。
位置づけは事前学習と選好チューニング(RLHF/DPO)の間です。まず「役に立つことの形式」を学び、次に RLHF が人々が好む回答を磨きます。オープンな指示データセットとコミュニティの指示チューニング済みモデルがあるからこそ、「Ollama でどんなオープンモデルでも動かせば会話できる」のです。