インデックスへスキップ

GLOSSARY

GGUF 形式

ローカル LLM が実際に読み込むファイル形式。量子化された重みが一つのポータブルな塊に入り、llama.cpp、Ollama、Jan が話します。

GGUF(GPT-Generated Unified Format)はローカル LLM を実用にした梱包です。一つのファイルにトークナイザ、メタデータ、量子化重みが入り、ノートが Python スタック無しで 7B や 13B を読めます。llama.cpp が定義し、Ollama、LM Studio、Jan が消費します。

名前の後ろの数字 — Q4_K_M、Q8_0 — は量子化の処方で、サイズと品質の取引です。GGUF は学習形式ではなく、Hugging Face 既定の safetensors でもなく、自分のマシンで推論するための最後の一マイル形式です。オフラインでモデルを回すなら、ほぼ確実に GGUF を読んでいます。

関連する用語

この技術を使うツール

関連カテゴリー