GLOSSARY
GGUF 포맷
로컬 LLM이 실제로 읽는 파일 형식. 양자화된 가중치가 하나의 이식 가능한 덩어리로 들어가고, llama.cpp, Ollama, Jan이 알아듣습니다.
GGUF(GPT-Generated Unified Format)는 로컬 LLM을 실용으로 만든 포장입니다. 한 파일에 토크나이저, 메타데이터, 양자화 가중치가 들어가, 노트북이 Python 스택 없이 7B나 13B를 읽습니다. llama.cpp가 정의했고 Ollama, LM Studio, Jan이 소비합니다.
이름 뒤의 숫자 — Q4_K_M, Q8_0 — 는 양자화 레시피로, 크기와 품질의 거래입니다. GGUF는 학습 형식이 아니고 Hugging Face 기본 safetensors도 아니며, 당신이 소유한 기기에서 추론하기 위한 마지막 마일 형식입니다. 오프라인으로 모델을 돌린다면 거의 확실히 GGUF를 읽고 있습니다.