llama.cpp
ggml (community)
지원 GGUF 모델용 C/C++ 추론 엔진으로 CLI·서버·하드웨어별 백엔드를 제공하며 로컬 또는 별도 관리 환경에 배포할 수 있습니다.
- 평점
- 4.7★
- 가격
- 무료
편집부 결론
모델 권리·백엔드 지원을 확인한 뒤 배포 환경의 메모리·품질·운영비를 평가하세요.
강점
- 코드·CLI·서버 경로 공개
- 여러 백엔드·양자화 선택
주요 기능
- GGUF 실행·양자화 선택
- CLI·OpenAI 호환 서버
- 요건이 있는 CPU·GPU 백엔드
- MIT 엔진 코드
적합한 용도
- 선택한 장비에서 허가된 GGUF 평가
- 접근 통제하에 엔진 내장·서빙