llama.cpp
ggml (community)
対応GGUFモデル向けのC/C++推論エンジン。CLI・サーバー・機材別バックエンドでローカルまたは別途管理の構成に使えます。
- 評価
- 4.7★
- 料金
- 無料
編集部の結論
モデルの権利とバックエンド対応を確認し、配備に合わせてメモリ・品質・運用費を評価してください。
強み
- コードとCLI・サーバー経路が公開
- 複数のバックエンド・量子化を選択
主な機能
- GGUF実行・量子化の選択肢
- CLI・OpenAI互換サーバー
- 要件のあるCPU・GPUバックエンド
- MITのエンジン
向いている用途
- 選んだ機材で許諾済みGGUFを評価
- 権限管理下で組込み・提供