OpenLLM

OpenLLM は BentoML が配信基盤の上に置いた Apache-2.0 のコマンドラインです。openllm serve llama3.2:1b と打つと localhost:3000 に OpenAI 互換の端点が立ち、/chat には画面が付きます。重みは保持せず、モデルは Hugging Face から来るので制限付きは HF_TOKEN が要ります。下の推論バックエンドは vLLM。選べる範囲は目録で決まり、既定は bentoml/openllm-models、openllm repo add で公開の自前倉も足せます。各行はタグを GPU 形状に釘付けします。deepseek r1-671b は 80Gx16、gemma2:2b は 12G。openllm containerize が Bento のイメージを作り、openllm deploy は BentoCloud へ送ります。

評価は時期の話です。最後のタグは 2025-04-21 の v0.6.30、README の対応表は 2024 から 2025 の群れのまま、未解決は数十件。進み続ける製品というより薄くて安定したラッパーです。この手触りが欲しければ実態は下の BentoML を採用する事で、長期なら BentoML や vLLM を直接使う方が得。一言でローカルに動かすなら Ollama が勢いを握っています。目録が知るモデルを再現できる端点にする速さでは今も筋が良い。ホスティング版も価格表もなく、費用は自分で借りる GPU 時間と他所の設計に依存する分。制限付きの重みは自分の承認が要ります。