Triton Inference Server

Triton は NVIDIA の推論サーバーです。ひとつの処理が、いくつもの異なる実行基盤の後ろからモデルを配信し、HTTP と gRPC、そして OpenAI や KServe の利用側がすでに話せる接続口を通して外に出し、指標を報せて配備を見守れるようにします。説明文書の手早い導入の一覧は TensorRT-LLM、vLLM、Hugging Face のモデルを使う Python、PyTorch、ONNX、OpenVINO にわたり、機能の一覧には大きな言語モデルが必要とする技 — 制約つきの復号、関数の呼び出し、投機的な復号 — が並びます。企業がモデルの全財産を向ける、退屈で頼れる層です。

多くのモデル、とりわけ視覚・音声・埋め込みの仕事を共有の画像処理装置にまとめ、利用率と健全さを数字で示す必要があるチームに向きます。向かないのは、計算ノートから動く接続口までの道の短さを最優先する人です。このサーバーにモデルを説明するには、決められた形でモデルの倉庫を並べ、最初の要求が通る前に設定を書く必要があり、これは確かな手間です。後ろの引擎ごとに手早い配備の手引きはあるものの、変わりません。純粋な言語モデルの配信にも向きません。専門の引擎が最も速く進む場所だからです。

未確認：今回はサーバーを入れず、モデルも読み込んでいないため、まとめ処理の挙動、複数の後ろの引擎という主張、指標の出力は見ていません。後ろの引擎と機能の一覧は提供元の説明文書の頁から採りました。倉庫の接続口は星が約 11,069、分岐が 1,853、許諾が BSD の三条款を示し、最後の送り込みは 2026 年 10 月 10 日でした。したがって作成当日は動いていました。公開の覚え書きと互換の一覧は読んでいないため、どの版がどのライブラリの版と組むかは確かめていません。なお、この名は無関係な翻訳器の計画にも使われており、その計画はここでは調べていません。