SGLang

SGLang は Apache-2.0 のサービングエンジンで、現在は非営利の OSS 組織 LMSYS が預かります。OpenAI 互換エンドポイントの裏で言語・マルチモーダル・埋め込み・報酬・拡散モデルを配信し、核は RadixAttention。共有プロンプト接頭辞の KV キャッシュを基数木に保ち、長いシステムプロンプトや few-shot ヘッダを 1 回だけ計算し、追い出されるまで同時リクエストで使い回します。他にゼロ負担の CPU スケジューラ、連続バッチ、ページングアテンション、prefill-decode 分離、推測デコーディング、四種の並列、圧縮有限状態機械による構造化出力、FP4/FP8/INT4/AWQ/GPTQ 量子化、マルチ LoRA。pip か Docker で入れ CUDA 12.9/13.0 向け、NVIDIA・AMD・Xeon・TPU・Ascend で動きます。

売りは GPU 時あたりのスループットで、40 万枚超の GPU への展開と主要な RL フレームワークとの統合を掲げますが自己申告なので目安と読んでください。読んだ頁に採用企業の名はありません。リリースが速く(v0.5.20 は 2026-09-18)、調整項目が深く担当者が要ります。注意は二点。プロンプトが実際に接頭辞を共有する場面でしかキャッシュは元を取らず、単発で無関係なクエリは他のエンジンに勝てません。そしてホスティング版も価格表もありません。支援は Slack、Discord、GitHub Discussions、商用相談はメール。無料ですが費用は GPU 時間、当番表、覚えるフラグです。