OmniRoute

OmniRoute は多くのモデル提供元を単一の OpenAI 互換エンドポイントの背後に並べ、一つが利用できないとき自動でフォールバックします。オープンソースであり、サイトには Cheaper Inference に加わったことが記載されています。誰がロードマップを決めるかに関わるため、知っておく価値のある運営主体の変更です。

ルーターの存在理由は選択肢の多さではなく、障害と依存です。アプリケーションは特定の提供元の SDK と、特定の提供元の障害に対して書かれます。その提供元が調子を崩せば、アプリケーションも崩れます。トラフィックを他所へ移せる互換層は、可用性を書き直しではなく設定にし、アプリケーションに触れずに価格比較も可能にします。代償は経路上の部品に共通のものです。すべてのプロンプトがそこを通り、API がどれほど互換に見えても各提供元の意味論は同一ではなく、静かなフォールバックはより古い、あるいは小さいモデルで答え、誰かが比較するまで気づかれない形で品質を下げ得ます。だからこそ自動の部分は特に精査に値します。