AI21

AI21 は現在、企業向け AI システムを構築すると自らを説明しており、サイトが前面に出すのは最先端モデルではなくコストです。トークン消費を減らす差し替え可能なゲートウェイエンドポイント、自社トラフィックに基づいてモデルを選ぶルーティング、自社ワークロードで許容できる品質に小規模オープンモデルを調整する仕組み、そして自社の非公開評価に対して構成を探索するオプティマイザ。主張は、素朴なルーティングでは足りず、オープンモデルが探索し最先端モデルが補うというものです。

Jamba モデル群を売っていた頃の会社とは別物であり、本項目はサイトが今日述べていることを記録しています。発想としては堅実で地味です。企業のトークン請求の大半は、最も高価なモデルを必要としない呼び出しが占めます。それを誠実に減らす方法は、公開価格表ではなく自社の評価での測定です。確認すべき二点は、ルーターの判断が平均ではなく自社トラフィックで保つか、そして調整段階がどれだけの評価データを必要とするか。後者は建物の外に出る部分だからです。