Not Diamond

Not Diamond はリクエストごとに、どのモデルが最もよく処理するかを予測します。アプリケーションは簡単な呼び出しを安価なモデルに回し、高価なモデルを本当に必要な場面に取っておけます。現在の位置づけは明確にコーディングエージェントで、精度向上、コスト削減、開発サイクルの短縮を主張しています。

この発想は、言われてみれば受け入れやすい分布の事実に立っています。実トラフィックではリクエストの難易度は一様ではなく、そのすべてに最先端の価格を払うのは浪費です。この手法が信頼できるかどうかを決めるのは、ルーティングの判断をどう作りどう評価するかです。汎用ベンチマークで訓練したルーターは、自社ワークロードに合わせたものとは別の判断を下します。そしてベンダーが示す削減額は、自社にはないかもしれないトラフィック構成から来ています。設計上想定すべき失敗は「簡単に見えて簡単でなかった」リクエストです。だから堅実な導入は、品質の下限を設け、自社の評価に見張らせる形であり、削減だけを目標にすることではありません。