Not Diamond

Not Diamond는 요청마다 어느 모델이 가장 잘 처리할지 예측합니다. 애플리케이션은 쉬운 호출을 저렴한 모델로 보내고 비싼 모델은 정말 필요한 경우를 위해 남길 수 있습니다. 현재 위치는 분명히 코딩 에이전트이며, 정확도 향상과 비용 절감, 개발 주기 단축을 주장합니다.

이 발상은 한 번 말하면 받아들이기 쉬운 분포 사실에 기대고 있습니다. 실제 트래픽에서 요청 난이도는 고르지 않고, 그 모두에 최전선 가격을 지불하는 것은 낭비입니다. 이 접근이 믿을 만한지를 결정하는 것은 라우팅 판단을 어떻게 만들고 평가하는가입니다. 범용 벤치마크로 훈련한 라우터는 자사 워크로드에 맞춘 것과 다른 판단을 내립니다. 그리고 벤더가 제시하는 절감액은 자사에 없을 수도 있는 트래픽 구성에서 나옵니다. 설계상 대비해야 할 실패는 쉬워 보였지만 아니었던 요청입니다. 그래서 합리적 도입은 품질 하한을 두고 자체 평가가 지켜보게 하는 형태이며, 절감만을 목표로 하는 것이 아닙니다.