AI21

AI21은 이제 스스로를 기업용 AI 시스템을 만든다고 설명하고, 사이트가 앞세우는 것은 최전선 모델이 아니라 비용입니다. 토큰 지출을 줄이는 교체 가능한 게이트웨이 엔드포인트, 자사 트래픽을 기준으로 모델을 고르는 라우팅, 자사 워크로드에서 수용 가능한 품질에 도달하도록 소형 오픈 모델을 조정하는 작업, 그리고 자체 비공개 평가에 대해 구성을 탐색하는 옵티마이저입니다. 주장은 순진한 라우팅으로는 부족하고 오픈 모델이 탐색하며 최전선 모델이 메운다는 것입니다.

Jamba 모델 계열을 팔던 시절의 회사와는 다른 회사이며, 이 항목은 사이트가 오늘 말하는 바를 기록합니다. 발상은 타당하고 화려하지 않습니다. 기업의 토큰 청구 대부분은 가장 비싼 모델이 필요 없는 호출이 차지합니다. 그것을 정직하게 줄이는 방법은 공개 가격표가 아니라 자사 평가에서의 측정입니다. 확인할 두 가지는 라우터의 판단이 평균이 아니라 자사 트래픽에서 버티는지, 그리고 조정 단계가 얼마나 많은 평가 데이터를 요구하는지입니다. 후자는 건물 밖으로 나가야 하는 부분입니다.