Arize AI

Arize は LLM アプリケーションとエージェント向けの可観測性と評価を売っています。トレーシング、評価、実験を一か所にまとめ、その下にオープンソースの計装レイヤーが入ります。マネージド基盤とは別にオープンソースの可観測性・評価製品も提供しており、採用する計装が有料プランに固定されないという意味で知っておく価値があります。

扱う問題は具体的で実在します。通常のリクエストログはエージェントが失敗したことは教えてくれますが、内部の十段のうちどこで失敗したか、取得した文脈がなぜ誤っていたか、あるいは直前の変更が改善だったのか悪化だったのかは教えてくれません。トレーシングは工程を、評価は判断を与え、両方が必要です。トレーシングだけでは何が起きたかは分かっても良し悪しは分からず、評価だけでは点数は分かってもそこに至った経路が見えません。この領域の他の基盤と同様、ベンダー自身のベンチマークと改善幅の主張はベンダーのものです。