Arize AI

Arize는 LLM 애플리케이션과 에이전트를 위한 관측성과 평가를 팝니다. 추적, 평가, 실험을 한 지붕 아래 두고 그 아래에 오픈소스 계측 계층을 둡니다. 관리형 플랫폼과 별도로 오픈소스 관측성·평가 제품도 제공하는데, 채택한 계측이 유료 등급에 묶이지 않는다는 점에서 알아 둘 만합니다.

다루는 문제는 구체적이고 실재합니다. 일반적인 요청 로그는 에이전트가 실패했다는 사실만 알려 주고, 내부 열 단계 중 어디서 실패했는지, 검색된 맥락이 왜 틀렸는지, 혹은 방금 배포한 변경이 개선이었는지 악화였는지는 알려 주지 않습니다. 추적은 단계를, 평가는 판단을 제공하며 둘 다 필요합니다. 추적만 있으면 무슨 일이 있었는지는 알지만 좋은지 나쁜지는 모르고, 평가만 있으면 점수는 알지만 그 점수를 낳은 경로가 보이지 않습니다. 이 범주의 다른 플랫폼과 마찬가지로 벤더 자체의 벤치마크와 개선 폭 주장은 벤더의 것입니다.