Promptfoo
Promptfoo
설정 기반 LLM 평가와 레드팀 테스트를 위한 오픈소스 명령줄 도구와 라이브러리. CI 연동과 별도 상용 플랜을 제공합니다.
- 평점
- 4.6★
- 가격
- 프리미엄(부분무료)
편집부 결론
테스트 사례와 합격 기준을 직접 관리할 수 있다면 검토할 만합니다. 필요한 관리 기능에 맞춰 플랜을 고르고 모델 사용 비용은 별도로 산정하세요.
강점
- 설정 기반 평가와 제공자 비교
- CI 연동 및 실패 기준 문서 제공
- MIT 라이선스 명령줄 도구와 라이브러리
- 상용 클라우드 및 온프레미스 선택지
주요 기능
- 설정 기반 평가
- 레드팀 검사
- CI 임계값 점검
- 제공자별 출력 비교
- 무료 Community 및 견적형 기업 플랜
적합한 용도
- 유지 관리하는 회귀 사례로 프롬프트 변경 확인
- 동일한 판정 조건에서 모델 출력 비교
- 허가받은 LLM 앱의 보안 실패 사례 조사