Promptfoo

Promptfoo는 LLM 애플리케이션 평가와 레드팀 테스트를 위한 오픈소스 명령줄 도구와 라이브러리입니다. 공식 문서는 설정 파일 기반 테스트 사례, 판정 조건, 모델 제공자 비교, CI 연동을 설명합니다. 공개 소프트웨어는 MIT 라이선스로 사용·수정할 수 있지만 상용 플랫폼의 모든 기능이 그 범위에 포함되는 것은 아닙니다. 회사 소개 페이지는 현재 OpenAI의 일부라고 밝힙니다.

도입할 때는 누가 테스트 사례를 관리하고 실패를 판단할지 정해야 합니다. 검사를 반복 실행할 수 있어도 대표 입력, 유효한 판정 조건, 허용 가능한 실패 기준은 팀이 선택해야 합니다. 통과 결과는 설정된 사례에 관한 증거이며 모든 공격에 대한 안전이나 향후 모든 응답의 정확성을 보장하지 않습니다. 명령줄 도구를 로컬에서 실행해도 외부 모델 요청은 외부로 전송되므로 선택한 제공자와 전달 데이터를 확인해야 합니다.

요금 페이지는 Community, Enterprise, On-Premise를 구분합니다. Community에는 로컬 평가와 일부 레드팀 사용량이 포함되며 상용 플랜은 팀 권한, 관리형 배포, 지원 등의 기능을 추가합니다. 필요한 관리 기능과 사용 한도를 비교하고 모델/API 호출, 실행 인프라, 테스트 유지 비용은 별도로 산정하세요. 이 디렉터리는 문서만 읽었고 평가를 설정하거나 대상을 스캔하지 않았으므로 탐지율, 오탐률, 실행 속도, 경쟁 제품 대시보드와의 우열을 주장하지 않습니다.