Promptfoo
Promptfoo
用于配置化 LLM 评测与红队测试的开源命令行工具和库,支持 CI 集成,另有商业平台方案。
- 评分
- 4.6★
- 定价
- 免费增值
编辑结论
能自行维护用例与验收标准时可考虑 Promptfoo;按实际控制需求选择商业档位,并单独预算模型用量。
优势
- 通过配置组织评测和提供方对比
- 有 CI 集成及失败阈值文档
- MIT 许可的命令行工具与库
- 提供商业云端与本地部署选项
核心功能
- 配置驱动的评测
- 红队探测
- CI 阈值检查
- 提供方输出对比
- 免费 Community 与询价企业方案
适用场景
- 用持续维护的回归用例检查提示词变更
- 在相同断言下比较模型输出
- 调查获授权 LLM 应用的安全失败案例