Promptfoo
Promptfoo
設定に基づく LLM 評価とレッドチームテストのためのオープンソースツールとライブラリ。CI 連携と別途商用プランがあります。
- 評価
- 4.6★
- 料金
- フリーミアム
編集部の結論
テストケースと合格基準を自分たちで管理できるなら検討できます。必要な管理機能でプランを選び、モデル利用費は別に見積もってください。
強み
- 設定に基づく評価と提供元の比較
- CI 連携と失敗基準の文書
- MIT ライセンスのコマンドラインツールとライブラリ
- 商用クラウドと自社環境への展開を選択可能
主な機能
- 設定に基づく評価
- レッドチームの検査
- CI のしきい値確認
- 提供元別の出力比較
- 無料 Community と個別見積もりの企業プラン
向いている用途
- 保守した回帰ケースでプロンプトの変更を確認
- 同じ判定条件でモデル出力を比較
- 許可された LLM アプリのセキュリティ上の失敗を調査