Promptfoo

Promptfoo は LLM アプリの評価とレッドチームテストを行うオープンソースのコマンドラインツールとライブラリです。公式文書には、設定ファイルによるテストケース、判定条件、モデル提供元の比較、CI 連携が説明されています。公開ソフトウェアのライセンスは MIT ですが、商用プラットフォームの全機能までその対象になるわけではありません。会社紹介ページは、現在 OpenAI の一部であると述べています。

導入では、誰がテストケースを保守し、失敗を判断するかが重要です。チェックを繰り返し実行できても、代表的な入力、適切な判定条件、許容する失敗の基準はチームが決めます。テスト通過は設定済みのケースに関する結果であり、すべての攻撃への安全性や将来の全回答の正確さを保証しません。ローカル実行でも、外部モデルへの要求は外部へ送られるため、提供元と送信データを確認する必要があります。

料金ページは Community、Enterprise、On-Premise を分けています。Community はローカル評価と一部のレッドチーム利用を含み、商用プランにはチーム権限、管理された展開、サポートなどがあります。必要な管理機能と利用上限を比較し、モデル/API 呼び出し、実行基盤、テスト保守の費用を別に見積もってください。当サイトは文書を読みましたが、評価の設定や対象へのスキャンは行っておらず、検出率、誤検知率、速度、他社画面との優劣は判断していません。