Guardrails AI

Guardrails AI はアプリケーションとモデルの間に立ち、入るものと戻るものを検証します。検査は二種類あります。構造的なものは、モデルが返した内容を実際に解析して使えるようにします。ポリシー的なものは、内容・安全性・形式について設定した規則を出力が満たすようにします。ライブラリとして提供され、サーバー版の選択肢もあり、オープンソースなのでバリデータを読み拡張できます。

過小評価されているのは構造的な側です。LLM 機能を出荷したことがある人は同じ防御的パース処理を書いたはずで、採用に値する検証フレームワークは、そこにもう一層を足すのではなく、その処理を消すものであるべきです。ポリシー側は別の要求に答えます。出すべきでないものを出したシステムになりたくないときの仕組みです。できないのはポリシーの中身を決めることです。そしてモデル自身が評価するバリデータはそのモデルの信頼性を引き継ぐため、重要な規則には、入力が許す限り決定論的な検査を併用する価値があります。