Guardrails AI

Guardrails AI는 애플리케이션과 모델 사이에 서서 들어가는 것과 돌아오는 것을 검증합니다. 검사는 두 종류입니다. 구조적 검사는 모델이 돌려준 내용을 실제로 파싱해 쓸 수 있게 합니다. 정책 기반 검사는 내용·안전·형식에 관해 설정한 규칙을 출력이 충족하게 합니다. 라이브러리로 제공되고 서버 옵션도 있으며 오픈소스라 검증기를 읽고 확장할 수 있습니다.

더 저평가된 쪽은 구조적 절반입니다. LLM 기능을 출시해 본 사람은 같은 방어적 파싱 코드를 써 봤을 것이고, 도입할 가치가 있는 검증 프레임워크는 그 코드 위에 한 겹을 더하는 것이 아니라 그 코드를 없애야 합니다. 정책 쪽은 다른 요구에 답합니다. 내보내서는 안 될 것을 내보낸 시스템이 되지 않으려는 장치입니다. 하지 못하는 것은 정책의 내용을 정하는 일이고, 모델이 스스로 평가하는 검증기는 그 모델의 신뢰성을 물려받으므로 중요한 규칙에는 입력이 허락하는 한 결정론적 검사를 함께 두는 값어치가 있습니다.