인덱스로 건너뛰기

GLOSSARY

레드팀 테스팅

적보다 먼저 AI 시스템을 고의로 공격합니다 — 탈옥, 프롬프트 인젝션, 기묘한 엣지 케이스 — 그리고 깨진 부분을 고칩니다.

레드팀 테스팅은 군사 용어를 빌립니다. 내부 '레드팀'이 적을 연기해, 탈옥 표현, 조작적 페르소나, 다국어 우회, 기괴한 엣지 입력으로 모델을 탐침하고 실패 지도를 그립니다. 프론티어 랩은 상시 프로그램을 돌리고 보고서를 공개하며, 규제기관은 그 증거를 점점 요구하고, 바운티식 크라우드 공격은 산업의 한 분야가 됐습니다.

산출물은 결코 '안전'이 아닙니다. 오늘의 실패 지도와 수정 루프입니다. 빌더에게의 교훈은 안전이 체크박스가 아니라 적대적 테스트라는 것입니다. 돈을 쓸 수 있는 AI 에이전트를 아무도 깨보지 않았다면, 깨질 수 있다고 가정하세요.

관련 용어

이 기술을 사용하는 도구

관련 카테고리