Lakera

Lakera는 모델 위에 세워진 시스템의 보안을 팝니다. 그리고 회사 자신의 표현이 가장 유용한 부분입니다. AI가 무엇에 접근할 수 있는지 통제하는 것만으로는 부족하고 무엇을 하는지를 통제하라고 말합니다. 이는 문제를 익숙한 권한 목록에서 행동으로 옮깁니다. 결제 시스템에 정당한 접근 권한을 가진 에이전트도 잘못 쓰도록 설득될 수 있고, 접근 제어 목록은 그것을 잡지 못합니다.

제공 내용도 거기서 이어집니다. 애플리케이션 트래픽의 런타임 가드레일, 직원의 AI 사용과 기업 에이전트의 보호와 통제, 위험 기반 테스트, 그리고 사람이 공격하는 레드팀 서비스입니다. 붙들어야 할 구분은 테스트와 런타임 방어의 차이입니다. 레드팀이 찾는 것은 실행한 날 존재한 공격입니다. 가드레일은 다음 주에 발명될 공격에도 계속 작동하는 것이고, 어느 쪽도 다른 쪽을 대신하지 못합니다. 늘 하던 단서가 여기서는 평소보다 중요합니다. 가드레일 자체가 입력을 판단하는 모델이라 놓치는 것이 있고, 벤더의 탐지율은 벤더가 고른 공격 집합에 대해 측정된 값입니다.