Lakera

Lakera はモデルの上に作られたシステムのセキュリティを売っており、同社自身の言い方が最も有用な部分です。AI が何にアクセスできるかを制御するだけでは足りず、何をするかを制御せよ、と。これは問題を馴染み深い権限一覧から振る舞いへ移します。決済システムへの正当なアクセス権を持つエージェントでも、誤った使い方をするよう説得され得ますし、アクセス制御リストはそれを捕まえません。

提供内容もそこから続きます。アプリケーショントラフィックへの実行時ガードレール、従業員の AI 利用と企業エージェントの保護と統治、リスクベースのテスト、そして人間が攻撃するレッドチーミングサービス。持ち続けるべき区別はテストと実行時防御の違いです。レッドチームが見つけるのは実施日に存在した攻撃です。ガードレールは来週発明される攻撃にも効き続けるもので、どちらも他方を代替しません。いつもの留保がここでは普段以上に重要です。ガードレール自体が入力について判断するモデルであり、見逃しがあります。そしてベンダーの検出率は、ベンダーが選んだ攻撃群に対して測られたものです。