Weave

Weave は、すでに動いている AI の仕組みを眺め、良くしていくための Weights & Biases の道具です。追跡の記録を残し、それをばらばらの呼び出しではなく、会話・手番・段階・道具・下位エージェントごとに整理し、作り込み済みと独自の信号で振る舞いを分類し、警報を会話の道具とウェブフックへ送り、API で評価を走らせ、実際の記録に対して指示文とモデルを見比べる遊び場も用意します。安全と質の採点器 — 有害さ、偏り、個人情報の検出、事実に基づかない生成、筋の通し方、流暢さ、文脈の関連度 — が柵として加わり、評価は順位表にまとめられます。実験の追跡、モデルの登録、配信も担うより大きな基盤の中にあり、モデルの仕事を「記録と版のある学問」として扱うチームに向きます。

エージェントがすでに本番で動いており、新しい悩みが信頼性の揺らぎ — 手元の試験では決して現れなかった壊れ方 — になっているチームに向きます。訓練の実験と、配備後の仕組みの振る舞いとを同じ提供元に任せたい組織にも向きます。向かないのは、端から端まで自分で持てる公開の観測の積み木を求めるチームです。これは自前のデータ面を持つ商業の基盤だからです。呼び出しを記録して遅延を見るだけが目的の人にも向きません。

未確認：今回は追跡も評価も柵も走らせていないため、信号、採点器、会話の模型の正確さは見ていません。頁には、データを取り戻すのに助けが要る読者は支援窓口へ連絡するようにという一行がありましたが、今回読んだ頁はそれが何を指すかを説明しておらず、どの支援窓口にも問い合わせていません。頁の主張、すなわち語の費用を大きく削れること、報告される遅延が図の規模が増えても平らなこと、提供元自身の管理画面の図にある数字は、いずれも提供元の数字か見本のデータで、ここで測ったものではありません。料金の頁は開いていないため段階と価格は不明で、Weave の倉庫も読んでいないため、その許諾と公開の間隔は確かめていません。