GLOSSARY
オブザーバビリティ
動いている LLM アプリの内側を見ること — トレース、コスト、失敗 — サービスをデバッグするようにエージェントをデバッグするために。
古典的なオブザーバビリティはログ、メトリクス、トレースです。LLM のそれはペイロードを足します。入ったプロンプト、途中のツール呼び出し、出てきたトークンとドル、答えが良かったかどうか。このループが無いと、本番エージェントはユーザーに見えるエラーの 3 ステップ前に静かに失敗します。
LangSmith、Langfuse、Helicone がよくある層です。要点はもう一つのダッシュボードではなく、プロンプト変更をテスト可能にし退帰を見えるようにすること。飛ばすチームは感覚で出荷し、トレースを残すチームは火曜の答えがなぜ悪くなったかを言えます。