Label Studio

Label Studio はオープンソース基盤で、モデルだけでは足りないときに必ず発生する作業を扱います。テキスト、画像、音声、動画にまたがるデータのラベリング、出力のレビュー、ヒューマン・イン・ザ・ループの工程。写真ではなくエージェントのトレースや LLM の出力をラベリングする新しい変種も含みます。

価値は地味な性質から来ます。ラベリング画面が設定可能なので、前の案件と似ていない案件でも新しいツールを書かずに済みます。案件が二つ以上になると専用スクリプトより汎用基盤が勝る理由であり、表計算から始めたチームが後でここに辿り着く理由でもあります。十分かどうかを決める二点は、ソフトではなく人に関わります。注釈の指針が、二人の担当者が一致できるほど具体的か。そして品質管理が、何でも承認する担当者を捕まえられるか。担当者間の一致率それ自体が測定であり、ツールは記録できるだけで、生み出すことはできません。