turbopuffer

turbopuffer は特定のアーキテクチャ上の賭けをしています。インデックスをメモリに常駐させるのではなく、オブジェクトストレージ上で検索する。主張される帰結は、メモリ常駐インデックスより約 10 倍安くなり得ること、単一の名前空間が数百 TB まで拡張できること、メモリと SSD はデータの住処ではなくオブジェクトストア前面のキャッシュとして働くことです。

このトレードオフは適合するワークロードを変えます。ベクトルインデックスが高価なのは通常、問い合わせの有無にかかわらず全体を常駐させる必要があるためで、これはコーパスが大きくアクセスが偏る場合に苦しくなります。サポートのアーカイブ、文書集合、エージェントの長期記憶などです。オブジェクトストレージ方式は冷たい大多数をストレージ料金で課金します。代償はレイテンシで、これはベンチマークから借りる数値ではなく自分のアクセス形態で測る数値です。冷たいコーパスを安くする同じ設計が、小さなインデックスに継続的な負荷がかかる場面では誤った選択になり得ます。