turbopuffer

turbopuffer는 특정한 아키텍처 선택에 겁니다. 인덱스를 메모리에 상주시키는 대신 오브젝트 스토리지에서 검색합니다. 주장되는 결과는 메모리 상주 인덱스보다 약 열 배 저렴할 수 있고, 단일 네임스페이스가 수백 테라바이트까지 확장되며, 메모리와 SSD는 데이터의 거처가 아니라 오브젝트 스토어 앞단의 캐시로 동작한다는 것입니다.

이 대가는 맞는 워크로드를 바꿉니다. 벡터 인덱스가 비싼 흔한 이유는 질의 여부와 무관하게 전부를 상주시켜야 한다는 점이고, 코퍼스가 크고 접근이 고르지 않을 때 괴롭습니다. 지원 아카이브, 문서 집합, 에이전트의 장기 기억이 그렇습니다. 오브젝트 스토리지 방식은 차가운 다수를 저장 요율로 청구합니다. 대가는 지연이며, 이는 벤치마크에서 빌려 올 숫자가 아니라 자신의 접근 패턴으로 재야 할 숫자입니다. 차가운 코퍼스를 싸게 만드는 같은 설계가 작은 인덱스에 지속 부하가 걸리는 상황에서는 잘못된 선택일 수 있습니다.