🔍 RAGを作るたびに、エンベディングのパイプラインを自分で組んでいませんでしたか?
Pinecone はもともと「ベクトルを預かるDB」でした。ユーザーはエンベディングのAPI連携を書き込みと検索の両方に実装し、キー管理、レート制限、リトライまで面倒を見て、元テキストはどこに置くかも悩んでいました。メタデータに入れるとコストが膨らみ、しかも単語としては検索できません。
転機は、スラブという「自己記述型のインデックス単位」を持つログ構造アーキテクチャでした。全文検索を新しいインデックス種別として足せるようになり、1つのスキーマの中で全文検索・ネイティブベクトル・統合エンベディングを同じドキュメントに載せられます。
🚀 今は、プレーンテキストを書き込んで、プレーンテキストで検索するだけです。ベクトルは内部の実装詳細になりました。同一リージョンでの測定では、先に埋め込んでから検索する場合の中央値92msに対して26msと、約3.5倍速くなっています。まだ全文とベクトルの結果融合は自前ですが、1回の検索での統合も予定されています。
「When vectors became an implementation detail」
#
Pinecone# #
RAG#