cv usk(@cv_usk):💾 大規模ベクトル検索、もうメモリに全部乗せなくていい時代に。 📰 タイトル: HFresh: Memory-Efficient Vector Search 🔗 URL: https://t.co/LgtFGqGhBJ Weaviateが、ディスクベースの新しいベクトルインデックス「HFresh」を発表しました。数十億件規模のベクトルを、限られたメモリで検索できるように設計されています。注目ポイント 🧩 パーティション型アーキテクチャ HNSWのように全ベクトルをグラフで結ぶのではなく、小さな「postings」という領域に分割。インメモリのセントロイドHNSWで候補領域を絞り込み、該当するpostingsだけディスクから読み出して検索します。 📦 2段階の量子化戦略セントロイドにはRQ8を使いメモリを約4分の1に圧縮しつつルーティング精度を維持。postingsにはRQ1を使い32bit floatと比べて最大32倍圧縮し、ディスクI/Oとストレージコストを削減します。 🔄 リビルド不要のバックグラウンド保守 Split・Merge・ReassignというLIRE由来の仕組みで、インデックス全体を作り直すことなく継続的に品質を維持します。 DBpediaの100万件データセットではヒープ使用量239MBと、非圧縮HNSWの6.67GBの約28分の1に抑制。10億件・256次元のベクトルでも動作を実証しており、メモリ制約のある環境や大規模スケールに最適な選択肢です。 #VectorSearch #Weaviate

2026.09.22 05:33

💾 大規模ベクトル検索、もうメモリに全部乗せなくていい時代に。 📰 タイトル: HFresh: Memory-Efficient Vector Search 🔗 URL: Weaviateが、ディスクベースの新しいベクトルインデックス「HFresh」を発表しました。数十億件規模のベクトルを、限られたメモリで検索できるように設計されています。注目ポイント 🧩 パーティション型アーキテクチャ HNSWのように全ベクトルをグラフで結ぶのではなく、小さな「postings」という領域に分割。インメモリのセントロイドHNSWで候補領域を絞り込み、該当するpostingsだけディスクから読み出して検索します。 📦 2段階の量子化戦略セントロイドにはRQ8を使いメモリを約4分の1に圧縮しつつルーティング精度を維持。postingsにはRQ1を使い32bit floatと比べて最大32倍圧縮し、ディスクI/Oとストレージコストを削減します。 🔄 リビルド不要のバックグラウンド保守 Split・Merge・ReassignというLIRE由来の仕組みで、インデックス全体を作り直すことなく継続的に品質を維持します。 DBpediaの100万件データセットではヒープ使用量239MBと、非圧縮HNSWの6.67GBの約28分の1に抑制。10億件・256次元のベクトルでも動作を実証しており、メモリ制約のある環境や大規模スケールに最適な選択肢です。 #VectorSearch# #Weaviate#