💾 大規模ベクトル検索、もうメモリに全部乗せなくていい時代に。 📰 タイトル: HFresh: Memory-Efficient Vector Search 🔗 URL: Weaviateが、ディスクベースの新しいベクトルインデックス「HFresh」を発表しました。数十億件規模のベクトルを、限られたメモリで検索できるように設計されています。 注目ポイント 🧩 パーティション型アーキテクチャ HNSWのように全ベクトルをグラフで結ぶのではなく、小さな「postings」という領域に分割。インメモリのセントロイドHNSWで候補領域を絞り込み、該当するpostingsだけディスクから読み出して検索します。 📦 2段階の量子化戦略 セントロイドにはRQ8を使いメモリを約4分の1に圧縮しつつルーティング精度を維持。postingsにはRQ1を使い32bit floatと比べて最大32倍圧縮し、ディスクI/Oとストレージコストを削減します。 🔄 リビルド不要のバックグラウンド保守 Split・Merge・ReassignというLIRE由来の仕組みで、インデックス全体を作り直すことなく継続的に品質を維持します。 DBpediaの100万件データセットではヒープ使用量239MBと、非圧縮HNSWの6.67GBの約28分の1に抑制。10億件・256次元のベクトルでも動作を実証しており、メモリ制約のある環境や大規模スケールに最適な選択肢です。 #VectorSearch# #Weaviate#

🎨 どのスタジオにも「final_final_v7.png」があります。過去作を探すより作り直す方が早い——そんな笑えない現実に、AIは別の角度から効きます。 クリエイティブの現場では、作品が整理の追いつかない速さで溜まっていきます。厄介なのは、キーワード検索が使えないこと。「blue environmental concept」で探しても、ファイル名が ENV_ALTSTYLING_DARK_V4 なら一件もヒットしません。言葉とファイル名の語彙が、そもそも噛み合っていないのです。 そこで発想を変えます。画像や映像を、意味を数値で表す「ベクトル埋め込み」に変換して保存する。すると「異なる言い回しでも意味が近ければベクトル空間で近くに並ぶ」ので、自然文で意味検索ができます。基盤にはWeaviateを使い、ベクトルの近さとメタデータのフィルタ（プロジェクト・日付・種別）を組み合わせるハイブリッド検索で、目的の素材にたどり着けます。数万点のコンセプト画像から「cold, forested biome that feels visually distinct」で探す、Bロールをショットの特徴で引く、過去のドラムの質感を掘り出す——命名規則を知らなくても。 ここでのAIは、新しいコンテンツを生成する主役ではなく、既存の作業をアクセスしやすくする「インフラ層」です。整理と検索に奪われていた時間を創作に戻す。Building Foundry: AI isn't replacing creativity, it's removing friction は、その地味だが本質的な価値を語っています。 🔗 #VectorSearch# #CreativeAI#