pgvectorのHNSWで「フィルタをかけると結果が減る」「インデックスが重い」と困っていませんか？ タイトル: Introducing pg_pinecone: Open-Source Search for Your Postgres Data URL: 🐘 概要 Apache 2.0のオープンソースPostgres拡張です。既存のpgvectorのベクトル列に、Pineconeの検索エンジンによるベクトル検索を足せます。データベース内で動くので、データはPostgresの外に出ません。 ❓ 解決する課題 HNSWはデータ増でメモリと構築時間が膨らみ、テナント単位などのフィルタ付き検索では、要求件数より少ない結果になることがあります。 🧩 方法論と提案手法 グラフの代わりに、IVFとRaBitQ（約1ビット/次元）のコードを使い、近いクラスタ探索、コードで距離推定、完全ベクトルで再ランクの3段階で検索します。フィルタは全行の3%以下ならプレフィルタで厳密に、それ以上なら各クラスタ内で確認します。APIキーなしのnativeエンジンのほか、remote、embed()、BM25、rerank()も選べます。 📊 実験結果（ベンダー報告） 100万ベクトル・768次元で、 ・再現率0.95のレイテンシ 1.27 ms（HNSW halfvecは1.71 ms） ・インデックスサイズ 136 MB（HNSW halfvecは2.0 GB） ・1%フィルタ：再現率0.981を8.3 ms（HNSW halfvecは0.924を56 ms） ただし1データセット、1構成の結果で、一括ロード後はREINDEXが必要です。 #Postgres# #VectorSearch#

💾 大規模ベクトル検索、もうメモリに全部乗せなくていい時代に。 📰 タイトル: HFresh: Memory-Efficient Vector Search 🔗 URL: Weaviateが、ディスクベースの新しいベクトルインデックス「HFresh」を発表しました。数十億件規模のベクトルを、限られたメモリで検索できるように設計されています。 注目ポイント 🧩 パーティション型アーキテクチャ HNSWのように全ベクトルをグラフで結ぶのではなく、小さな「postings」という領域に分割。インメモリのセントロイドHNSWで候補領域を絞り込み、該当するpostingsだけディスクから読み出して検索します。 📦 2段階の量子化戦略 セントロイドにはRQ8を使いメモリを約4分の1に圧縮しつつルーティング精度を維持。postingsにはRQ1を使い32bit floatと比べて最大32倍圧縮し、ディスクI/Oとストレージコストを削減します。 🔄 リビルド不要のバックグラウンド保守 Split・Merge・ReassignというLIRE由来の仕組みで、インデックス全体を作り直すことなく継続的に品質を維持します。 DBpediaの100万件データセットではヒープ使用量239MBと、非圧縮HNSWの6.67GBの約28分の1に抑制。10億件・256次元のベクトルでも動作を実証しており、メモリ制約のある環境や大規模スケールに最適な選択肢です。 #VectorSearch# #Weaviate#

🎨 どのスタジオにも「final_final_v7.png」があります。過去作を探すより作り直す方が早い——そんな笑えない現実に、AIは別の角度から効きます。 クリエイティブの現場では、作品が整理の追いつかない速さで溜まっていきます。厄介なのは、キーワード検索が使えないこと。「blue environmental concept」で探しても、ファイル名が ENV_ALTSTYLING_DARK_V4 なら一件もヒットしません。言葉とファイル名の語彙が、そもそも噛み合っていないのです。 そこで発想を変えます。画像や映像を、意味を数値で表す「ベクトル埋め込み」に変換して保存する。すると「異なる言い回しでも意味が近ければベクトル空間で近くに並ぶ」ので、自然文で意味検索ができます。基盤にはWeaviateを使い、ベクトルの近さとメタデータのフィルタ（プロジェクト・日付・種別）を組み合わせるハイブリッド検索で、目的の素材にたどり着けます。数万点のコンセプト画像から「cold, forested biome that feels visually distinct」で探す、Bロールをショットの特徴で引く、過去のドラムの質感を掘り出す——命名規則を知らなくても。 ここでのAIは、新しいコンテンツを生成する主役ではなく、既存の作業をアクセスしやすくする「インフラ層」です。整理と検索に奪われていた時間を創作に戻す。Building Foundry: AI isn't replacing creativity, it's removing friction は、その地味だが本質的な価値を語っています。 🔗 #VectorSearch# #CreativeAI#