登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 ベクトル検索
ベクトル検索 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
ベクトル検索 を含む検索結果
💾 大規模ベクトル検索、もうメモリに全部乗せなくていい時代に。 📰 タイトル: HFresh: Memory-Efficient Vector Search 🔗 URL: Weaviateが、ディスクベースの新しいベクトルインデックス「HFresh」を発表しました。数十億件規模のベクトルを、限られたメモリで検索できるように設計されています。 注目ポイント 🧩 パーティション型アーキテクチャ HNSWのように全ベクトルをグラフで結ぶのではなく、小さな「postings」という領域に分割。インメモリのセントロイドHNSWで候補領域を絞り込み、該当するpostingsだけディスクから読み出して検索します。 📦 2段階の量子化戦略 セントロイドにはRQ8を使いメモリを約4分の1に圧縮しつつルーティング精度を維持。postingsにはRQ1を使い32bit floatと比べて最大32倍圧縮し、ディスクI/Oとストレージコストを削減します。 🔄 リビルド不要のバックグラウンド保守 Split・Merge・ReassignというLIRE由来の仕組みで、インデックス全体を作り直すことなく継続的に品質を維持します。 DBpediaの100万件データセットではヒープ使用量239MBと、非圧縮HNSWの6.67GBの約28分の1に抑制。10億件・256次元のベクトルでも動作を実証しており、メモリ制約のある環境や大規模スケールに最適な選択肢です。 #VectorSearch# #Weaviate#
もっと見る
TL;DR: マルチベクトル検索(ColBERT系)に、点群のまま使えるIVFインデックス「MV-IVF」を提案。バッチ処理ではSVH比で平均約4倍のスループットです。 MV-IVF: Multi-Vector Retrieval via Multi-Vector Clustering ポイント ・🧩 文書もセントロイドも「点群」。MaxSimでルーティングするIVFを直接構築 ・🔁 割り当てを固定すれば中心更新は通常の重み付きクラスタリングに帰着(MV-Lloyd) ・⚡ 1bit/4bit/8bit量子化とクエリ圧縮を段階的に使い分け ・📦 バッチ検索は葉ごとにクエリをまとめてキャッシュ効率を向上 ・📈 Recall-10@10 90%で、スループットは平均 MUVERA比2.19倍・SVH比4.01倍・MV-Vamana比2.07倍 ・⚖️ 単一クエリ遅延は小規模データで優位。大規模ではMV-Vamanaが勝つ場面も 早期停止は厳密な上界ではなく、評価もColBERTv2のテキスト検索のみです。それでも、マルチベクトルを素直にクラスタリングする方向の実用性を示す結果だと感じます。 #MultiVectorRetrieval# #ColBERT#
もっと見る
エージェントの検索が失敗する理由は、検索の精度だけではありません。コンテキストの使い方に原因があります。 タイトル: Context Engineering Starts with Retrieval URL: 🔎 概要 LangChain が Deep Agents を例に、検索を3つの失敗(非効率・多すぎる・古い/無関係)に分けて整理した記事です。毎週数百社を調べる競合分析エージェントが題材です。 ⚠️ 解決する課題 ・検索のたびにトークンを消費し、コンテキストが埋まる ・大きな検索結果が作業スペースを圧迫する ・古い情報や的外れな情報が、以降の手順の土台になる 🛠️ 方法論と提案手法 ・まず glob と grep で絞り、意味で探すときだけベクトル検索を使う ・read_file は既定100行でページング。約2万トークン超の結果は自動でファイルに退避 ・検索結果はパスだけ返し、1ファイル担当のサブエージェントが要点と出典だけを返す ・日付フィルタで鮮度を保ち、取得テキストはインジェクションを前提に出典を検証する 📊 ユースケース 約4万行の市場データから売上を1つ引く場合、grep で数値を探して前後の数行だけを読みます。ニュース検索は4本の全文ではなく4つのパスだけがメインに返ります。 #コンテキストエンジニアリング# #AIエージェント#
もっと見る
TL;DR: 乱立するベクトル量子化手法を、共通の小さな部品(プリミティブ)の組み合わせとして統一的に扱い、同一条件で比較できるベンチマーク「VQ-bench」をPineconeが公開しました。 タイトル: VQ-bench: a Composable Vector Quantization Framework URL: ポイント 🧩 Center・Normalize・PCA・RandomRotateなど、量子化を構成する共通プリミティブを定義し自由に組み合わせ可能に 🔗 E-RaBitQなどの既存手法も「Center→Normalize→Random Rotation→Angular Cast」の4プリミティブの並びだけで再現 📊 VIBEの5データセット・14種類の量子化器をReconstruction MSE・Recall@10・エンコード時間で横並び比較 🥇 PQとOPQが一貫して最小のReconstruction MSEを記録 ⚡ EDENはPQ/OPQ/E-RaBitQより大幅に高速なエンコードを実現しつつRecallも高水準を維持 🛠️ 新規量子化器の追加は数行のコードで済み、新規プリミティブは既存の全部品と自動的に合成可能 バラバラだった量子化手法の評価が同じ土俵に乗ったことで、用途に応じた選定がしやすくなりそうです。 #ベクトル検索# #ベクトルDB#
もっと見る
pgvectorのHNSWで「フィルタをかけると結果が減る」「インデックスが重い」と困っていませんか? タイトル: Introducing pg_pinecone: Open-Source Search for Your Postgres Data URL: 🐘 概要 Apache 2.0のオープンソースPostgres拡張です。既存のpgvectorのベクトル列に、Pineconeの検索エンジンによるベクトル検索を足せます。データベース内で動くので、データはPostgresの外に出ません。 ❓ 解決する課題 HNSWはデータ増でメモリと構築時間が膨らみ、テナント単位などのフィルタ付き検索では、要求件数より少ない結果になることがあります。 🧩 方法論と提案手法 グラフの代わりに、IVFとRaBitQ(約1ビット/次元)のコードを使い、近いクラスタ探索、コードで距離推定、完全ベクトルで再ランクの3段階で検索します。フィルタは全行の3%以下ならプレフィルタで厳密に、それ以上なら各クラスタ内で確認します。APIキーなしのnativeエンジンのほか、remote、embed()、BM25、rerank()も選べます。 📊 実験結果(ベンダー報告) 100万ベクトル・768次元で、 ・再現率0.95のレイテンシ 1.27 ms(HNSW halfvecは1.71 ms) ・インデックスサイズ 136 MB(HNSW halfvecは2.0 GB) ・1%フィルタ:再現率0.981を8.3 ms(HNSW halfvecは0.924を56 ms) ただし1データセット、1構成の結果で、一括ロード後はREINDEXが必要です。 #Postgres# #VectorSearch#
もっと見る
GraphRAGに「エージェント」を足すと何が変わるのか、整理してみました🕸️ Agentic GraphRAG: How does an AI agent use a knowledge graph? ❓ 普通のGraphRAGと何が違うの? 💡 グラフ検索の主導権をエージェントに渡します。どこから探索し、どのツールを呼び、どこまで関係をたどり、十分な文脈が集まったかを、実行時に自分で判断します。 ❓ 実際にはどう動くの? 💡 スキーマ確認→クエリ→結果の観察を繰り返すReActループです。例えば「同じ問題の影響を受けた他の顧客は?」は3段階で解きます。 ・ベクトル検索で該当チケットを見つける ・チケットが報告するエラーを求める ・同じエラーを報告した他の顧客に到達する ❓ グラフに書き込ませても大丈夫? 💡 読み取りと書き込みを分けるのが前提です。書き込みは権限の限定、スキーマ検証、確信度の閾値、必要なら人間の承認で守ります。過去の判断と結果を残すコンテキストグラフも、この考え方の延長です。 ❓ いつ導入すべき? 💡 検索経路が質問ごとに変わる、ドメインが変化し続ける、過去の判断を活かしたい、のいずれかに当てはまる場合です。固定経路のほうが速い場面も多いので、まず動くGraphRAGを作り、足りない箇所にだけ自律性を足すのが現実的です。 #GraphRAG# #AIエージェント#
もっと見る
📊 決算資料のグラフの中にしか答えがない質問、これまでのRAGだと拾えなかったんです。 タイトル: How to extract meaning from charts and tables in PDFs URL: PDFをテキスト抽出せず、ページをそのまま画像として検索対象にするアプローチをWeaviateが紹介しています。注目ポイントを3つに絞って紹介します。 🔍 OCR不要のマルチベクトル検索 ページ全体を1本のベクトルに圧縮せず、画像パッチごとに複数のベクトルを持たせ、クエリとのMaxSimで局所マッチングします。チャートやレイアウトの視覚情報を壊さずに検索できるのがポイントです。 🖼️ ドラッグ&ドロップで導入完了 Weaviate CloudにPDFを入れるだけで各ページを高解像度画像化しBLOB保存、専用モジュールが自動でベクトル化します。NVIDIAの決算資料92ページの取り込みはわずか約90秒でした。 🤖 出典付きで数値を回答 「自動車事業の売上推移は?」と聞くと、$346M→$586M(+69%)という五四半期分の棒グラフのページを正しく検出。Query Agentを使えば根拠ページの画像付きで回答も生成できます。 チャートだらけで扱いにくかったPDFこそ、実は一番おいしいユースケースだったという発想の転換が面白いところです。 #RAG# #Weaviate#
もっと見る
Postgres で十分じゃん、というWebサイト。Postgresに限らずだけど、そんなにスケールする必要がないのはそうだと思う。 ・多くのシステムではキャッシュや検索などに別々のデータベースを使いすぎ ・時期尚早な最適化であり、運用や保守の負担を増大させるだけ ・目的ごとにRedisやElasticsearchなどを追加していくのがよくある開発パターン ・その結果、システムが複雑化し、監視やバックアップの手間が膨れ上がる ・データベースをPostgres一つに絞れば、運用や障害対応を一本化できる ・ただ、Postgresは大規模なシステムには向かないという批判をよく耳にする ・しかし、実際にそこまでの規模に達するプロジェクトは全体のわずか ・スタートアップ企業はインフラ構築よりも、本来の課題解決に労力を注ぐ方が良い ・多くのユーザーを抱える大企業でさえ、枯れた技術を信頼して活用している ・Postgresの処理能力の限界に達してから、別のシステムを追加しても遅くはない ・キャッシュ機能はRedisを使わなくてもPostgresの機能で代用できる ・ジョブキューや全文検索、ドキュメントの保存もPostgresの拡張機能で対応可能 ・AI向けのベクトル検索や時系列データの処理などもPostgresで実行できる ・もちろん、専用のデータベースが必要になる場面もある ・ただその導入のハードルは高く設定しておいて良い ・Postgresを限界まで使い倒してみよう ・それでも不足する場合にのみ新しいシステムを追加したら良い
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # コンテキスト予算配分 🎯 「全部入れれば精度が上がる」は幻想です。コンテキストウィンドウは有限の予算として管理しましょう。 スロットごとに配分比率を決め、信号密度を最大化するパターンです。 🔥 解決する課題 RAGやメモリを使うエージェントでは、検索結果・会話履歴・システム指示・長期メモリが同じコンテキストウィンドウを奪い合います。情報を詰め込むほどコストは増え、会話が長くなるとシステム指示の割合が縮んで振る舞いが劣化します。さらに"Lost in the Middle"問題により、窓の中盤に置かれた重要な情報が実質的に無視されてしまいます。 💡 提案パターン コンテキストウィンドウをシステム指示・検索結果・会話履歴・メモリなどのスロットに分け、各スロットに最大占有率と優先度を設定します。システム指示は圧縮対象外の固定枠(10〜20%)として先に確保し、検索結果はリランク後にtop-k件に絞り、履歴は窓使用率が閾値を超えたら要約圧縮します。配置順序はLost in the Middle対策として、最重要情報を先頭に、直近入力を末尾に置きます。cost_sensitivityが高い環境ほどtop-kを絞り、圧縮閾値を下げ、履歴を短く保ちます。 ✅ 選定条件 使うとき: - RAGやメモリを使い、投入候補がモデル窓サイズの50%を超えうる - コスト感度が中以上で、投入トークンの増加がコストや推論時間に影響する - 複数ターンの会話で履歴が蓄積し、他の情報のスペースを圧迫する 使わないとき: - 投入情報がシステム指示+単発入力のみで窓の30%未満に収まる場合 - ロングコンテキストモデルを使い投入量が窓の20%未満、かつコスト感度が低い場合 ⚠️ 落とし穴 - システム指示を圧縮対象にしてはいけません。ツール定義や安全指示が削られると振る舞いが壊れます - リランクなしのtop-kは信号密度が低いです。ベクトル検索上位20件からクロスエンコーダで3〜8件に絞りましょう - 要約圧縮は非可逆です。重要な決定事項や固有名詞が落ちるリスクがあるため、キーワード抽出を併用してください 🔧 実装方針 - コンテキストウィンドウをスロット(system/user/retrieval/history/memory)に分割し、各スロットに最大占有率・優先度・圧縮可否を定義した構造体で管理します - システム指示は圧縮対象外の最高優先度として先に確保し、残りの予算を他スロットに優先度降順で配分します - 検索結果はベクトル検索の上位候補をクロスエンコーダでリランクしてから予算内に収め、信号密度を最大化します - 履歴スロットが予算を超過した場合は要約圧縮を適用し、圧縮前にキーワード抽出して重要情報の欠落を防ぎます #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェント開発の意思決定ポイント 🎯 **ポイント** RAGのtop-k、なんとなく「5」にしていませんか?検索結果を多く入れれば根拠が増えると思いきや、LLMは中盤の情報を無視しがちで、コストだけが直線的に増加します。少なすぎればハルシネーション、多すぎればノイズと予算超過。このバランスを取るための実践的な考え方を解説します。 📋 **概要** 検索top-kは、RAG(Retrieval-Augmented Generation)において外部知識ストアから取得する文書チャンクの件数を制御するパラメータです。広義には「LLMのコンテキストウィンドウに投入する外部情報の量」を意味します。コンテキストウィンドウは有限の資源であり、システム指示・検索結果・会話履歴・長期メモリ・ツール出力が奪い合っています。検索結果を多く入れれば根拠は増えますが他の情報が押し出され、少なければ根拠不足でハルシネーションが増えます。 重要なのは件数だけでなく「何を上位に置くか」です。初期検索で広めに候補を取り、リランカーで信号密度の高い順に並べ替えて上位k件を投入するパイプラインが標準的です。 🔍 **意思決定のポイント** top-kの設定は主に以下の変数で決まります。 🔹 **コスト感度(cost_sensitivity)** — コスト感度が高いほどtop-kを絞ります。ただし最低限の根拠確保のためk=3を下回ることは稀です。kを5から20に増やすと検索結果部分のトークンは概ね4倍、コストもそれに比例します。 🔹 **失敗コスト(failure_cost)** — 失敗コストが高い領域では根拠の網羅性が重要。kを多めにとりリランクで品質を担保する戦略が有効です。ただしリランクスコアが閾値を下回る文書は切り捨てるべきです。 🔹 **説明責任(accountability)** — 回答の根拠として引用できる文書を確保する必要がある場合、kを増やすよりもリランクスコアの高い少数の文書を確実に含め、出典を明示する方が効果的です。 💡 **要点と詳細** 実践的な判定フローは以下の通りです。 1️⃣ 初期検索では広めに取得(概ねk=20〜50) 2️⃣ リランカーで関連性スコア順に並べ替え 3️⃣ スコアが閾値を超える文書のうち上位k件を投入 4️⃣ 投入後のトークン数がコンテキストウィンドウの50%を超えないよう制御 5️⃣ 超える場合は圧縮(要約)またはさらなる絞り込み 📊 目安値: - 初期検索の取得件数: 20〜50件(リランク用の候補プール) - リランク後の投入件数: 3〜8件(大半のユースケースで5件前後が出発点) - 検索枠のウィンドウ占有率: 20〜40%(50%超で圧縮検討) - チャンクサイズ: 200〜500トークン kの値は「件数の定数」ではなく「リランクスコアが閾値を超えた文書の件数(上限k件)」として動的に決めるのが理想です。高関連の文書が2件しかなければ2件だけ投入し、無理にk件まで埋めません。 ⚖️ **トレードオフ** 📉 top-kが小さすぎると — 回答に必要な情報が検索結果に含まれず、LLMが根拠なしに回答を生成します。特に複数文書からの情報統合が必要な場合(「A社とB社の比較」など)、1件では対応できません。取得件数が少ないと1件のノイズの影響も甚大で、k=2なら1件のノイズが50%を占めます。 📈 top-kが大きすぎると — "Lost in the Middle"問題が顕在化します。LLMはコンテキストの先頭と末尾に注意を集中させ、中盤の情報は実質的に無視される傾向があります。大量投入すると最重要情報が中盤に埋もれます。他の情報枠(システム指示・会話履歴・長期メモリ)も圧迫され、エージェント全体の振る舞いが劣化します。 🛠️ **ユースケース** ❓ **単純な事実質問**(「A社の設立年は?」)— k=2〜3で十分。単一の文書で回答可能なケースがほとんどです。 📊 **比較・分析質問**(「A社とB社の戦略の違いは?」)— k=5〜8が必要。複数ソースからの情報統合にはより多くの文書が必要です。クエリ分類器で場合分けすると効率的です。 🏥 **医療・法務の高精度Q&A** — 根拠の網羅性と出典の明示が両方求められる。初期検索を広く取りリランクで厳選、スコアの高い少数の文書を先頭または末尾に配置して"Lost in the Middle"を回避します。 リランカーを使わずにtop-kを増やすのは逆効果です。ベクトル検索の上位20件をそのまま投入するとノイズが大量に混入します。コンテキストウィンドウの使用率は常にモニタリングし、検索結果で投入した文書のうち実際に回答に使われた比率を追跡しましょう。使われない文書が多ければkを下げるか検索パイプラインの改善が必要です。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る