登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 ベクトルDB
ベクトルDB コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
ベクトルDB を含む検索結果
🔎 「エージェント検索に埋め込みもベクトルDBも要らない。grepで生コーパスを直接叩け」という挑発的な研究です。 タイトル: Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction URL: ❓ Direct Corpus Interaction(DCI)とは何ですか? 💡 埋め込みモデル・ベクトルインデックス・検索APIを一切使わず、エージェントがgrepやfind、シェルコマンドで生コーパスを直接探索する検索パラダイムです。オフラインのインデックス構築が不要で、変化し続けるローカルコーパスに自然に適応します。 ❓ なぜ従来のリトリーバではダメなのですか? 💡 BM25でも密ベクトルでも、コーパスを「固定の類似度インターフェース」でtop-kに圧縮してから推論を始めます。すると厳密な字句一致や弱い手がかりの結合、局所文脈の確認がしづらく、早期に落ちた証拠は後段でどれだけ推論しても復元できません。エージェントの多段探索には致命的です。 ❓ 本当にリトリーバなしで勝てるのですか? 💡 勝てます。BrowseComp-Plusでは同じSonnet 4.6でリトリーバをDCIに替えると正答率69.0→80.0%(+11.0)かつコスト−29.4%。多段QA平均は83.0で最強ベースライン比+30.7、IRランキングはNDCG@10で68.5(+21.5)。軽量なGPT-5.4 nano版でも多くのベースラインを上回りました。 ❓ 何が効いているのですか? 💡 著者らは「retrieval interface resolution(検索インターフェースの解像度)」と呼びます。優位は多くのgold文書を出すことより、到達後に小さな証拠スパンへ精密に絞り込む高解像度な局所探索・検証から来る、と軌道分析で示しています。 #AIエージェント# #RAG#
もっと見る
🔎 「エージェント検索に埋め込みもベクトルDBも要らない。grepで生コーパスを直接叩け」という挑発的な研究です。 タイトル: Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction URL: ❓ Direct Corpus Interaction(DCI)とは何ですか? 💡 埋め込みモデル・ベクトルインデックス・検索APIを一切使わず、エージェントがgrepやfind、シェルコマンドで生コーパスを直接探索する検索パラダイムです。オフラインのインデックス構築が不要で、変化し続けるローカルコーパスに自然に適応します。 ❓ なぜ従来のリトリーバではダメなのですか? 💡 BM25でも密ベクトルでも、コーパスを「固定の類似度インターフェース」でtop-kに圧縮してから推論を始めます。すると厳密な字句一致や弱い手がかりの結合、局所文脈の確認がしづらく、早期に落ちた証拠は後段でどれだけ推論しても復元できません。エージェントの多段探索には致命的です。 ❓ 本当にリトリーバなしで勝てるのですか? 💡 勝てます。BrowseComp-Plusでは同じSonnet 4.6でリトリーバをDCIに替えると正答率69.0→80.0%(+11.0)かつコスト−29.4%。多段QA平均は83.0で最強ベースライン比+30.7、IRランキングはNDCG@10で68.5(+21.5)。軽量なGPT-5.4 nano版でも多くのベースラインを上回りました。 ❓ 何が効いているのですか? 💡 著者らは「retrieval interface resolution(検索インターフェースの解像度)」と呼びます。優位は多くのgold文書を出すことより、到達後に小さな証拠スパンへ精密に絞り込む高解像度な局所探索・検証から来る、と軌道分析で示しています。 #AIエージェント# #RAG#
もっと見る
Beekle、ベクトルDB「Milvus」開発元とパートナー契約。本番運用の実績に開発元の技術支援が加わり、初期費用0円の...
AI Hack、ベクトルDB×MCPを核とした「正解データ(Ground Truth)・プラットフォーム」構想を発表
# Weaviateの機能と実践的な使い方 🚀 「テストのためにベクトルDBサーバを立てるのが面倒」を解決するのがEmbedded Weaviateです。スクリプトから一行で起動し、終われば消える使い捨てDBとして、CIやノートブックに組み込めます。 📌 タイトルと機能のURL タイトル: Embedded Weaviate URL: 📝 概要 Embedded Weaviateは、独立したサーバを立てる代わりに、アプリケーションのコードからWeaviateインスタンスを起動する実験的なデプロイ方式です。インスタンスのライフサイクルはクライアントアプリに紐づき、アプリが終了するとインスタンスも終了します(ただし永続化したデータは残ります)。インフラ準備ゼロで実験を回せるのが最大の利点です。 🔧 機能の説明 ・Pythonでは weaviate.connect_to_embedded(version=..., headers=..., environment_variables=...) でインスタンスを起動します。 ・クライアントは binary_path のキャッシュにバイナリがあるか確認し、無ければGitHubリリースから適切なバイナリ(linux/macOS向け)をダウンロードしてキャッシュします。 ・初回起動時に persistence_data_path に永続データストアが作られ、次回以降は同じデータストアを再利用するため、セッション間でデータが残ります。 ・ライフサイクルはスクリプト終了・アプリ終了・ノートブックの非アクティブ化で終了します。 🛠 実践的な使い方 ・主なパラメータは version(latest・バージョン文字列・バイナリURL)、port(既定8079)、persistence_data_path(既定 ~/.local/share/weaviate)、binary_path(既定 ~/.cache/weaviate-embedded)です。 ・詳細設定は EmbeddedOptions を使い、additional_env_vars={"ENABLE_MODULES": "..."} のようにモジュールやAPIキーを渡します。設定後 client.connect() で接続します。 ・ログが多い場合は environment_variables={"LOG_LEVEL": "error"} で抑制できます。 ・TypeScriptでは別パッケージ weaviate-ts-embedded をインストールして利用します。 🎯 ユースケース ・CIのユニットテストで、検索ロジックの回帰テストを「インフラ準備ゼロ」で実行する。 ・Jupyterノートブックでのプロトタイピングや実験。 ・ローカルでの単一ユーザー向けの軽量な検証用途。 ⚠️ 注意点 ・実験的ステータスであり、APIやパラメータが変更される可能性があります。 ・単一ノード専用で、クラスタリングや分散デプロイには対応しません。本番用途向けではありません。 ・対応OSはLinuxとmacOSのみです。 ・XDG_DATA_HOME や XDG_CACHE_HOME は他のアプリでも広く使われるため、変更すると他に影響が出る恐れがあります。 #Weaviate# #VectorDatabase#
もっと見る
🕸 テキストを「概念のグラフ」に変えて、ベクトルDBの代わりにRAGの検索器として使う。ローカル完結で試せるOSSです。 タイトル: rahulnyk/knowledge_graph URL: 🔍 概要 非構造テキストから、固有表現ではなく「概念」とその関係を抽出して知識グラフを作るプロジェクトです。Graph-Augmented Generation(GRAG)や知識ベースQAに使えます。 🧩 解決する課題 従来のテキスト解析は、概念どうしの絡み合いや隠れたつながりを捉えにくい問題がありました。意味を保ったまま問い合わせできるグラフにすることで、深い文書理解を可能にします。 🛠 方法論と提案手法 6ステップ(クリーニング→概念抽出→関係抽出→スキーマ化→ノード/エッジ生成→可視化)で構築。エッジは2種の重みを持ち、W1はLLMが抽出した明示関係、W2は同一チャンク共起。次数とコミュニティでノードの大きさと色を決めます。 💻 技術スタック ・LLM: Mistral 7B OpenOrca(GPT API不要) ・サービング: Ollamaでローカル完結 ・グラフ: NetworkX、可視化: Pyvis、データ: Pandas 🎯 ユースケース ベクトルDBの代わりにグラフを検索器に使うGraph RAG、隠れた関連の発見、中心性分析、コミュニティ検出など。 #KnowledgeGraph# #GraphRAG#
もっと見る
TL;DR: 乱立するベクトル量子化手法を、共通の小さな部品(プリミティブ)の組み合わせとして統一的に扱い、同一条件で比較できるベンチマーク「VQ-bench」をPineconeが公開しました。 タイトル: VQ-bench: a Composable Vector Quantization Framework URL: ポイント 🧩 Center・Normalize・PCA・RandomRotateなど、量子化を構成する共通プリミティブを定義し自由に組み合わせ可能に 🔗 E-RaBitQなどの既存手法も「Center→Normalize→Random Rotation→Angular Cast」の4プリミティブの並びだけで再現 📊 VIBEの5データセット・14種類の量子化器をReconstruction MSE・Recall@10・エンコード時間で横並び比較 🥇 PQとOPQが一貫して最小のReconstruction MSEを記録 ⚡ EDENはPQ/OPQ/E-RaBitQより大幅に高速なエンコードを実現しつつRecallも高水準を維持 🛠️ 新規量子化器の追加は数行のコードで済み、新規プリミティブは既存の全部品と自動的に合成可能 バラバラだった量子化手法の評価が同じ土俵に乗ったことで、用途に応じた選定がしやすくなりそうです。 #ベクトル検索# #ベクトルDB#
もっと見る
# AIエージェント開発の意思決定ポイント 🎯 ポイント LLMにドメイン知識を与えたい。RAG?ファインチューニング?ロングコンテキスト? 「とりあえずRAGで」と思考停止していませんか?この三択、実は知識の性質によって最適解がまったく異なります。選び間違えると、古い情報で回答し続けたり、出典を示せなかったり、トークンコストが爆発したり。正しく選ぶための判断軸を整理しましょう。 📋 概要 AIエージェントにドメイン固有の知識を持たせる方法は大きく3つあります。RAG(検索拡張生成)はベクトルDBなどから関連情報を検索してプロンプトに注入する方式。ファインチューニング(FT)はモデルの重みを追加学習で調整して知識を焼き込む方式。ロングコンテキストは大きなコンテキスト窓にドキュメントをそのまま投入する方式です。それぞれ知識の格納場所・更新サイクル・コスト構造が根本的に異なるため、ユースケースに応じて主軸を1つ選ぶ必要があります。 🔍 意思決定のポイント 判断の核心は「知識がどのくらいの頻度で変わるか」と「出典の明示が必要か」です。 📌 知識の鮮度が命なら → RAG一択。FAQや価格、在庫情報など頻繁に変わるデータは、インデックスを更新するだけで即座に反映されます。FTでは再学習に日〜週単位かかり、現実的ではありません。 📌 出典を示す必要があるなら → これもRAG。「この回答の根拠はどのドキュメントの何ページか」を提示できるのはRAGだけです。FTで焼き込んだ知識は「モデルがそう知っている」状態であり、事後に追跡不可能。説明責任が求められる環境では致命的です。 📌 出力の様式・口調を統一したいなら → FT。「常に法務文書の形式で出力する」のようなスタイルの一貫性は、RAGで例を注入しても安定しません。FTでモデルレベルに染み込ませることで、推論時の例示注入が不要になり、コンテキスト窓の節約にもなります。 📌 少数の文書を丸ごと理解させたいなら → ロングコンテキスト。契約書全体の解釈のように文書構造が重要な場合、チャンク分割で文脈が断絶するRAGよりも、全文をそのまま投入する方が精度が高くなります。 💡 要点と詳細 🔹 RAGの本質的な強みは「知識とモデルの分離」です。知識はインデックスに、推論能力はモデルに。この分離により、知識の更新がモデルの再学習を必要としません。ただし検索品質に依存するため、チャンク分割・埋め込みモデル・リランキング戦略のチューニングが品質を左右します。 🔹 FTの本質的な強みは「行動様式の安定的な変容」です。繰り返し同じ形式で出力する場面では、推論コストがRAGより低くなりえます。ただし知識の更新にはデータセット準備→学習→検証のサイクルが必要で、機動力に欠けます。 🔹 ロングコンテキストの本質的な強みは「実装の単純さ」です。ベクトルDB、検索パイプライン、チャンク分割、FTのインフラがすべて不要。ただしトークン課金がそのままコストに直結し、"Lost in the Middle"問題(窓の中盤の情報に注意が薄れる)もあるため、大量の文書には向きません。 ⚖️ トレードオフ RAGは鮮度と出典追跡に優れるが、検索パイプラインの構築・運用が必要。FTは様式の一貫性に優れるが、知識の更新が遅く出典が不透明。ロングコンテキストは実装が最も簡単だが、コストとスケーラビリティに制約あり。 🏆 実務での定石は「様式はFT、事実はRAG」のハイブリッド。FTで出力形式・口調・専門用語をモデルに染み込ませ、RAGで最新の事実情報を注入する。ロングコンテキストは、RAGのチャンク分割では失われる文脈が重要な場面で補完的に使います。 🛠️ ユースケース 🏢 社内ナレッジベースQ&A → RAG。ドキュメントは日々更新され、回答には出典の提示が求められる。 ⚖️ 法務文書レビュー → FT+RAG。法務特有の口調と形式はFTで統一し、最新の判例や規制はRAGで注入。 📄 契約書の全体解釈 → ロングコンテキスト。契約書1通を丸ごと投入し、条項間の関係を把握させる。 🏥 医療情報提供 → RAG必須。出典の明示が絶対要件であり、情報の鮮度も重要。FTで焼き込んだ医療知識はハルシネーションと区別できず危険。 迷ったらRAGから始めてください。ほとんどの業務システムでは知識は更新されるものであり、出典を示す能力は信頼性の基盤です。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# ADKの便利で実践的な使い方 セッションを超えた「長期記憶」を実現するMemory機能。過去の会話から学び、ユーザーを深く理解するエージェントを作りましょう🧠 📌 **タイトル**: Memory 🔗 **URL**: ## 🧩 概要 Memoryは、セッションを横断して検索可能な長期知識を管理する機能です。Stateが「今の会話」のデータを保持するのに対し、Memoryは「過去の会話から得た知識」を蓄積し、自然言語で検索できます。 主要なAPIは以下の2つです。 - `add_session_to_memory` / `add_events_to_memory`: セッションやイベントの内容をメモリに追加 - `search_memory`: 自然言語クエリでメモリを検索 バックエンドにはChromaなどのベクトルDBを使用でき、RAG(Retrieval-Augmented Generation)パターンでエージェントの応答品質を向上させます。 ## 🛠 使い方 `google.adk.memory` から `InMemoryMemoryService` をインポートしてインスタンス化します。セッション終了時に `await memory_service.add_session_to_memory(session)` でセッション内容をメモリに追加します。検索時は `await memory_service.search_memory(app_name=..., user_id=..., query="以前のネットワーク接続の問題")` のように自然言語クエリを渡します。返されたresultsの各 `memory` オブジェクトの `memory.content` から、過去の関連する会話内容を取得してエージェントの文脈に活用できます。 ## 🏗 実践的な使い方 **カスタマーサポートでの活用:** 1. ユーザーが「ネットワークがまた繋がらない」と問い合わせ 2. Memoryを「ネットワーク接続の問題」で検索 3. 「前回(3日前)も同じ問題で問い合わせがあり、ルーターの再起動で解決しました」という情報を取得 4. エージェントが「前回の問題は解決しましたか?同じ症状でしたらルーターの再起動をお試しください」と提案 過去の対応履歴を踏まえた、パーソナライズされたサポートが実現します。 **学習支援エージェント:** 1. 「微分がわからない」とユーザーが相談 2. Memoryを検索し、「このユーザーは視覚的な説明を好む」「前回は具体例から理解した」という知識を取得 3. グラフを使った具体例ベースの説明を提供 ## 💡 ユースケース - 🎧 カスタマーサポート: 過去の問い合わせ履歴を踏まえた対応。「前回の問題は解決しましたか?」 - 📚 学習支援: ユーザーの学習スタイルや理解度を記憶し、最適な教え方を選択 - 🏥 健康管理: 過去の相談履歴から傾向を把握し、継続的なアドバイスを提供 - 🛒 パーソナルショッパー: 購買履歴や好みを記憶し、的確な商品提案 ## ⚠️ 注意点 - メモリに個人情報を保存する場合、プライバシーポリシーとデータ保護規制への準拠が必要です - ベクトルDBの検索精度はエンベディングモデルの品質に依存します。適切なモデルを選択してください - メモリの量が増えると検索コストも増加します。定期的な整理やTTL(有効期限)の設定を検討しましょう - `InMemoryMemoryService` はプロセス再起動でデータが消えます。本番ではChromaなどの永続化バックエンドを使用してください ✨ Memory機能でエージェントに長期記憶を持たせれば、ユーザーとの関係が深まり、回を重ねるほど賢くなるエージェントが実現します! #ADK# #AIAgent#
もっと見る
便利だけど知られていないGemini APIの機能 🔎 RAGを自前で構築する前に、マネージドで試してみませんか? Geminiの「ファイル検索(File Search)」は、ファイルをアップロードするだけでチャンク化・埋め込み・検索まで全部やってくれるマネージドRAGです。自前でベクトルDBを立てる必要がありません。 📌 タイトル:ファイル検索(File Search) 🔗 URL: 🧩 概要 RAG(検索拡張生成)を構築するには、通常はドキュメントのチャンク化、埋め込みモデルの選定、ベクトルDBの構築・運用が必要です。File Searchはその全てをGoogle側が管理。ファイルをアップロードするだけで、Geminiがそのファイル内の関連箇所を検索し、回答に利用します。 🛠 使い方 ファイルをFiles APIでアップロードし、File Searchツールを有効にしてリクエストを送るだけ。Geminiが質問に関連するチャンクを自動で検索し、回答に組み込みます。PDF、テキスト、コードなど様々な形式に対応。複数ファイルをまとめて検索させることも可能です。 🏗 本番システムへの組み込み方 ・社内ドキュメントQ&A:規約集、マニュアル、議事録をアップして、社員がチャットで質問できるシステムに。ベクトルDB不要で即構築。 ・カスタマーサポート:製品ドキュメントをアップし、顧客の質問に対して正確な情報を自動で返す。 ・法務/コンプライアンス:契約書や法令文書をアップし、条項に関する質問に回答。出典の特定も容易。 ・技術文書検索:APIドキュメントや設計書を検索して、開発者の質問に即答するアシスタント。 💡 ユースケース 📚 社内ナレッジベースのQ&Aシステム 🎧 製品ドキュメントに基づくサポートbot ⚖️ 法務文書の条項検索・解釈 🧑‍💻 技術文書に基づく開発者アシスタント ⚠️ 注意点 マネージドのためチャンク化戦略やembeddingモデルのカスタマイズは限定的です。精度を細かくチューニングしたい場合は自前RAGの方が柔軟。また、ファイルサイズや数に制限があるため、大規模なドキュメント群には事前に制限を確認してください。 ✨ 「RAGを試したいけどインフラ構築が重い」という声に応える機能です。まずは小さなドキュメントセットでFile Searchを試して、マネージドの手軽さを体感してみてください。 #Gemini# #LLM#
もっと見る