登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 Pinecone
Pinecone コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
Pinecone を含む検索結果
pgvectorのHNSWで「フィルタをかけると結果が減る」「インデックスが重い」と困っていませんか? タイトル: Introducing pg_pinecone: Open-Source Search for Your Postgres Data URL: 🐘 概要 Apache 2.0のオープンソースPostgres拡張です。既存のpgvectorのベクトル列に、Pineconeの検索エンジンによるベクトル検索を足せます。データベース内で動くので、データはPostgresの外に出ません。 ❓ 解決する課題 HNSWはデータ増でメモリと構築時間が膨らみ、テナント単位などのフィルタ付き検索では、要求件数より少ない結果になることがあります。 🧩 方法論と提案手法 グラフの代わりに、IVFとRaBitQ(約1ビット/次元)のコードを使い、近いクラスタ探索、コードで距離推定、完全ベクトルで再ランクの3段階で検索します。フィルタは全行の3%以下ならプレフィルタで厳密に、それ以上なら各クラスタ内で確認します。APIキーなしのnativeエンジンのほか、remote、embed()、BM25、rerank()も選べます。 📊 実験結果(ベンダー報告) 100万ベクトル・768次元で、 ・再現率0.95のレイテンシ 1.27 ms(HNSW halfvecは1.71 ms) ・インデックスサイズ 136 MB(HNSW halfvecは2.0 GB) ・1%フィルタ:再現率0.981を8.3 ms(HNSW halfvecは0.924を56 ms) ただし1データセット、1構成の結果で、一括ロード後はREINDEXが必要です。 #Postgres# #VectorSearch#
もっと見る
🔍 RAGを作るたびに、エンベディングのパイプラインを自分で組んでいませんでしたか? Pinecone はもともと「ベクトルを預かるDB」でした。ユーザーはエンベディングのAPI連携を書き込みと検索の両方に実装し、キー管理、レート制限、リトライまで面倒を見て、元テキストはどこに置くかも悩んでいました。メタデータに入れるとコストが膨らみ、しかも単語としては検索できません。 転機は、スラブという「自己記述型のインデックス単位」を持つログ構造アーキテクチャでした。全文検索を新しいインデックス種別として足せるようになり、1つのスキーマの中で全文検索・ネイティブベクトル・統合エンベディングを同じドキュメントに載せられます。 🚀 今は、プレーンテキストを書き込んで、プレーンテキストで検索するだけです。ベクトルは内部の実装詳細になりました。同一リージョンでの測定では、先に埋め込んでから検索する場合の中央値92msに対して26msと、約3.5倍速くなっています。まだ全文とベクトルの結果融合は自前ですが、1回の検索での統合も予定されています。 「When vectors became an implementation detail」 #Pinecone# #RAG#
もっと見る
TL;DR: 乱立するベクトル量子化手法を、共通の小さな部品(プリミティブ)の組み合わせとして統一的に扱い、同一条件で比較できるベンチマーク「VQ-bench」をPineconeが公開しました。 タイトル: VQ-bench: a Composable Vector Quantization Framework URL: ポイント 🧩 Center・Normalize・PCA・RandomRotateなど、量子化を構成する共通プリミティブを定義し自由に組み合わせ可能に 🔗 E-RaBitQなどの既存手法も「Center→Normalize→Random Rotation→Angular Cast」の4プリミティブの並びだけで再現 📊 VIBEの5データセット・14種類の量子化器をReconstruction MSE・Recall@10・エンコード時間で横並び比較 🥇 PQとOPQが一貫して最小のReconstruction MSEを記録 ⚡ EDENはPQ/OPQ/E-RaBitQより大幅に高速なエンコードを実現しつつRecallも高水準を維持 🛠️ 新規量子化器の追加は数行のコードで済み、新規プリミティブは既存の全部品と自動的に合成可能 バラバラだった量子化手法の評価が同じ土俵に乗ったことで、用途に応じた選定がしやすくなりそうです。 #ベクトル検索# #ベクトルDB#
もっと見る
「設計するかどうかにかかわらず、すべての API チームはいずれエージェントのコンシューマーを抱える」——Pinecone エンジニアによるエージェントフレンドリー API 設計の論考が秀逸です。 Designing Agent-Friendly APIs エージェント向け API 設計の6原則を紹介するこの記事から、特に重要な3つのポイントを深掘りします。 🔴 注目1: エラーメッセージが「指示」になるかどうか `"Invalid request"` というエラーを返すだけでは、エージェントはバジェット(トークン予算)を無駄に消費しながら推測を繰り返します。正しい設計は「何が・なぜ・どう直す」の3要素をセットにすること。`"Response is too large. To reduce the size, try a lower top_k value."` のように具体的な回復手順を含めれば、エージェントは次のコールで自己修正できます。RFC 9457 Problem Details で機械可読エラーコードを安定提供し、認証エラーは「欠如」と「不正」を別コードに分けることも重要です。 🔵 注目2: エンドポイント1:1でのMCPサーバー化は失敗する 大規模 API をそのまま MCP サーバーに変換すると、エージェントはファーストコール以前に「数十万トークン」を消費しかねません。Cloudflare は `search()` と `execute()` の2つのツールだけで 2,500 エンドポイントへのアクセスを約 1,000 トークンで実現しています。`list_users` + `list_events` + `create_event` という3エンドポイントの代わりに `schedule_event` 1本を提供する——ワークフロー単位でエージェント面を製品として設計することが本質です。 🟡 注目3: TTFSC(Turns-to-First-Successful-Call)という新指標 著者は Claude Sonnet 5 をコールドな状態で Pinecone の API に当てた実験を公開しています。全3試行で無人成功、ファーストコールまでの中央値は **6ターン・約$0.30・約90秒**。生の REST を選んだエージェントはわずか3ターンで成功した一方、Python SDK を選んだエージェントはターンの「ほぼ半分」を call signature の解読に費やしました。廃止済みパッケージ名のインストールを試みたのは古いモデルで、現行世代は直接モダン API へ向かいました——LLMの学習データに刷り込まれた旧 API 形状が如何に影響するかを示す実例です。 エージェントはこれまで開発者が暗黙に吸収してきたコストを「可視化・課金可能・チャーン誘発」な経済コストとして外部化します。AX(Agent Experience)はDXと並ぶ必須の設計軸になりつつあります。 #APIデザイン# #AIエージェント#
もっと見る
AIエージェントをエンタープライズシステムに組み込むプラクティス 【階層化メモリ -- 4層メモリとコンテキスト・ブローカー】 💡 毎回ゼロから始まるAIエージェントは、何度も同じ質問をする新入社員と同じです。記憶を4層に分離し、「いま本当に必要な情報だけ」を動的に組み立てる仕組みが、実用レベルのエージェントを作ります。 🔥 解決する課題 - セッション跨ぎの文脈喪失:セッション間・エージェント間で文脈が失われ毎回やり直しになる - 文脈窓の有限性:全履歴を詰め込むとコスト・精度が劣化する - 記憶肥大:無制限な蓄積でコスト・プライバシーリスク・文脈汚染が増大する - Lost in the middle:大量コンテキスト投入でかえって回答精度が下がる 🏗️ 提案パターン メモリを4層に分離します。ワーキング(現セッション・揮発)、エピソード(過去要約・ユーザー単位)、セマンティック(RAG対象の知識)、組織知識(人・部署・関係の知識グラフ)。各層に適切な保存先・TTL・ACLを設定します。コンテキスト・ブローカーがユーザーの意図に応じて各層から情報を取得し、トークン予算内で優先度付け・要約・圧縮を行い、最も関連の高い情報だけでコンテキストを組み立てます。 ✅ 選定条件 - 採用する場合:セッション跨ぎ・エージェント跨ぎで文脈を引き継ぐ継続支援型エージェント - 採用しない場合:一発完結のステートレスタスク、固定の少量コンテキストで足りる用途 ⚠️ 落とし穴 - エピソードメモリの肥大化:生ログではなく要約を残し、重要度スコア + TTL + 時間減衰で制御します - コンテキストブローカーの品質:リランキングの精度が低いと不要情報が混入し、精度が劣化します - ACLの層間整合:メモリ層ごとにACLが異なる場合、集約時に最も厳しい権限に縮退させる設計が必要です 🛠️ 実装方針 1. ベクタDB(Pinecone / Weaviate / pgvector)をセマンティックメモリ層に、Neo4jを組織知識グラフ層に配置し、各層に保存先・TTL・ACLを設定します 2. エピソードメモリは生ログではなく要約パイプラインを通し、重要度スコア+時間減衰で自動的に忘却・圧縮する仕組みを実装します 3. コンテキスト・ブローカーをリランキング(Cohere Rerank / cross-encoder)で構築し、ユーザーの意図に応じてトークン予算(目安8,000トークン)内で最も関連の高い情報を動的に組み立てます 4. Mem0 / Zepなどのメモリ管理フレームワークを活用し、セッション跨ぎ・エージェント跨ぎのデータ引き継ぎを実装します 5. 各メモリ層にACLタグを付与し、集約時にコンテキスト・ファイアウォール(P10)と連携して最も厳しい権限に縮退させます #AIエージェント# #エンタープライズアーキテクチャ#
もっと見る