登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 リランキング
リランキング コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
リランキング を含む検索結果
TL;DR: 生成型LLMの順位付けの判断を、1回の順伝播で動くリランカーに蒸留する手法です。8Bの生徒が、リストワイズのリランカーに近い精度を約24倍の速さで出します。 DecisionRank: On-Policy Distillation for Decision-Model Rerankers ポイント ・🎯 各候補に単一トークンIDを割り当て、最初のトークンのロジットを並べて順位を出します ・🔁 教師と生徒を、語彙ではなく候補アイテム単位で合わせるので、語彙やアーキテクチャが違っても蒸留できます ・👀 生徒の上位20件の並びを教師に評価させる、オンポリシーのフィードバックを使います ・📐 オフラインのRankNet損失と組み合わせて学習します ・📊 DecisionRank-8BはTREC DLで64.34、リストワイズのDirectRank-8B(62.92)を上回りました ・⚡ レイテンシは同じ8BのDirectRankの約24.5分の1です(TREC DL、B200+vLLM) R2MEDではDirectRank-8Bに届かず、BRIGHTでは27Bの教師が上です。それでも、速度と精度のバランスは実用的です。 #リランキング# #知識蒸留#
もっと見る
# AIエージェント開発の意思決定ポイント 🎯 ポイント LLMにドメイン知識を与えたい。RAG?ファインチューニング?ロングコンテキスト? 「とりあえずRAGで」と思考停止していませんか?この三択、実は知識の性質によって最適解がまったく異なります。選び間違えると、古い情報で回答し続けたり、出典を示せなかったり、トークンコストが爆発したり。正しく選ぶための判断軸を整理しましょう。 📋 概要 AIエージェントにドメイン固有の知識を持たせる方法は大きく3つあります。RAG(検索拡張生成)はベクトルDBなどから関連情報を検索してプロンプトに注入する方式。ファインチューニング(FT)はモデルの重みを追加学習で調整して知識を焼き込む方式。ロングコンテキストは大きなコンテキスト窓にドキュメントをそのまま投入する方式です。それぞれ知識の格納場所・更新サイクル・コスト構造が根本的に異なるため、ユースケースに応じて主軸を1つ選ぶ必要があります。 🔍 意思決定のポイント 判断の核心は「知識がどのくらいの頻度で変わるか」と「出典の明示が必要か」です。 📌 知識の鮮度が命なら → RAG一択。FAQや価格、在庫情報など頻繁に変わるデータは、インデックスを更新するだけで即座に反映されます。FTでは再学習に日〜週単位かかり、現実的ではありません。 📌 出典を示す必要があるなら → これもRAG。「この回答の根拠はどのドキュメントの何ページか」を提示できるのはRAGだけです。FTで焼き込んだ知識は「モデルがそう知っている」状態であり、事後に追跡不可能。説明責任が求められる環境では致命的です。 📌 出力の様式・口調を統一したいなら → FT。「常に法務文書の形式で出力する」のようなスタイルの一貫性は、RAGで例を注入しても安定しません。FTでモデルレベルに染み込ませることで、推論時の例示注入が不要になり、コンテキスト窓の節約にもなります。 📌 少数の文書を丸ごと理解させたいなら → ロングコンテキスト。契約書全体の解釈のように文書構造が重要な場合、チャンク分割で文脈が断絶するRAGよりも、全文をそのまま投入する方が精度が高くなります。 💡 要点と詳細 🔹 RAGの本質的な強みは「知識とモデルの分離」です。知識はインデックスに、推論能力はモデルに。この分離により、知識の更新がモデルの再学習を必要としません。ただし検索品質に依存するため、チャンク分割・埋め込みモデル・リランキング戦略のチューニングが品質を左右します。 🔹 FTの本質的な強みは「行動様式の安定的な変容」です。繰り返し同じ形式で出力する場面では、推論コストがRAGより低くなりえます。ただし知識の更新にはデータセット準備→学習→検証のサイクルが必要で、機動力に欠けます。 🔹 ロングコンテキストの本質的な強みは「実装の単純さ」です。ベクトルDB、検索パイプライン、チャンク分割、FTのインフラがすべて不要。ただしトークン課金がそのままコストに直結し、"Lost in the Middle"問題(窓の中盤の情報に注意が薄れる)もあるため、大量の文書には向きません。 ⚖️ トレードオフ RAGは鮮度と出典追跡に優れるが、検索パイプラインの構築・運用が必要。FTは様式の一貫性に優れるが、知識の更新が遅く出典が不透明。ロングコンテキストは実装が最も簡単だが、コストとスケーラビリティに制約あり。 🏆 実務での定石は「様式はFT、事実はRAG」のハイブリッド。FTで出力形式・口調・専門用語をモデルに染み込ませ、RAGで最新の事実情報を注入する。ロングコンテキストは、RAGのチャンク分割では失われる文脈が重要な場面で補完的に使います。 🛠️ ユースケース 🏢 社内ナレッジベースQ&A → RAG。ドキュメントは日々更新され、回答には出典の提示が求められる。 ⚖️ 法務文書レビュー → FT+RAG。法務特有の口調と形式はFTで統一し、最新の判例や規制はRAGで注入。 📄 契約書の全体解釈 → ロングコンテキスト。契約書1通を丸ごと投入し、条項間の関係を把握させる。 🏥 医療情報提供 → RAG必須。出典の明示が絶対要件であり、情報の鮮度も重要。FTで焼き込んだ医療知識はハルシネーションと区別できず危険。 迷ったらRAGから始めてください。ほとんどの業務システムでは知識は更新されるものであり、出典を示す能力は信頼性の基盤です。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
AIエージェントをエンタープライズシステムに組み込むプラクティス 【階層化メモリ -- 4層メモリとコンテキスト・ブローカー】 💡 毎回ゼロから始まるAIエージェントは、何度も同じ質問をする新入社員と同じです。記憶を4層に分離し、「いま本当に必要な情報だけ」を動的に組み立てる仕組みが、実用レベルのエージェントを作ります。 🔥 解決する課題 - セッション跨ぎの文脈喪失:セッション間・エージェント間で文脈が失われ毎回やり直しになる - 文脈窓の有限性:全履歴を詰め込むとコスト・精度が劣化する - 記憶肥大:無制限な蓄積でコスト・プライバシーリスク・文脈汚染が増大する - Lost in the middle:大量コンテキスト投入でかえって回答精度が下がる 🏗️ 提案パターン メモリを4層に分離します。ワーキング(現セッション・揮発)、エピソード(過去要約・ユーザー単位)、セマンティック(RAG対象の知識)、組織知識(人・部署・関係の知識グラフ)。各層に適切な保存先・TTL・ACLを設定します。コンテキスト・ブローカーがユーザーの意図に応じて各層から情報を取得し、トークン予算内で優先度付け・要約・圧縮を行い、最も関連の高い情報だけでコンテキストを組み立てます。 ✅ 選定条件 - 採用する場合:セッション跨ぎ・エージェント跨ぎで文脈を引き継ぐ継続支援型エージェント - 採用しない場合:一発完結のステートレスタスク、固定の少量コンテキストで足りる用途 ⚠️ 落とし穴 - エピソードメモリの肥大化:生ログではなく要約を残し、重要度スコア + TTL + 時間減衰で制御します - コンテキストブローカーの品質:リランキングの精度が低いと不要情報が混入し、精度が劣化します - ACLの層間整合:メモリ層ごとにACLが異なる場合、集約時に最も厳しい権限に縮退させる設計が必要です 🛠️ 実装方針 1. ベクタDB(Pinecone / Weaviate / pgvector)をセマンティックメモリ層に、Neo4jを組織知識グラフ層に配置し、各層に保存先・TTL・ACLを設定します 2. エピソードメモリは生ログではなく要約パイプラインを通し、重要度スコア+時間減衰で自動的に忘却・圧縮する仕組みを実装します 3. コンテキスト・ブローカーをリランキング(Cohere Rerank / cross-encoder)で構築し、ユーザーの意図に応じてトークン予算(目安8,000トークン)内で最も関連の高い情報を動的に組み立てます 4. Mem0 / Zepなどのメモリ管理フレームワークを活用し、セッション跨ぎ・エージェント跨ぎのデータ引き継ぎを実装します 5. 各メモリ層にACLタグを付与し、集約時にコンテキスト・ファイアウォール(P10)と連携して最も厳しい権限に縮退させます #AIエージェント# #エンタープライズアーキテクチャ#
もっと見る
⏰このあと10時 KOBE⚓️LIFE[再] 📚工業ニットスペシャリスト・鈴木弘美さん 第一線でニット製品の企画やデザインに携わりながら、国産ニットを支える技術「リンキング」を次世代へ―。ものづくりの魅力を伝える姿を追いました。 #KOBELIFE# #サンテレビ# #森山未來#
もっと見る