登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 生成AIママ部
生成AIママ部 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
生成AIママ部 を含む検索結果
AIエージェントをエンタープライズシステムに組み込むプラクティス 【セマンティックレイヤー -- 組織知識グラフと指標定義の一元化】 💡 「売上を教えて」とAIに聞いたら、税込?税抜?受注ベース?入金ベース? -- 定義が曖昧なまま回答するAIは、正確に間違える最悪のツールです。指標と組織の「意味」を一元管理し、ハルシネーションを定義済みの事実で置き換えます。 🔥 解決する課題 - 数値/用語のハルシネーション:「売上」の定義が曖昧なまま回答し実際と異なる数値を生成する - 指示語の解決不能:「私のチーム」「先月」等の曖昧な参照を正確に解決できない - 組織階層スコープの欠如:部署・プロジェクトに応じたデータ範囲の制御ができない 🏗️ 提案パターン BIのセマンティックレイヤー(dbt Semantic Layer / Cube等)でメトリクス定義を一元管理します。「売上 = 受注金額の税抜合計、期間はFY基準」のように厳密に定義します。組織グラフはSCIM/HRIS(Workday等)から同期し、「私のチームの売上」を「ユーザーの所属部署メンバーの受注金額合計」と自動解決します。自然言語の曖昧性をハルシネーションではなく定義済みの事実で解決する仕組みです。 ✅ 選定条件 - 採用する場合:分析支援・組織横断の業務・権限依存の処理、指標や用語の定義が重要な業務 - 採用しない場合:定義が固まっていない探索的な領域(定義の整備が先) ⚠️ 落とし穴 - 定義の維持コスト:メトリクス定義と組織グラフの鮮度を保つ運用フローが必要です - 定義の粒度:細かすぎると管理が破綻し、粗すぎると曖昧性が残ります。利用頻度の高い指標から段階的に整備します - 組織変更への追従:部署再編・異動が頻繁な組織ではSCIM同期の頻度とタイミングが重要になります 🛠️ 実装方針 1. dbt Semantic Layer / Cubeでメトリクス定義(「売上 = 受注金額の税抜合計、期間はFY基準」等)を一元管理し、エージェントの第一級コンテキスト源として接続します 2. Workday / OktaからSCIM同期で組織グラフ(人・部署・プロジェクト・役職・権限)をNeo4j / Amazon Neptuneに構築します 3. 自然言語→定義済みメトリクス/関係へのマッピングレイヤーを実装し、「私のチームの売上」を「所属部署メンバーの受注金額合計」と自動解決します 4. 利用頻度の高い指標から段階的に定義を整備し、定義の鮮度を保つ定期レビューの運用フローを確立します 5. 組織グラフの変更検知(部署再編・異動)をSCIM同期のWebhookで即時反映し、スコープ制御の遅延を最小化します #AIエージェント# #エンタープライズアーキテクチャ#
もっと見る
# AIエージェント開発の意思決定ポイント 🎯 ポイント エラーが起きたとき、すぐ止めるか、品質を落としてでも続けるか? AIエージェント特有の難しさは、出力が「部分的に正しいが部分的に誤っている」グレーゾーンが日常的に発生することです。10項目中8項目は正しいが2項目は不正確。この部分結果を返すことが有益か危険か。従来のソフトウェアの正解/不正解の二値とは違う判断が求められます。 📋 概要 AIエージェントがエラーや異常に遭遇したときの振る舞いに関する設計判断です。Fail-fast は即座に処理を中断して明示的なエラーを返します。縮退継続(Graceful Degradation)は品質や機能を落としながらも何らかの結果を返します。個々のエラー発生時点では必ずどちらかを選ぶ二値の判断であり、中間はありません。ただしエラーの種類ごとに異なる方針を適用することは可能です。 🔍 意思決定のポイント 判断軸は「部分結果に基づいて行動したときの損害」と「レイテンシ予算」です。 📌 部分的に誤った結果が下流に流れると重大な損害 → Fail-fast。金融取引、医療判断、法的文書生成。部分的に誤った結果が「正しい結果」として扱われることの損害は、処理が中断されて再試行が必要になるコストを大幅に上回ります。 📌 部分結果と完全結果の区別がつきにくい → Fail-fast。縮退で返された結果が「完全な結果」と誤解されるリスクがあるなら、明示的なエラーの方が安全です。偽りの安心感(false confidence)はfail-fastよりも危険な結果を招きます。 📌 部分結果でもないよりはまし → 縮退継続。10件のドキュメント要約で2件が取得失敗した場合、8件分の要約を返す方がエラーメッセージだけより有用です。 📌 品質劣化を明示的にユーザーに伝えられる → 縮退継続が有効。「3件中1件のソースが取得できませんでした」のように何が欠けているか明確に伝えられるなら、部分結果は有用です。 📌 説明責任が求められる → Fail-fast寄り。「なぜこの不完全な結果を返したのか」の説明が求められる環境では、明示的なエラーの方が管理しやすいです。 💡 要点と詳細 🔹 Fail-fastの本質的な価値は「問題の隠蔽を防ぐ」ことです。問題が発生した時点で即座にアラートが上がり、根本原因の調査と修正が迅速に行えます。縮退継続では問題が隠蔽され、後から発覚したときには影響範囲が広がっている可能性があります。 🔹 縮退継続の本質的な価値は「可用性の維持」です。完全停止するよりも部分的に機能する方がユーザーにとって有用な場面は多い。また、fail-fastで処理全体を再実行すると成功していた部分のトークンも再消費するため、縮退の方がコスト効率が良い場合もあります。 🔹 縮退継続の最大のリスク:部分結果が「完全結果」と区別できないまま下流に流れること。下流システムが「正常レスポンス」と「縮退レスポンス」を区別できていないと、不完全なデータでバッチ処理が走ったり、長期間にわたって縮退状態が続いていることに気づかなかったりします。 ⚖️ トレードオフ Fail-fastは安全性とエラーの早期検出を得る代わりに、可用性の低下とリトライコストを受け入れます。長時間の処理が最終段階で中断されると、それまでのトークン消費が無駄になります。縮退継続は可用性とコスト効率を得る代わりに、不完全な結果が正常として扱われるリスクを受け入れます。 🏆 定石は「段階的縮退ラダー」です。エラーの深刻度に応じて複数段階を定義します。 レベル1(軽微):一部データ欠損 → 欠損を明示して残りを返す レベル2(中程度):主要モデル障害 → フォールバックモデルに切り替え、品質低下を明示 レベル3(重大):核心データの欠損や整合性エラー → fail-fast 判断に迷ったら「この部分結果に基づいてユーザーが行動した場合、取り返しのつかない損害が生じうるか」を自問してください。答えがYesならfail-fastです。 🛠️ ユースケース 💰 金融取引の自動化 → Fail-fast。部分的に誤った取引指示が実行されると取り返しがつかない。エラーメッセージと再試行の方が遥かに安全。 📚 ドキュメント要約サービス → 縮退継続。一部のドキュメント取得に失敗しても、取得できた分の要約を「N件中M件を要約しました」と明示して返す方がユーザーに有用。 🤖 対話型アシスタント → 縮退継続。ツール呼び出しが1つ失敗しても、他の情報源から回答を構成し「一部情報が取得できませんでした」と付記。完全停止より遥かに良いUX。 📊 データパイプライン → Fail-fast。下流のバッチ処理が不完全なデータで走ると影響が連鎖。途中で止めて修正→再実行の方が安全。 🏥 医療判断支援 → Fail-fast。部分的な検査結果に基づく判断は危険。必要な情報が揃わなければ明示的にエラーを返し、人間の判断に委ねる。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
海外インフルエンサーをAIで再現したら TikTok Shopでバカ売れするフォーマットになる                                                                                                                                                                                                                                                                                                         ↓ 制作の流れはこんな感じ。 完全再現可能プロンプトはこちら ↓ ① まずMuseで人物画像を作る 最初に、この指示を送る。 「日本在住で、パキスタン出身という設定の架空の男性クリエイター。25歳、黒い無地のTシャツ、明るい部屋、スマホで自撮りしたような自然な写真。胸から上を映した縦9:16の画像」 気に入った人物ができたら保存。 この画像を、以後の生成でも参照画像として渡す。 ② 商品写真を渡して、持たせる 作った人物画像と、紹介するスマホスタンドの写真をMuseに添付。 「1枚目の人物が、2枚目のスマホスタンドを手に持ち、カメラに見せている画像を作って。人物の顔・髪型・服装を維持。商品の色や形は写真に合わせて。縦9:16」 人物と商品を組み合わせた、動画の元になる画像を作る。Muse Imageは、複数の参照画像から人物や物を組み合わせる生成に対応している。 ③ 同じ人物・商品で3つの場面を作る Museに参照画像を渡しながら、次の場面を1枚ずつ作る。 ・折りたたんだスタンドをカメラに見せる ・開いたスタンドにスマホを置いたアップ ・人物と、机に置いた商品を一緒に映す 開いた状態の商品写真も渡して、形が変わっていないか確認する。 ④ それぞれの画像を短く動画化する Museの動画生成で、人物が商品を持つ画像にはこう指示。 「この画像を短い縦動画にして。人物が商品を見せながら、自然に軽くうなずく。顔・服装・商品の形を維持し、動きは控えめ。字幕は入れない」 商品アップの画像には、 「商品とスマホはそのままの位置に保ち、カメラがゆっくり近づく短い縦動画にして」 と、場面ごとに動きを指定する。 ⑤ 使える部分をつないで、字幕を入れる 仕上げの編集では、例えば15秒をこう組む。 0〜3秒: 「これ、開くと何になると思う?」 3〜10秒: 「机にスマホを立てて置ける」 10〜15秒: 「サイズや対応機種は商品ページで👇」 AIキャラの表記も入れて、実際の商品と形・使い方が合っているカットを使う。 Museで人物を作る。 商品写真を組み合わせる。 場面を分けて画像を作る。 それぞれに動きを付ける。 ここまで具体化すると、次に何を入力するか迷いにくい。 まずは1商品で作って、 次は冒頭のセリフや表情を変えた 3パターンを試してみて。
もっと見る
# AIエージェント開発の意思決定ポイント # 同期 vs 非同期 ⚡ 🎯 ポイント LLMエージェントの設計、最初に決めるべきは「同期で返すか、非同期にするか」です。 ここを間違えると、後からアーキテクチャ全体を作り直す羽目になります。従来のWeb APIなら「100msで返る」が前提でしたが、エージェントは数秒から数十分までレイテンシが振れます。この特性が、同期/非同期の選択を避けて通れない最初の分岐点にしています。 📋 概要 同期はクライアントがHTTPリクエストを送り、接続を維持したまま結果を受け取る方式です。状態はリクエストスコープで管理され、ジョブキューもチェックポイントストアも不要です。一方、非同期はジョブIDを即座に返し(HTTP 202)、バックグラウンドワーカーが処理を担当します。結果はポーリング・Webhook・SSE・WebSocketで通知されます。実行状態は外部ストアにチェックポイントとして永続化されます。 🔍 意思決定のポイント 判定の主軸は2つあります。 1️⃣ **レイテンシ予算** が最も重要な判定軸です。LLMのp99レイテンシがクライアントの待機許容を超えるかどうかで決まります。 - 対面で5〜10秒、API連携で30秒以内に収まる → 同期 - 上記を超える、または所要時間が読めない → 非同期 - 短い処理は成功するが長い処理は失敗する二峰性分布 → ハイブリッド 2️⃣ **リトライコストの大きさ** が副次的な判定軸です。 - 失敗時にフルリスタートで問題ない → 同期で十分 - 途中再開が必要、リスタートのコストが大きい → 非同期 人間の承認フローが途中に入る場合、同期の接続保持は非現実的で、非同期が必須になります。 💡 要点と詳細 🟢 **同期の強み**はシンプルさです。デバッグはスタックトレースで追え、テストは関数の入出力で検証でき、デプロイはステートレスHTTPとして扱えます。可動部品が少ないほどトラブルシューティングも容易です。テキスト分類、情報抽出、単純Q&A、要約、構造化出力生成など、LLM1回+軽量ツール0〜2回で完結するタスクに最適です。 🟡 **非同期の強み**は耐久性とスケーラビリティです。処理時間に上限がなく、ワーカーが失敗しても最後のチェックポイントから再開できます。人間の承認待ち(数分〜数日)がワーカーを消費しません。水平スケールもキューワーカーの追加だけです。ただしSQS・Redis Streams・Temporalなどのジョブキュー、チェックポイントストア、結果ストア、通知メカニズムが必要で、分散トレーシングを含むデバッグの複雑性が代償です。 ⚖️ トレードオフ | 観点 | 同期 | 非同期 | |---|---|---| | インフラの複雑性 | 低い(HTTPのみ) | 高い(キュー+ストア+通知) | | デバッグ難度 | スタックトレースで完結 | 分散トレーシングが必須 | | 耐障害性 | クラッシュで全ロス | チェックポイントから再開可 | | スケール | 接続保持がボトルネック | ワーカー追加で水平拡張 | | 人間の承認 | 非現実的 | 自然に対応 | 🛠️ ユースケース 🔵 **同期が向くケース**: テキスト分類、情報抽出、単純Q&A、要約、構造化出力生成。数秒で確実に終わる処理。 🔴 **非同期が向くケース**: マルチツールチェーン、クロスSaaSプロセス、人間承認ワークフロー、30秒超のタスク。 🟣 **ハイブリッド**: 内部は非同期パイプラインで構成し、閾値以内なら同期レスポンス、超えたらジョブIDを返す自動切替。レイテンシが二峰性分布を示す場合に特に有効です。 📌 **デフォルト戦略**: 迷ったらまず同期から始めましょう。レイテンシが限界を超えた時点で非同期に移行する方が、逆方向より安全です。同期→非同期の移行は容易ですが、非同期→同期へのロールバックは不要なインフラを残します。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェント開発の意思決定ポイント # 自己修正リトライ|Self-Correction Retry 🎯 ポイント LLMの出力が壊れた時、「もう一回!」と同じプロンプトを投げ直していませんか? 自己修正リトライは「何が間違っていたか」をLLMにフィードバックして再生成させる仕組みです。ただし闇雲に回数を増やしても改善しません。3回目以降のリトライで品質が上がることは、ほとんどありません。 📋 概要 自己修正リトライは、LLMの出力がスキーマ違反や品質不足だった場合に、エラー内容をコンテキストに追加して再生成を試みる回数を制御するダイヤルです。ネットワークリトライ(同じリクエストをそのまま再送)とは本質的に異なります。「何が間違っていたか」を具体的にフィードバックすることで、次の生成で正しい出力を得ることを期待します。LLMの出力は確率的であり、JSONの閉じ括弧が足りない、値の範囲が逸脱しているといったエラーは日常的に発生します。こうしたエラーへの対処戦略として、自己修正リトライは非常に実用的です。 🔍 意思決定のポイント 最大の判断基準は「出力のエラーが下流にどれだけの損害を与えるか」(failure_cost)です。すべてのエラーに同じリトライ回数を適用するのは非効率なので、エラーの種類に応じて対応を分けるのが鉄則です。 構文レベルのエラー(JSON構文不正、型の不一致)はフィードバック1回でほぼ直ります。意味レベルのエラー(値の範囲逸脱、存在しないIDの参照)は2回目で直らなければ構造的な問題です。品質レベルのエラー(不完全な回答、情報の欠落)は主観的で改善が読みにくいため、リトライよりプロンプト改善に投資すべきです。 💡 要点と詳細 目安値として覚えておくと便利です 📊 - 一般的なケース → 1〜3回。2回目で改善しなければ構造的問題の可能性大 - 構造化出力(JSONスキーマ) → 1〜2回。response_formatを使えば初回成功率が高い - 高failure_cost領域(金銭・法務・医療) → 2〜3回。品質が上がらなければ人間エスカレーション - 低failure_cost領域 → 0〜1回。フォールバックで対応できるなら即諦める方が効率的 エラーメッセージは短く具体的に 🎯 「出力が不正です」ではなく「delivery_dateフィールドが過去の日付です。未来の日付を指定してください」のように、何が間違っていて何が期待されるかを明示します。ただしエラーメッセージ自体がトークンを消費するため、概ね200トークン以内に収めましょう。 ⚖️ トレードオフ リトライしなさすぎると、修正可能なエラーでも即失敗として扱われます。JSONの閉じ括弧が1つ足りないだけの出力を捨ててしまうのは、もったいないですよね。 一方でリトライしすぎると、コストとレイテンシが急膨張します ⚡ 1回のLLM呼び出しが30秒なら、5回リトライで2.5分以上。リトライのたびにエラーメッセージをコンテキストに追加するためトークン消費が累積的に増大し、最悪の場合コンテキスト長超過という別の問題に遷移します。 2回連続で同じ種類のエラーが出たら、3回目を試すよりプロンプトを疑ってください。同じエラーの反復は、LLMがそのプロンプトとスキーマの組み合わせで正しい出力を生成できないことを示しています。 🛠️ ユースケース JSON出力のスキーマ違反 → エラー内容を具体的にフィードバックし、リトライ1回でほぼ修正可能。response_format(Structured Outputs)を使えばこの種のリトライ自体が不要に。 ビジネスルール違反(配送日が過去の日付など) → 具体的な制約と現在の状態を含めたフィードバックが重要。2回で改善しなければプロンプト改善へ。 品質不足(「5つの観点から分析」に3つしか返らない) → 1回リトライして改善しなければ、部分結果を受け入れるかプロンプト分割の方が効果的。 繰り返し同じエラーが出る場合 → 温度を下げる、プロンプトを簡素化する、別のモデルで試行する、人間にエスカレーションするなどの代替手段を検討 🔄 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェントをエンタープライズシステムに組み込む意思決定ポイント # 集中 vs 連合メモリ|エージェントの記憶をどこに持つか 🎯 ポイント エージェントの記憶(ユーザープロファイル、対話履歴、学習データ)を「1箇所に全部集める」か「各データソースに分散させたまま」にするか。これは単なる技術選択ではなく、データ主権・越境規制・パーソナライズの質に直結する設計判断です。特にグローバル展開するエンタープライズでは、GDPRや中国データセキュリティ法への対応が設計を大きく左右します🔑 📋 概要 集中メモリは全エージェントが同一の中央ストアを参照する構成で、複数チャネルを横断した一貫したパーソナライズが実現できます。Slackでの会話履歴をSalesforceのエージェントでも活用するようなケースです。連合メモリは各データソースにデータを分散保持し、エージェントが必要なときだけ参照する構成で、データ主権や越境転送規制への準拠が容易です。どちらにも長所と限界があり、多くのエンタープライズではメタデータは集中・本体は連合というハイブリッド構成に落ち着きます📊 🔍 意思決定のポイント 判断の最重要軸は「データの越境転送規制」です。 対象データにGDPR、中国データセキュリティ法等の越境転送規制が適用される場合、連合メモリが前提です。データを元のシステムから移動できない以上、集中は選択肢になりません。 複数システムを横断した一貫したパーソナライズが必要な場合は、集中を検討しましょう。顧客の解約意思を全エージェントが即座に反映するような強整合が求められるケースです。 各データソースのアクセス権限モデルが統一できない場合は、連合で各ソースの権限を尊重しましょう。統合すると最小権限の原則に違反するリスクがあります。 データ量と更新頻度から中央への同期コストが許容範囲を超える場合は、連合にキャッシュ層を追加する構成を検討してください⚡ 💡 要点と詳細 ハイブリッド構成の3つのアプローチを理解しておくことが重要です: メタデータは集中、本体は連合 — ユーザーの識別子・最終アクセス日・嗜好サマリなど軽量なメタデータは中央に持ち、詳細データ(対話ログ本文、添付ファイル)は各ソースに残します。集中の利便性と連合のデータ主権準拠を両立する、最も一般的なパターンです。 キャッシュ層による仮想集中 — 各ソースからリアルタイムにフェッチした結果を短期キャッシュに統合し、リクエスト単位で疑似的な集中ビューを構築します。データの永続的な複製を避けられるため、GDPRの忘れられる権利への対応も容易です。 コンテキストブローカー — エージェントのリクエスト時に必要なデータを各ソースから収集・結合するブローカーを配置します。集中ストアを持たずに横断的な文脈を提供できますが、レイテンシとソース障害時のフォールバック設計が課題です🔄 ⚖️ トレードオフ 集中ストアに全データを複製すると、ストレージコストが膨らむだけでなく元データとの同期遅延が発生します。Salesforceで顧客情報を更新したのに集中メモリには反映されていない — この不整合はエージェントの信頼性を根本的に損ないます。さらに、削除権(忘れられる権利)への対応も複雑化します。集中メモリにコピーしたデータの削除が元ソースの削除と連動しないと、GDPRリスクになります😰 一方、連合のまま横断クエリを強行すると、各ソースへのリアルタイムクエリが多段になり、レイテンシが5秒を超えてユーザー体験が劣化します。ソース障害時にエージェントがエラーを返す問題もあり、キャッシュからの応答と鮮度警告を組み合わせたフォールバック設計が不可欠です。 最も危険な失敗は、データ分類の欠如です。どのデータが集中可能でどのデータが越境不可かを事前に分類せず、コンプライアンス違反が本番で発覚するケースは珍しくありません⚠️ 🛠️ ユースケース グローバル顧客対応エージェント(Salesforce/Zendesk連携):EU顧客のデータはEUリージョンのZendeskに、日本の顧客データは日本のSalesforceに連合保持。メタデータ(顧客ID、最終対応日、嗜好サマリ)のみ中央のCDPに集約し、全エージェントが一貫した顧客理解を共有。詳細データは必要時に各ソースからフェッチします📚 社内ナレッジエージェント(ServiceNow/Workday/Confluence連携):ServiceNowのインシデント履歴はIT部門管轄、Workdayの人事データはHR部門管轄として、それぞれのソースがアクセス権限を制御。コンテキストブローカーがリクエスト時に必要なデータを各ソースから収集・結合し、横断的な回答を生成します🏢 顧客360エージェント(Salesforce CDP連携):全社統一の顧客プロファイルストアを中心に、全エージェントが同一の顧客理解を共有。解約意思や重要クレームなどの状態変更は強整合で即座に反映。データが単一リージョンに収まるドメスティック運用に向いています🔧 実践のコツ:まずデータ分類ポリシーを策定してください。「集中可能」「越境不可」「アクセス制限あり」の3カテゴリでデータを仕分けし、その分類に基づいてメモリアーキテクチャを選定するのが正しい順序です。技術選定からではなく、コンプライアンス要件から設計を始めましょう💪 #AIエージェント# #エンタープライズアーキテクチャ#
もっと見る
🔍 TL;DR: 汎用AIエージェントのコードレビューにありがちな見落としやズレを、Alibaba社内実績のハイブリッド設計で解決したCLIツールです。 タイトル: alibaba/open-code-review URL: 📌 ポイント ⚙️ 精度が必要な部分はハード制約、判断が必要な部分だけAIに任せる設計 📝 Gitディフから行単位の構造化レビューコメントを生成 🕵️ 未知のコードベース向けにフルファイルスキャンモードも搭載 🛡 NPE・スレッドセーフティ・XSS・SQLインジェクションなど多言語ルール内蔵 🔌 Claude Code、Codex、Cursorなどにプラグインで統合可能 📊 50リポジトリ・200PRのベンチマークでClaude Codeより高いPrecision/F1 💰 トークン消費は比較対象の約1/9 数千人規模の社内運用で鍛えられた精度が、そのままOSSで使えるのは魅力的だと思います。 #コードレビュー# #AIエージェント#
もっと見る
# AIエージェント開発の意思決定ポイント 🎯 **ポイント** RAGのtop-k、なんとなく「5」にしていませんか?検索結果を多く入れれば根拠が増えると思いきや、LLMは中盤の情報を無視しがちで、コストだけが直線的に増加します。少なすぎればハルシネーション、多すぎればノイズと予算超過。このバランスを取るための実践的な考え方を解説します。 📋 **概要** 検索top-kは、RAG(Retrieval-Augmented Generation)において外部知識ストアから取得する文書チャンクの件数を制御するパラメータです。広義には「LLMのコンテキストウィンドウに投入する外部情報の量」を意味します。コンテキストウィンドウは有限の資源であり、システム指示・検索結果・会話履歴・長期メモリ・ツール出力が奪い合っています。検索結果を多く入れれば根拠は増えますが他の情報が押し出され、少なければ根拠不足でハルシネーションが増えます。 重要なのは件数だけでなく「何を上位に置くか」です。初期検索で広めに候補を取り、リランカーで信号密度の高い順に並べ替えて上位k件を投入するパイプラインが標準的です。 🔍 **意思決定のポイント** top-kの設定は主に以下の変数で決まります。 🔹 **コスト感度(cost_sensitivity)** — コスト感度が高いほどtop-kを絞ります。ただし最低限の根拠確保のためk=3を下回ることは稀です。kを5から20に増やすと検索結果部分のトークンは概ね4倍、コストもそれに比例します。 🔹 **失敗コスト(failure_cost)** — 失敗コストが高い領域では根拠の網羅性が重要。kを多めにとりリランクで品質を担保する戦略が有効です。ただしリランクスコアが閾値を下回る文書は切り捨てるべきです。 🔹 **説明責任(accountability)** — 回答の根拠として引用できる文書を確保する必要がある場合、kを増やすよりもリランクスコアの高い少数の文書を確実に含め、出典を明示する方が効果的です。 💡 **要点と詳細** 実践的な判定フローは以下の通りです。 1️⃣ 初期検索では広めに取得(概ねk=20〜50) 2️⃣ リランカーで関連性スコア順に並べ替え 3️⃣ スコアが閾値を超える文書のうち上位k件を投入 4️⃣ 投入後のトークン数がコンテキストウィンドウの50%を超えないよう制御 5️⃣ 超える場合は圧縮(要約)またはさらなる絞り込み 📊 目安値: - 初期検索の取得件数: 20〜50件(リランク用の候補プール) - リランク後の投入件数: 3〜8件(大半のユースケースで5件前後が出発点) - 検索枠のウィンドウ占有率: 20〜40%(50%超で圧縮検討) - チャンクサイズ: 200〜500トークン kの値は「件数の定数」ではなく「リランクスコアが閾値を超えた文書の件数(上限k件)」として動的に決めるのが理想です。高関連の文書が2件しかなければ2件だけ投入し、無理にk件まで埋めません。 ⚖️ **トレードオフ** 📉 top-kが小さすぎると — 回答に必要な情報が検索結果に含まれず、LLMが根拠なしに回答を生成します。特に複数文書からの情報統合が必要な場合(「A社とB社の比較」など)、1件では対応できません。取得件数が少ないと1件のノイズの影響も甚大で、k=2なら1件のノイズが50%を占めます。 📈 top-kが大きすぎると — "Lost in the Middle"問題が顕在化します。LLMはコンテキストの先頭と末尾に注意を集中させ、中盤の情報は実質的に無視される傾向があります。大量投入すると最重要情報が中盤に埋もれます。他の情報枠(システム指示・会話履歴・長期メモリ)も圧迫され、エージェント全体の振る舞いが劣化します。 🛠️ **ユースケース** ❓ **単純な事実質問**(「A社の設立年は?」)— k=2〜3で十分。単一の文書で回答可能なケースがほとんどです。 📊 **比較・分析質問**(「A社とB社の戦略の違いは?」)— k=5〜8が必要。複数ソースからの情報統合にはより多くの文書が必要です。クエリ分類器で場合分けすると効率的です。 🏥 **医療・法務の高精度Q&A** — 根拠の網羅性と出典の明示が両方求められる。初期検索を広く取りリランクで厳選、スコアの高い少数の文書を先頭または末尾に配置して"Lost in the Middle"を回避します。 リランカーを使わずにtop-kを増やすのは逆効果です。ベクトル検索の上位20件をそのまま投入するとノイズが大量に混入します。コンテキストウィンドウの使用率は常にモニタリングし、検索結果で投入した文書のうち実際に回答に使われた比率を追跡しましょう。使われない文書が多ければkを下げるか検索パイプラインの改善が必要です。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
モデル自身に長い文章の中から使えそうな部分を選ばせてから、その部分だけで一時的に学習させる手法をMeta AIとバージニア大学が発表した(https://arxiv[.]org/html/2607.09415v1)。 近年のLLM(大規模言語モデル)は数十万トークンの長文を一度に読めるようになったが、扱える入力の長さ(コンテキストウィンドウ)を広げるだけでは長文を有効に使えるとは限らない。入力が長くなるほど正解率が下がる現象が知られていて、質問に関連する証拠を見つけて使う能力がボトルネックになっている。 有望な解決策がテスト時学習(TTT、Test-Time Trainingの略)だ。答える前にテスト入力そのものを訓練データとしてモデルの重みを一時的に更新する手法で、長文脈タスクとの相性が良いとされてきた。ただし長文脈全体を学習に使うのは計算コストが高く、ランダムに抜き出した断片を使うと無関係な情報がノイズになる。 著者らはLLMの長文読解力を測るベンチマーク「LongBench-v2」で診断実験を行い、興味深い結果を得た。ランダムな断片で学習させるとベースモデルの正解率40.4%が38.9%まで下がる一方、正解を教えられたうえで判断するGPT-5.5が選んだ「本当に必要な部分」だけで学習させると45.9%まで伸びた。TTTの効果は学習させる部分の質に強く依存している。 これを受けて提案されたのがSelf-Guided TTT(S-TTT)だ。2段階構成で、まずモデル自身に長文脈の中から質問に関連しそうな部分を原文のまま抜き出させ(Stage 1)、その部分だけを使って次単語予測(次にくる単語を当てさせる、通常のAI学習と同じ方式)で一時的に学習させる(Stage 2)。最終的な回答生成は元の文脈全体を見て行う。 Qwen3-4B-Thinking-2507とLlama-3.1-8B-Instructの両方で検証したところ、ベースモデルは一貫して上回り、ランダムに断片を選ぶ手法や文脈全体を使う手法など既存のTTT手法に対しても総じて上回るか同等の成績を残した。最大では15%の相対的な改善を達成している(Qwen3-4B-Thinking-2507、LongBench-v2の64k〜128kトークン帯域で正解率30.7%→35.3%)。 パープレキシティ(次単語の予測しにくさ)やエントロピー(予測の不確実性)が高い部分を選ぶより、モデル自身が「質問に関連しているか」で選ぶ方が明確に優れていた点も興味深い。難しい部分を学ばせればいいわけではなく、質問との関連性を見極める判断力そのものが効いているらしい。
もっと見る
📚 リポジトリ全体のドキュメントを、図つきで自動生成。最大140万行・8言語に対応し、DeepWikiを上回る品質を出すAIフレームワークCodeWikiです(ACL 2026採択)。 タイトル: FSoft-AI4Code/CodeWiki URL: 📦 概要 CodeWikiは、ソフトウェアリポジトリ全体に対して包括的なドキュメントを自動生成する、AI駆動のフレームワークです。単純なAPIリファレンスにとどまらず、アーキテクチャ図・データフロー図・シーケンス図・散文の説明を含む「システムレベル」の文書を作ります。大規模・多言語のコードベースで、ドキュメントを最新かつ完全に保つという課題に取り組みます。 ❓ 解決する課題 従来のドキュメントツールはスケールと文脈の扱いが苦手でした。CodeWikiは、モジュール間の相互依存の文書化、規模を保ったままのアーキテクチャ文脈の維持、孤立した部品ではなくシステム全体の相互作用を捉えること、という3つの核心課題に取り組みます。 🛠 方法論と提案手法 3段階で動作します。 ・階層的分解:動的計画法に着想を得たアルゴリズム的クラスタリングで、コードベースを一貫したモジュールに分割します ・再帰的マルチエージェント処理:複雑なモジュールにはタスクを動的に委譲する適応的なエージェントシステムを使います ・マルチモーダル合成:テキストと視覚成果物(Mermaid図)を統合し、図はNode.jsで検証します ・Python・Java・JavaScript・TypeScript・C・C++・C#・Kotlinに対応し、Claude# CodeやCodex CLI経由でトークン課金なしに実行できます 🎯 ユースケース 大規模・多言語コードの「生きたドキュメント」生成、新メンバーのオンボーディング資料、GitHub Pages互換のインタラクティブなHTML出力などに使えます。 📊 実験結果 ・独自評価CodeWikiBenchで、高水準言語(Python、JS)が79.14%、マネージド言語(C#、Java)が68#.84%の品質スコアを記録しました ・DeepWiki比で+4.73ポイント改善し、22.9万行のOpenHandsプロジェクトで82.45%を達成しました ・GitHubスター1.2k、フォーク193、ACL 2026採択で、8.6万〜140万行のコードベースを扱えます ・リポジトリ自身のドキュメントもCodeWikiで生成されており、その実力を体現しています #AIエージェント# #DevTools#
もっと見る