登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 エージェント学習
エージェント学習 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
エージェント学習 を含む検索結果
🖥️ エージェントの学習用「実行環境」は軌跡の何百分の一しかない、という不均衡をひっくり返す発想の論文です。 タイトル: Terminal-Universe: Turning Agent Trajectories into Scalable Terminal Environments URL: 蓄積済みのコードエージェント軌跡からファイル操作履歴を読み解き、実行可能な検証環境を自動で逆算復元し、そこから新たな学習タスクを大量に合成するフレームワークです。 注目ポイント 🔄 軌跡から環境を逆算復元 軌跡内のread/write/edit操作をリプレイして部分的なワークスペースを再現し、補完エージェントが欠けているファイルや依存関係を補います。さらに読み取り専用ツールで充分性を判定し、質の低い環境を除外します。 🌐 幅と深さの二軸でタスクを拡張 複数リポジトリの依存関係を使うCross-WS合成で「幅」を、ユーザーからの追加要望に応じるMulti-Round対話で「深さ」を広げます。Multi-Roundは平均4.51ラウンド、失敗から修正するパターンが69.6%を占めます。 📈 二桁ポイントの性能向上を実証 Qwen3.5-27Bをこのデータで学習させ、Terminal-Bench 2.1で+11.9pt、EvoCode-Bench v2で+13.8ptと大幅に改善。同規模の既存手法もすべて上回りました。 蓄積された軌跡という「余っているリソース」を検証可能な学習環境に転換する、地に足のついたスケーリング手法だと感じます。 #エージェント学習# #LLM#
もっと見る
マルチエージェント強化学習大変そう(小並感)
🔎 検索エージェントのRL学習が途中で伸びなくなる、その隠れた原因を突き止めた論文です。 タイトル: Harness-G: A Graph-Structured Harness for Search Agents URL: ❓ なぜ学習が崩壊するの? 💡 「検索等価性崩壊」が原因です。文字列は違うのに同じ証拠しか引かないクエリばかりになり、同じ証拠→同じ回答→同じ報酬でグループ内のアドバンテージが消え、学習信号が枯れてしまいます。 ❓ Harness-Gはどう解決するの? 💡 クエリを自由記述させるのをやめ、コーパスから作った段落-文-エンティティのグラフ上で「メニュー選択」に変えます。ポリシーは文字列でなく行動IDを選ぶだけ。有限・検証可能・先読み可能なので、検索結果の多様性が保たれます。 ❓ 信用割当(SNC)とは? 💡 凍結した回答器で「その行動が正解確率をどれだけ上げるか」を先読みし、他の候補との差で評価します(フロンティア相対)。さらに「先に橋渡しエンティティを見つける」ような後で効く一手を来歴を辿って後方伝播(イネーブルメント)。追加ロールアウト不要です。 ❓ 効果は? 💡 6つのQAでGraph-R1を1.5Bで+10.74、3Bで+3.98上回り両スケール最高。マルチホップで特に強く、グラフ構築はAPIコスト$0です。 #検索エージェント# #強化学習#
もっと見る
🧠 「エージェントに正確な業務文脈をどう渡すか」への一つの答え。既存データからオントロジーと知識グラフを自動で作り、MCPで供給するOSSです。 タイトル: Context Ontology Accelerator (aws/context-ontology-accelerator) URL: AWSが公開した、AIエージェントに検証済みのビジネス文脈を与えるセマンティックなコンテキスト層。注目ポイントは3つです。 🔎 Scan→Model→Serveの3段パイプライン 多様なデータ源に接続してスキーマ発見・文書取り込み(Scan)、形式オントロジーと統一知識グラフを構築(Model)、VKGのSPARQLフェデレーションとMCPで公開(Serve)。手動の知識工学に頼らず既存データから意味構造を導きます。 ✅ 推論エンジンで整合性を検証 HermiTやELKでオントロジーの一貫性を検証し、形式制約に基づくルール検証が可能。エージェントが「学習データの記憶」でなく検証済みの業務ルールを問い合わせられます。 🏗 AWSネイティブで実運用志向 AWS CDKでデプロイ、Ontopを使ったVKG、名前空間ごとのRBAC(owner/maintainer/data-steward/data-analyst)。API設計はSmithy、UIはReact+Cloudscape。 説明可能性を保ちつつ、エージェントを検証済みの文脈で動かす土台になりそうです。 #KnowledgeGraph# #AIエージェント#
もっと見る
# AIエージェント開発の意思決定ポイント 🎯 **ポイント** AIエージェントに「何でも覚えさせる」のは本当に良いことでしょうか?メモリ書込の積極度は、エージェントの賢さと安全性を左右する最も繊細なダイヤルの一つです。書き込みすぎればメモリ汚染、書き込まなさすぎれば学習しないエージェント。この絶妙なバランスをどう取るか、実務の視点で掘り下げます。 📋 **概要** メモリ書込の積極度とは、エージェントが対話やタスク遂行の過程で得た情報を長期メモリにどれだけ積極的に保存するかを制御するパラメータです。データベースへのINSERTと同じ重みで考えるべき、準不可逆的な操作です。LLMが生成した推測やユーザーの曖昧な発言を安易に書き込むと、以後のすべてのセッションで「過去に記録された事実」として参照され、誤りが自己強化するループ、すなわちメモリ汚染に陥ります。 🔍 **意思決定のポイント** この設定は主に2つの変数で決まります。 🔹 **入力の信頼度(input_trust)** — エンドユーザーの自由入力が主なソースなら、インジェクションや誤情報のリスクが高いため書込ゲートの閾値を上げます。管理者が入力を管理している環境なら、ある程度積極的に書き込めます。 🔹 **失敗コスト(failure_cost)** — 医療・法務・金融では、誤った事実の永続化が深刻な結果を招きます。社内チャットボットなら、多少の誤記憶は修正すれば済みます。失敗コストが高いほど書込を抑制するのが鉄則です。 🔹 **説明責任(accountability)** — 「なぜこの情報をメモリに保存したか」を後から説明できる必要がある場合、出典と確信度を記録する設計が必須になります。 💡 **要点と詳細** 書込の判定基準は3段階で考えるのが実践的です。 ✅ **自動書込可** — ユーザーが直接的かつ明示的に述べた事実(「私の名前は山田です」「Pythonを使っています」) ⚠️ **確認後に書込** — ユーザーの発言から推測される情報(「Python好みのようですね」→ユーザーに確認してから保存) 🚫 **書込禁止** — LLMが生成した推測、外部ソースからの未検証情報、一時的な文脈 メモリエントリには確信度(confidence)タグを付与し、検索時に確信度の低いエントリはランキングを下げるのが効果的です。これにより書込を完全に禁止しなくてもメモリ汚染の影響を限定できます。重複検出も書込パイプラインに必ず組み込みましょう。コサイン類似度0.90〜0.95で既存エントリとの重複をチェックし、同一エンティティの同一属性は最新値で上書きするのが原則です。 ⚖️ **トレードオフ** 📉 書込が消極的すぎると — エージェントが学習しません。ユーザーが繰り返し伝えた好みを記憶せず毎回デフォルトに戻り、「また同じことを聞かれた」という不満を生みます。パーソナライゼーションの欠如は、長期的な関係構築が必要なユースケースで致命的です。 📈 書込が積極的すぎると — ハルシネーションの永続化が最大のリスクです。「おそらくAさんは東京在住でしょう」という推測が「Aさんは東京在住」として保存され、以後のセッションで確定事実として扱われます。さらに深刻なのがプロンプトインジェクションの持続化で、通常は1セッション限りの攻撃がメモリに永続化されると「持続型インジェクション」になります。 🛠️ **ユースケース** 🏥 **医療・法務・金融** — 失敗コストが極めて高い領域。書込は最小限に抑え、明示的に確認された事実のみを記録。出典と確信度の追跡は必須。 💬 **カスタマーサポート** — ユーザーの好みや過去の問い合わせ履歴を蓄積する必要があるが、自由入力のリスクも高い。反復確認された情報(2回以上の一致)のみ自動永続化し、暗黙的な好みは隔離期間を設けてから昇格させる設計が有効。 🏢 **社内ナレッジボット** — 組織の暗黙知(「このAPIはこのパラメータを渡すと壊れる」)を蓄積したい。管理者入力が主なら比較的積極的に書き込めるが、定期的な「メモリの棚卸し」でユーザーに保存情報を提示して確認を得る運用を組み込むと品質が保たれます。 書込ログの監査可能性も忘れずに。いつ・何が・どのソースから書き込まれたかを追跡できれば、メモリ汚染が発覚した場合に原因特定と修正が可能になります。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
🧩 AIエージェントに足りないのはモデルの賢さではなく「現場のノウハウ」だった、という論文です。 タイトル: Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills URL: ❓ 自律型研究エージェントには何が欠けているのですか 💡 「モデル」と「実行ハーネス」の2層だけでは、適切な手法の選び方やAPIの使い方、実装の落とし穴といった運用知識が抜け落ちています。この論文はこれを第三の層として明示的に扱います。 ❓ その知識をどうやって手に入れるのですか 💡 GitHubリポジトリや論文を「Scope→Ground→Construct→Verify」の4段階で処理し、検証済みの「スキル」として蒸留します。1,000リポジトリと153論文から5,353個のスキルを構築しました。 ❓ スキルを使うと実際どれくらい変わるのですか 💡 同じGPT-5.5・同じハーネスのまま、スキルを追加するだけでMLE-benchは31.11%から72.89%へ、PaperBench・FrontierCS・PassNetでも軒並み改善しました。高難度タスクでは4倍以上のスコア向上も見られます。 ❓ 単にリソースを増やしただけではないのですか 💡 トークン数やツール呼び出し回数と改善幅の相関はほぼゼロで、Claude Opus 4.8構成より少ないトークンで高いスコアを出しています。知識そのものが効いているといえます。 #AIエージェント# #機械学習#
もっと見る
🖥 たった9Bのオープンモデルが、ターミナル操作ベンチでClaude Haiku 4.5に迫る。しかもデータもモデルもコードも全公開です。 タイトル:Tmax: A simple recipe for terminal agents URL: ターミナルエージェントのRL学習に、シンプルで再現可能なレシピを与えたAi2/UWの研究です。注目ポイントを3つに絞って紹介します。 🧩 構成的なデータ生成パイプライン ドメイン・スキル・検証器・ペルソナ・難易度など9つの軸の組み合わせでタスクを大量合成し、Gemini-3-ProがDockerfileとユニットテストまで生成します。高コストな品質検証は省き、RL側でpass率0を弾くだけ。結果として従来比2.5倍超・14,600環境のTmax-15Kを安価に構築し、汚染ゼロかつ最も難しいデータになりました。 ⚙️ シンプルなoutcome-only RLレシピ 報酬は「タスク達成したか」だけ。素朴なGRPOは長期エージェントで崩壊するため、logprobの乖離をマスクするDPPO、FP32のLMヘッド、大きなグループサイズ(32)で安定化します。Qwen 3.5 9BをこのレシピでTerminal-Bench 2.0で27%まで引き上げました。 📈 強さと汎化、そして全公開 2B〜27Bの全サイズでQwenベースラインを改善。さらにSWE-Bench Verifiedが44→53.5、AIMEが73→91と非ターミナル評価でも向上し、ハーネスやモデルファミリを越えて汎化します。データ・モデル・コードはGitHubで完全公開。 オープンなターミナルエージェント研究の強力な土台になりそうです。 #ターミナルエージェント# #強化学習#
もっと見る
# ADKの便利で実践的な使い方 セッションを超えた「長期記憶」を実現するMemory機能。過去の会話から学び、ユーザーを深く理解するエージェントを作りましょう🧠 📌 **タイトル**: Memory 🔗 **URL**: ## 🧩 概要 Memoryは、セッションを横断して検索可能な長期知識を管理する機能です。Stateが「今の会話」のデータを保持するのに対し、Memoryは「過去の会話から得た知識」を蓄積し、自然言語で検索できます。 主要なAPIは以下の2つです。 - `add_session_to_memory` / `add_events_to_memory`: セッションやイベントの内容をメモリに追加 - `search_memory`: 自然言語クエリでメモリを検索 バックエンドにはChromaなどのベクトルDBを使用でき、RAG(Retrieval-Augmented Generation)パターンでエージェントの応答品質を向上させます。 ## 🛠 使い方 `google.adk.memory` から `InMemoryMemoryService` をインポートしてインスタンス化します。セッション終了時に `await memory_service.add_session_to_memory(session)` でセッション内容をメモリに追加します。検索時は `await memory_service.search_memory(app_name=..., user_id=..., query="以前のネットワーク接続の問題")` のように自然言語クエリを渡します。返されたresultsの各 `memory` オブジェクトの `memory.content` から、過去の関連する会話内容を取得してエージェントの文脈に活用できます。 ## 🏗 実践的な使い方 **カスタマーサポートでの活用:** 1. ユーザーが「ネットワークがまた繋がらない」と問い合わせ 2. Memoryを「ネットワーク接続の問題」で検索 3. 「前回(3日前)も同じ問題で問い合わせがあり、ルーターの再起動で解決しました」という情報を取得 4. エージェントが「前回の問題は解決しましたか?同じ症状でしたらルーターの再起動をお試しください」と提案 過去の対応履歴を踏まえた、パーソナライズされたサポートが実現します。 **学習支援エージェント:** 1. 「微分がわからない」とユーザーが相談 2. Memoryを検索し、「このユーザーは視覚的な説明を好む」「前回は具体例から理解した」という知識を取得 3. グラフを使った具体例ベースの説明を提供 ## 💡 ユースケース - 🎧 カスタマーサポート: 過去の問い合わせ履歴を踏まえた対応。「前回の問題は解決しましたか?」 - 📚 学習支援: ユーザーの学習スタイルや理解度を記憶し、最適な教え方を選択 - 🏥 健康管理: 過去の相談履歴から傾向を把握し、継続的なアドバイスを提供 - 🛒 パーソナルショッパー: 購買履歴や好みを記憶し、的確な商品提案 ## ⚠️ 注意点 - メモリに個人情報を保存する場合、プライバシーポリシーとデータ保護規制への準拠が必要です - ベクトルDBの検索精度はエンベディングモデルの品質に依存します。適切なモデルを選択してください - メモリの量が増えると検索コストも増加します。定期的な整理やTTL(有効期限)の設定を検討しましょう - `InMemoryMemoryService` はプロセス再起動でデータが消えます。本番ではChromaなどの永続化バックエンドを使用してください ✨ Memory機能でエージェントに長期記憶を持たせれば、ユーザーとの関係が深まり、回を重ねるほど賢くなるエージェントが実現します! #ADK# #AIAgent#
もっと見る
🎮 コードエージェントが強いのは「実行して検証できる」から。同じ発想をゲーム開発に持ち込み、世界モデルの学習を加速させる研究です。 タイトル: Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models URL: 🧩 概要 動画やCLIPスコアのような曖昧なプロキシ指標では報酬がゲーム化されやすいという「検証可能性のボトルネック」を指摘し、ゲームエンジンの衝突判定・物理演算・navmeshチェックを報酬源として活用する手法を提案しています。 ❗ 解決する課題 空間生成モデル(動画・3D・世界モデル)は信頼できる報酬信号を欠いており、スケーリングしても真の能力向上につながらない「不可検証性の代償」を抱えています。 🛠 方法論と提案手法 エンジン由来の密な構造的報酬と人間の採否判断を組み合わせるRLHEV、Propose→Render→Verify→Repair→Reviewの反復ループを回すAWoMoエージェント、開発トレースを統一構造化するUWDPプロトコルを提案しています。 📊 実験結果 UnitySceneBenchで曖昧プロキシ比+0.098、クロスエンジン汎化はUnity→Godotで0.15→0.35に向上。さらにD4RL Gym-MuJoCoで+48.43%、R2Rナビゲーションで+0.79%の性能向上も確認されています。 #世界モデル# #強化学習#
もっと見る
AIエージェントの性能はモデルだけで決まらない——ハーネスの設計次第で大きく変わります。 TL;DR JIT-Agentはタスクの特性に応じてエージェントハーネス(スキャフォールド)をジャストインタイムで自動生成・修復・進化させる専用モデルです。GLM-5.2で+7.7pt、DeepSeek-V4-Flashで+8.8ptの平均向上を達成し、9ベンチマーク中8つでGPT-5.6を含む全フロンティアモデルを上回りました。 タイトル: Scaling Harness Intelligence via Just-in-Time Harness Evolution URL: ポイント 🧩 ハーネスを「学習可能なアーティファクト」として定式化 メモリ・計画・アクション・能力オーケストレーションの4モジュールプロトコル h = (M, P, A, F) でハーネスを形式化。生成空間を制約しつつ13種類の既存ハーネスを全て表現できる設計です。 🎓 教師あり→修復→進化の3段階訓練 ステージIで教師生成ハーネスを学習、ステージIIで実行失敗時の修復を学習(最大2反復)、ステージIIIのEvo-GDPOでパレートフロンティアを前進させる新規ハーネスを進化的に探索します。 📊 精度向上とコスト削減を同時達成 xBench-DeepSearchでスコア78→82(+4pt)の一方、トークン消費は527K→212K(▲60%)、コストは$0.075→$0.039(▲48%)。9ベンチマーク平均で固定ハーネス比36%のトークン削減を実現しています。 ⚡ 複数モデルファミリーに転移可能 JIT生成ハーネスはDeepSeek V4(+10.2pt平均)、Mimo V2.5(+8.6pt)、Qwen 3.6(+4.0pt)でいずれもReActを上回り、ハーネス生成器を再訓練せずに転移できます。 🔄 ストリーミングモードで運用中も進化 デプロイ後もタスクシーケンスをまたいでハーネスを蓄積・更新する「オンライン進化」を実装。静的生成より全評価ベンチマークで上回ります。 ベースモデルのスケーリングと独立した「ハーネス知性」という新たなスケーリング軸の提案として注目です。 #AIエージェント# #LLMスケーリング#
もっと見る