登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 エージェント
エージェント コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
エージェント を含む検索結果
エージェントの評価を自動化しても、「なぜ失敗したか」は人が見ないと分からない。LangChainは、専門家の判断こそが戦略的な強みだと説きます🧑‍⚖️ Why human insight is a strategic advantage for building better agents 自動評価は問題を検知できても、原因や直し方までは説明できません。そこで人間のレビューを評価の仕組みに組み込む3つの原則が示されています。 🎯 原則1: 人間が「良い」を定義する トレースにない文脈、つまりその仕事での良さの基準やユーザーの狙いを、レビュアーが与えます。理由付きのスコアは、評価器自体の抜けも明らかにします。 🧵 原則2: 文脈が判断を支える 1ステップだけ見ると、数ターン前の発言との矛盾を見落とします。マルチターンでは会話全体(Thread)をレビューの単位にします。 🔁 原則3: 判断を評価データに変える ラベルはグラウンドトゥルースとなり、LLMジャッジを人間のスコアに揃え、オンライン評価器を更新し、ゴールデンデータセットを作る元になります。事例では、Fetch Rewardsが商品カードの画像やオファーの有効性まで人手で確認しています。 自動化は規模を担い、専門家の判断を再利用可能な資産にすることが優位性になる、という主張です。 #AIエージェント# #LLM評価#
もっと見る
エージェントに正しい権限を渡していても、「その行動をやるべきか」は別の問題です🛡️ Securing AI Agents: Lessons From Real-World Deployment Uberが、自社のAIエージェントを守る多層防御の枠組み「Uber Secure AI」の設計と得られた教訓を公開しました。認可は「誰が行動できるか」に答えますが、エージェントには「この行動は要求に合っているか」を確かめる層も必要だという考え方です。 注目ポイントは3つです。 📜 振る舞いの契約を登録する AI Registryに、各エージェントのペルソナ、許可されたインテント、制約、リスク階層を記録します。Argusがコードやプロンプトから実際の能力を導出し、宣言との差を検査します。 ⚡ 小さなモデルで実行時に判定する AI Guardが提案された行動を評価し、実行前に判定を強制します。経路上に置くため、リモートの汎用LLMではなく、ローカルの小さな専用モデルを並列に動かします。 🎯 一番効いたのは、インテントと制約の限定 エージェントを明示的なインテントと制約に絞ると、操作された指示で動く余地が大きく減りました。代わりに柔軟性は下がります。開発者が回避しないよう、導入の簡単さも制御の一部と位置づけています。 ガードレールはリスクを下げるが排除はしない、と率直に書かれている点も参考になります。定量的な結果は示されていません。 #AIエージェント# #AIセキュリティ#
もっと見る
エージェントの「記憶」は、どう設計すればいいのでしょうか。Anthropicは、人間の睡眠中の記憶固定になぞらえた「ドリーミング」という考え方を示しました🧠 The components of agent memory ❓ メモリはどんな層でできているの? 💡 下から、全記録のトランスクリプト、作業中に書くメモリノート、wikiなどの構造化された表現、毎セッション自動で読み込まれる小さな注入コンテキストです。注入層は誤りも毎回持ち込むため、インデックス程度に小さく保ちます。 ❓ ドリーミングって何? 💡 セッション間にオフラインで下位層を読み、上位層を更新する統合処理です。トランスクリプトと照合してノートの誤りを直し、重複を統合し、重要なものを昇格させます。Pokémon RedのMt. Moonでは、誤ったノートを直した後でCerulean Cityに到達しました。 ❓ 本当に効くの? 💡 ・CL-Benchで、Opus 5は0.564から0.828に向上 ・Stainlessの約35万ファイルでは、wiki単体の正答率がドリーミング2回の13%から128回の48%に上昇 ・wikiと検索の併用で、1問あたり約20,000トークンを節約 ただし多くは単一実行の結果で、効果量は目安として読むべきです。 ❓ 何を書かせるのがいい? 💡 画面やツールから毎回分かる情報ではなく、戦略や検証済みルールを残させます。「失敗だけ記録せよ」のような固定ルールは、強いモデルほど利得を減らしました。 #AIエージェント# #エージェントメモリ#
もっと見る
エージェントに本当に長いコンテキストは必要でしょうか。圧縮して進めれば、精度をほぼ保ったまま大幅に安くなるそうです 💸 "You don't need long context" 長いコンテキストはトークン単価の割に実コストが高く、256Kの提供コストは16Kの3.6〜7倍と推定されています。そこで、履歴を溜め込む方式と、要約や1行動ごとの状態更新で会話を作り直す方式を、13のベンチマークで比べた研究です。 注目ポイント 🔁 長期タスクは圧縮しても解ける しきい値で要約して新しい会話を始めても、精度の変化はClaude Opus 4.5で−3.7〜+5.6ポイント、GPT 5.6 Solで−3.3〜+4.4ポイントでした。推定コストは2.2〜8.8倍安くなります。SWE-bench VerifiedではOpusが70.0%から74.8%に上がっています。 📄 長い文書は丸ごと読まなくてよい 文書をファイルに置き、grepやsedで必要な部分だけ読む方式では、Opusが−0.4〜+40.0ポイント、GPTが+1.0〜+30.9ポイントの変化でした。推定コスト削減は最大233.3倍で、文書が長くなっても会話の長さはほぼ一定です。 ⚙️ 1回の行動ごとに状態を更新する Single-Action Compactionは、タスクと要約した状態から1行動だけ取り、状態を更新して会話を捨てます。SWE-bench VerifiedはOpusで70.2%、GPTで82.4%で、ピークの生きたコンテキストは中央値で約77〜99Kトークンでした。 ただし圧縮は不可逆で、コストは推定値です。オープンモデルでは、Qwen 3 Coder Nextが53.0%から3.6%に落ちる例もあります。 #LLMエージェント# #LongContext#
もっと見る
エージェントのツール待ちでGPUが遊ぶなら、復帰タイミングまで見てスケジューリングすればよいはずです。 TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving 🔎 概要 LLM推論とツール実行を繰り返すエージェント向けに、ツールの復帰時刻とKVキャッシュ再利用を合わせて評価し、受け入れるセッションを組合せ最適化で決めるスケジューラです。 ⚠️ 解決する課題 ・既存のスケジューラはツール復帰のタイミングを直接使わない ・セッション単位の貪欲な判断で、容量を奪い合う別の組合せを塞いでしまう 🛠 方法論 ・セッションごとに「減衰するキャッシュ価値(半減期10秒)」「ツール復帰の準備完了」「トークン数」の3つを順に比較 ・容量状態の動的計画法で、待機セッションの選択とノード割当を同時に決定 ・DPは非同期ワーカーで走り、適用前に実際の状態と照合。オーバーヘッドは実行時間の0.12%未満 📊 実験結果 ・DeepSeek-V4 Flash、SWE-Lite、64ワーカーで、最良ベースライン比で遅延最大26.8%減、TTFT最大36.3%減、デコード最大29.5%増 ・DPをBFDに替えると、デコードは1417.97から1233.72 tok/sへ低下 ・一方、AutomationBenchの128ワーカーではTTFTが悪化するなど、全条件で勝つわけではありません #LLMServing# #AIAgents#
もっと見る
エージェントのメモリは、検索を足すより「根拠までたどれる構造」を作るほうが効くのかもしれません🧠 Building Evidence-Grounded Agent Memory with OpenWiki and Graphs LangChainのブログでは、文書をコンパイルしたWiki(OpenWiki)と、その引用から作るエビデンスグラフを組み合わせ、複数文書にまたがる質問への精度を上げています。 注目ポイントは3つです。 📚 原文にハッシュで紐づくWiki Wikiの各記述は根拠となる原文の行とそのハッシュに結びつきます。原文が変わるとモデルを呼ばずに該当クレームにフラグが立ち、そこだけをモデルが見直すため、メモリが自己修正できます。 🔗 引用から作る型付きエッジ cite、supersede、refers_toなどのエッジを、既存の引用や文書内の参照から追加のモデル呼び出しなしで作ります。agentはlocateで起点を見つけ、expandでたどるだけです。グラフの構築は1秒未満でした。 📊 連結質問で精度が約5倍 保険文書111本の合成コーパスで、連結質問の精度は検索の0.10からWikiの0.52へ上がりました。エビデンスグラフを足すと精度は27%向上し、コストは58%下がりました。一方、単純な参照では検索と差がありませんでした。 メモリは、複数ソースにまたがる質問を繰り返す場面で効く、という整理が参考になります。 #AIエージェント# #エージェントメモリ#
もっと見る
エージェントのバックドアは、事前学習データに混ぜた毒だけで仕込めるのでしょうか。 Agentic Backdoors via Pretraining Poisoning ❓ 事後学習でクリーンに直せないの? 💡 SFT、DPO、GRPOを経ても残りました。毒はコーパスのトークンの0.1%で、4Bモデルで「anthropic」を含むパスをトリガーにしたとき、GRPO後のPass@32は92.7%です。毒入りモデルは、トリガーなしのプロンプトでは最大0.06%しか悪用コマンドを出しませんでした。 ❓ どんな毒だと効くの? 💡 「トリガーならこの行動」というルールを、普通の文章で事実として述べる宣言型が強い結果でした。チャット形式のデモンストレーション型は、同じ条件で3.2%にとどまりました。 ❓ 普通に使っていて気づけないの? 💡 毒入りと毒なしで、能力ベンチマークはほぼ同じでした(4Bで58.5%対58.3%)。通常の評価では見抜きにくいことになります。また、モデルが大きいほど成功率が上がりました。 ❓ 実際の脅威はどのくらい? 💡 学習は4Bまでで、フロンティア規模は未検証です。低い混入率の結果は単一シードで、0.0005%では1.4%でした。著者らは、データ出自の管理に加え、デプロイ時の行動監視が現実的だと述べています。 #AISecurity# #LLMAgents#
もっと見る
エージェントに「自分専用のコンピュータ」を持たせたいけれど、VMは起動が遅く、コンテナは分離が弱い。Googleはこの板挟みを、どう解いたのでしょうか。 これまでの選択肢は二つでした。VMはroot権限と強い分離を与えられますが、起動や再開に数秒から数分かかります。コンテナは速くて軽い一方、ホストのカーネルを共有するので、コーディングエージェントに十分な分離を渡せません。ターンごとに破棄すれば作業状態が消え、待機中のエージェント全員に専用VMを常時割り当てれば資源が無駄になります。 📌 転機は「待ち時間の多さ」と「sandboxに秘密を置かない」の2点です。Googleの計測では、エージェントは時間の大半をモデル応答かユーザー入力の待機に使っています。そこでAgent Compute Engine(ACE)は、ツール呼び出しが終わると状態を保ったままチェックポイントして、アイドル中は稼働資源をほぼゼロにします。同時に、基本OSやブラウザはDAXとCoWで物理メモリを共有します。 セキュリティの考え方は「sandbox内は全部攻撃者に握られている前提」です。ゲストにはシークレットも標準のネットワークカードもなく、外向き通信はAgent Gatewayが検査して、通信の途中で資格情報を差し替えます。その結果、rootを奪われても盗むものがありません。 ただしプレビューは「今後数か月」の予定で、起動時間や料金などの数値は記事にありません。詳細は Inside Agent Compute Engine: Building the compute foundation for the agentic era をご覧ください。 #AIAgents# #GoogleCloud#
もっと見る
エージェントのメモリは、実はIR(情報検索)の問題だ。清華大学のQingyao Ai氏による、そんな問題提起のパースペクティブ論文です。 タイトル: Agentic Memory Management Is the Next Frontier of Information Retrieval URL: 🧠 概要 IRは「検索結果を読むのは人間」という前提で発展してきました。しかしエージェントは検索した情報を自分の内部状態として使います。この論文は、エージェントのメモリ管理をAMMとして整理します。 ❓ 解決する課題 エージェントメモリの研究は場当たり的で、人間の心理学から借りた用語が一貫せず、評価も弱いままです。 🧩 提案する枠組み ・constants:事実(内容でマッチ) ・functions:スキルやワークフロー(適用可能性でマッチ) ・operators:好みやスタイル(スコープでマッチ) 追加・更新・削除・検索・利用の5操作を、学習・忘却・利用にまとめます。RAG、MemGPT、Mem0なども分類し、再利用可能なスキルや原理的な忘却が手薄だと指摘しています。 🔭 今後の課題 ・3層を網羅し忘却も測るベンチマーク ・下流タスクの成果で診断できる「観測可能性の反転」 ・メモリポイズニングなど人間による制御とセキュリティ 実験はなく、枠組みと推測を示す論文です。 #AgentMemory# #情報検索#
もっと見る
「エージェントメモリは複雑なほど良い」は本当でしょうか? タイトル: Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought URL: ❓ そもそも何を問う論文? 抽出・要約・グラフ化・更新を備えた「エージェンティックメモリ」は、素朴なRAGより優れているのか。その差が弱いベースラインのせいではないかを検証しています。 ❓ 比較した「素朴なRAG」とは? 💡 Raw-RAGは、会話を256トークンの窓に切って埋め込み、上位128件を取得、クロスエンコーダで15件に絞ってLLMに渡すだけ。LLMによる抽出・要約・グラフ構築は一切ありません。 ❓ 結果は? 💡 7つの設定のうち6つでRaw-RAGがメモリシステム中トップ。MemoryAgentBenchではMemoraの43.84に対し48.32でした。しかも取り込みは速く、約100万トークンでRaw-RAGは0.33時間、Memoraは26.95時間です。 ❓ なぜ複雑な仕組みは勝てない? 💡 差を生むのは証拠を使う力より届ける力でした。原子的事実の抽出を足すと19.62ポイント低下し、要約やグラフ拡張も約6ポイント悪化。変換したストアは生の証拠に届きませんでした。 #AIエージェント# #RAG#
もっと見る