ボッテガ・ヴェネタが没入型アート展「INSIDE OTHER SPACES: ENVIRONMENTS BY WOMEN ARTISTS, 1956-76」を韓国ソウル・リウム美術館にて開催 会期は5月5日〜11月29日

# ADKの便利で実践的な使い方 🧪 エージェントのテストで、本番APIを叩くわけにはいきません。ADKのEnvironment Simulation機能を使えば、ツール呼び出しをインターセプトし、制御されたレスポンスに差し替えることで、本番システムに影響を与えずにエッジケースを再現できます。 📌 タイトル：Environment Simulation 🔗 URL： 🧩 概要 ADKのEnvironment Simulatorは、エージェント実行中のツール呼び出しをインターセプトし、制御されたレスポンスに置き換えます。エージェントのコードを一切変更せずに、エラー注入、固定レスポンス、条件付き注入、確率的障害、レイテンシシミュレーションが可能です。CallbackまたはPluginとして統合でき、注入設定→モック戦略→実ツール実行の優先順位で動作します。 🛠 使い方 Callbackとしての統合例です。 `google.adk.agents` から `LlmAgent` を、` から `EnvironmentSimulationFactory` を、同パッケージの `environment_simulation_config` から `EnvironmentSimulationConfig`、`InjectedError`、`InjectionConfig`、`ToolSimulationConfig` をインポートします。`EnvironmentSimulationConfig` の `tool_simulation_configs` に `ToolSimulationConfig` のリストを渡し、各ツールに対する注入設定を定義します。例えば `tool_name="get_user_profile"` に対して `InjectionConfig` で `InjectedError(injected_http_error_code=503, error_message="Service temporarily unavailable.")` を設定すると、503エラーが注入されます。作成した `config` を `EnvironmentSimulationFactory.create_callback(config)` でコールバックに変換し、`LlmAgent` の `before_tool_callback` パラメータに渡します。 固定レスポンスの注入： `InjectionConfig` の `injected_response` パラメータに辞書（例: `{"status": "ok", "order_id": "ORD-9999"}`）を渡すことで、ツール呼び出しに対して固定のレスポンスを返すことができます。 引数に基づく条件付き注入： `InjectionConfig` の `match_args` パラメータに引数パターン（例: `{"item_id": "ITEM-404"}`）を指定すると、ツール呼び出しの引数が一致した場合のみ注入が発動します。`injected_error` に `InjectedError(injected_http_error_code=404, error_message="Item not found.")` を設定すれば、特定の引数でのみ404エラーを返すことができます。 確率的な障害シミュレーション： `InjectionConfig` の `injection_probability` に確率値（例: `0.3` で30%）を設定し、`random_seed`（例: `42`）で再現性を確保します。`injected_error` に `InjectedError(injected_http_error_code=500, error_message="Internal server error.")` を指定すると、指定確率でランダムに500エラーが発生します。 レイテンシのシミュレーション： `InjectionConfig` の `injected_latency_seconds` に遅延秒数（例: `5.0`）を設定し、`injected_response` にレスポンス（例: `{"result": "slow but successful"}`）を指定すると、指定秒数の遅延後にレスポンスが返されます。 Mock Strategyモードでは、ツールスキーマから自動的にレスポンスを生成します。 `environment_simulation_config` から `MockStrategy` をインポートし、`ToolSimulationConfig` の `mock_strategy_type` に `MockStrategy.MOCK_STRATEGY_TOOL_SPEC` を設定します。これにより、`tool_name`（例: `"create_order"`）で指定したツールのスキーマから自動的にレスポンスが生成されます。 🏗 実践的な使い方 **API障害時のエージェント回復力テスト**: 503エラーや500エラーを注入して、エージェントがリトライやフォールバックを適切に行うかを検証します。本番システムに影響を与えることなく、障害シナリオを再現できます。 **条件付き注入によるエッジケーステスト**: `match_args`を使って特定の引数パターンでのみエラーを発生させます。例えば「存在しない商品ID」「在庫切れの商品」など、特定条件下でのエージェントの振る舞いをピンポイントでテストできます。 **確率的障害でのリアルなテスト**: `injection_probability`を使って30%の確率でエラーを発生させ、不安定なAPIとのやり取りをシミュレートします。`random_seed`を固定すれば再現性のあるテストになります。 **環境データの提供によるリアルなモック生成**: `environment_data`にDBスナップショットなどのコンテキストを渡すと、Mock Strategyがよりリアルなレスポンスを生成します。 DBスナップショットなどのコンテキストデータ（例: 商品リストの辞書）を `json.dumps()` でJSON文字列に変換し、`EnvironmentSimulationConfig` の `environment_data` パラメータに渡します。Mock Strategyはこの環境データを参照して、よりリアルなレスポンスを生成します。 **注入とモック戦略の組み合わせ**: 特定の条件ではエラーを注入し、それ以外はMock Strategyで自動生成するという組み合わせが可能です。注入設定が先に評価され、マッチしなければモック戦略にフォールバックします。 💡 ユースケース 🔧 外部API障害時のエージェント回復力の検証 🎯 特定条件下でのエッジケース再現テスト 📉 不安定なAPIとのやり取りの確率的シミュレーション ⏱ レイテンシの高いAPIでのタイムアウト処理の検証 ⚠️ 注意点 - `injected_latency_seconds`の上限は120秒です。 - `InjectionConfig`はエラーとレスポンスのどちらか一方のみ指定可能で、両方同時には設定できません。 - `tool_name`は登録されたツール名と完全一致する必要があります。タイポに注意してください。 - Mock Strategyはツールスキーマに依存するため、スキーマが不十分だと生成されるレスポンスの質が下がります。 ✨ Environment Simulationは、本番環境を汚さずにエッジケースを再現できる強力なテスト基盤です。エラー注入と条件付きモックを組み合わせて、あらゆる障害シナリオに対するエージェントの耐性を検証しましょう！ #ADK# #AIAgent#

反省させたりルールを抽出させたり、凝った自己改善の仕組みを積めば積むほどエージェントは賢くなる。本当にそうでしょうか。 タイトル: Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments? URL: 直感に反するルールを持つ20種のテキストゲームで、LLMエージェントが「本当にインタラクションから学習できているか」を測るベンチマークです。事前学習の知識では太刀打ちできない新規ルールを使っているのがポイントです。注目ポイントを3つ紹介します。 🧠 生の履歴が凝った処理手法を上回る 反省やルール抽出、ワークフロー誘導といった洗練された自己改善手法は、不完全なルールを生み出して後の探索を狭めてしまいます。生のインタラクション履歴をそのまま使う方が、あらゆる指標で優れた結果を出しました。 🛠️ 専用ハーネスが汎用ハーネスを大きく上回る 同じバックボーンモデルでも、専用に訓練されたハーネス（Claude CodeやCodex）は汎用のOpenCodeを全指標で上回りました。モデルとハーネスの相性が学習効果を左右します。 👤 人間はまだエージェントより上 最も優れた人間プレイヤーのピーク性能（84.3）は、最良のエージェント構成（81.8）をわずかに上回りました。人間は挫折後の回復率も33%対22%で優位で、より多様な戦略を試す傾向がありました。 洗練された記憶の仕組みを積むより、証拠をそのまま残しておく方が強いという指摘が印象的です。 #AIエージェント# #ベンチマーク#

🔬 最上位のAIエージェントでも、科学計算コードの修復タスクは約1/3が1時間以内に解けないという結果が出ました。 タイトル: ScienceIDE: Turning World's Scientific Codebase into Agent Learnable Environments URL: 🧩 概要 AItonomy・Qwen・PhAI-Labsが、天体物理・海洋モデリングなど27の科学コードベースを、AIエージェントが学習できる実行可能な環境へ変換するインフラ「ScienceIDE」を構築しました。64環境・2,812タスクを整備しています。 ⚙️ 解決する課題 科学コードには数十年分の専門知識が詰まっていますが、断片化したツールチェーンや文書化されていない数値慣習のせいで、信頼できる学習経験に変換するのが困難でした。 🛠 方法論と提案手法 数値許容誤差や保存量を比較する「科学的チェック」でタスクの正当性を検証し、修復・実装など7分類のタスクを生成。強化学習では予算切り捨てへの不当なペナルティを防ぐ「切り捨てマスキング」という工夫も導入しています。 📊 実験結果 1時間予算でのエージェント比較ではFable 5.1が67.1%で最高、Astraが63.1%。ScienceIDEの経験で学習したPhAI-IDEモデルは科学コード修復タスクで最大+33.33ポイント、強化学習ではLAPSタスクの報酬が2.4倍に向上しました。 #AIエージェント# #AI4Science#

🖥️ エージェントの学習用「実行環境」は軌跡の何百分の一しかない、という不均衡をひっくり返す発想の論文です。 タイトル: Terminal-Universe: Turning Agent Trajectories into Scalable Terminal Environments URL: 蓄積済みのコードエージェント軌跡からファイル操作履歴を読み解き、実行可能な検証環境を自動で逆算復元し、そこから新たな学習タスクを大量に合成するフレームワークです。 注目ポイント 🔄 軌跡から環境を逆算復元 軌跡内のread/write/edit操作をリプレイして部分的なワークスペースを再現し、補完エージェントが欠けているファイルや依存関係を補います。さらに読み取り専用ツールで充分性を判定し、質の低い環境を除外します。 🌐 幅と深さの二軸でタスクを拡張 複数リポジトリの依存関係を使うCross-WS合成で「幅」を、ユーザーからの追加要望に応じるMulti-Round対話で「深さ」を広げます。Multi-Roundは平均4.51ラウンド、失敗から修正するパターンが69.6%を占めます。 📈 二桁ポイントの性能向上を実証 Qwen3.5-27Bをこのデータで学習させ、Terminal-Bench 2.1で+11.9pt、EvoCode-Bench v2で+13.8ptと大幅に改善。同規模の既存手法もすべて上回りました。 蓄積された軌跡という「余っているリソース」を検証可能な学習環境に転換する、地に足のついたスケーリング手法だと感じます。 #エージェント学習# #LLM#

エージェントのベンチマーク、どうやって作ればいいのか？LangChainが実践ノウハウを公開しました。 タイトル: How We Build Agent Environments & Tasks URL: ❓ エージェントの「タスク」って何で構成されているの？ 💡 タスクは「インプット・環境・テストスクリプト」の3要素で成り立ちます。環境はエージェントの実行場所を提供し、ルーブリックが採点基準を定義します。複数の関連タスクにまたがる共有知識は「ワールドスペック」としてまとめ、APIスキーマ・データ生成方法・トレース解析スクリプトなどを一元管理します。 ❓ 大量のタスクを効率よく作るにはどうすればいい？ 💡 LangChainは2段階パイプラインを採用しています。最初に「スペック生成」フェーズでコーディングエージェントがリポジトリをスキャン・トレースを分析しワールドスペックを自動生成します。次に「Spec2Task」フェーズでそのスペックから実行可能なタスクに変換します。最初のタスク作成時のスペックをベースに、後続のサイクルで反復的に品質を高めていく設計です。 ❓ タスク作成で特に注意すべき落とし穴は？ 💡 3点が重要です。 ・実際のエージェントを動かさないと環境の欠陥が見えない（ペーパーテストでは不十分） ・モデルティア間（例: gpt-5.6-Luna vs Sol）で難易度を均等に校正する必要がある ・自由記述にはLLMベースの生成、表形式データにはSQLスクリプトという使い分けを徹底する ❓ ベンチマークは作ったら完成ですか？ 💡 いいえ。本番データを使った継続的改善が核心です。コスト分析・プロンプト簡略化の検証・ツール設定テストに本番トレースを活用し、ベンチマーク自体の品質を運用しながら高め続けます。 評価環境の構築を「一度やれば終わり」でなく継続的なエンジニアリングとして捉える姿勢が実践的です。 #AIエージェント# #LLM評価#