登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 エージェント最適化
エージェント最適化 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
エージェント最適化 を含む検索結果
ハーネスを自動最適化する手法は増えていますが、どのシナリオで学習するかは最初に固定されたまま。この「カリキュラム」自体を動かす発想が登場です。 タイトル: ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization URL: 📝 概要 エージェントハーネスの自動最適化において、学習に使うシナリオの選択自体を「自動カリキュラム学習問題」として定式化し、最適化の進行とともに動的に適応させる手法ActiveSaddlerを提案しています。 ❗ 解決する課題 固定されたシナリオ順では、未解決の弱点を早々に見捨てたり、すでに修復済みの課題へロールアウトを浪費したりしてしまいます。既知の弱点を再訪する価値と新たな失敗を探索する価値のバランスも最適化中に変化しますが、静的なスケジュールでは対応できません。 🛠️ 方法論・提案手法 カリキュラム選択を「動的にインスタンス化されるアームを持つ非定常バンディット」としてモデル化。個々のシナリオではなく「失敗パターン」をアームとし、LLMベースの優先順位付け器が深刻度・修正可能性・波及範囲・副作用リスクの4要因から学習ポテンシャルを毎イテレーション再計算。既知の弱点を活用するか未見のシナリオを探索するかを、残存する実行可能な弱点の有無に応じて適応的に判断します。 📊 実験結果 GAIA2でPass@1が59.8%(固定ランダム順比+4.4ポイント)、Terminal-Bench 2.0で80.0%(+7.5ポイント)を達成。コスト効率も優れ、GAIA2では298ドルで他手法が1,360ドルかけて届く精度に到達しました。 #エージェント最適化# #カリキュラム学習#
もっと見る
# OpenAI Agent SDKの便利で実践的な使い方 🌍 handoff時に引き継ぐ履歴が長すぎたり、不要なツール呼び出し履歴が混ざっていませんか? Input filtersと推奨プロンプトで、引き継ぎ先エージェントに最適な入力を渡しましょう。 📌 タイトル:Handoffs – Input filters / Recommended prompts 🔗 URL: 🧩 概要 Handoff時のinput filterは、引き継ぎ先エージェントに渡す会話履歴を加工する仕組みです。`remove_all_tools`で前のエージェントのツール呼び出し履歴を除去したり、`nest_handoff_history`(beta)で複数handoffの履歴を要約メッセージに圧縮できます。また、`RECOMMENDED_PROMPT_PREFIX`を使うとLLMがhandoffの仕組みを正しく理解できます。 🛠 使い方 `Agent(name="faq", instructions="よくある質問に回答してください。シンプルに回答します。")` と `Agent(name="specialist", instructions="専門的な技術質問に回答してください。")` を定義します。トリアージエージェントは `Agent(name="triage", instructions=RECOMMENDED_PROMPT_PREFIX + "\n顧客の問い合わせを分類し、適切な担当に引き継いでください。", handoffs=[...])` として、FAQへのhandoffには `Handoff(agent=faq_agent, input_filter=handoff_filters.remove_all_tools, handoff_description="一般的なFAQへの回答")` でツール履歴を除去し、専門エージェントへのhandoffには `Handoff(agent=specialist_agent, input_filter=handoff_filters.nest_handoff_history, handoff_description="専門的な技術質問")` で履歴を圧縮します。`RECOMMENDED_PROMPT_PREFIX` は `agents.extensions.handoff_prompt` からインポートします。 🏗 実践的な使い方 **remove_all_toolsでクリーンな引き継ぎ** トリアージエージェントがDB検索やAPI呼び出しなど複数のツールを使った後にFAQエージェントに引き継ぐ場合、ツール呼び出しの履歴はFAQエージェントにとってノイズです。`remove_all_tools`を適用すると、ツール関連のメッセージがすべて除去され、引き継ぎ先エージェントがクリーンな会話履歴だけを受け取れます。トークン消費の削減にもなります。 **nest_handoff_history(beta)で履歴圧縮** A→B→Cと複数回handoffが発生する場合、履歴が膨大になります。`nest_handoff_history`は過去のhandoff履歴を1つの要約メッセージに圧縮し、最新のhandoff先エージェントに渡します。コンテキストウィンドウの効率的な利用に繋がります。 **RECOMMENDED_PROMPT_PREFIXの活用** `prompt_with_handoff_instructions()`または`RECOMMENDED_PROMPT_PREFIX`をエージェントの`instructions`に含めると、LLMがhandoffの仕組み(利用可能なhandoff先、いつhandoffすべきか)を正しく理解します。これがないと、handoffツールを呼ばずに自分で回答しようとする場合があります。 **カスタムフィルタの作成** 組み込みフィルタで足りない場合は、カスタムフィルタを作成できます。例えば「直近5メッセージだけ残す」「機密情報を含むメッセージを除去する」「特定のツール呼び出しだけ残す」など、ユースケースに合わせた加工が可能です。 💡 ユースケース 🧹 トリアージ後のFAQエージェントにツール履歴を渡さずクリーンな入力を提供 📦 多段handoffの履歴を圧縮してトークン消費を最適化 🤖 RECOMMENDED_PROMPT_PREFIXでhandoff判断の精度を向上 🔒 機密情報を含むメッセージを引き継ぎ前にフィルタリング ⚠️ 注意点 - `remove_all_tools`はすべてのツール関連メッセージを除去します。引き継ぎ先エージェントがツールの結果を参照する必要がある場合は使用しないでください。 - `nest_handoff_history`はbeta機能です。圧縮の挙動が将来変更される可能性があります。 - `RECOMMENDED_PROMPT_PREFIX`を使う場合、既存の`instructions`の先頭に追加してください。末尾に追加すると効果が薄れる場合があります。 - カスタムフィルタでメッセージの順序を変えたり、roleを変更したりすると、モデルの挙動が予測不能になります。メッセージの削除と追加に留めてください。 ✨ Input filtersでhandoff時の入力を最適化し、各エージェントが最高のパフォーマンスを発揮できるようにしましょう! #OpenAIAgentSDK# #AIAgent#
もっと見る
簡単なタスクに最上位モデルを使い続けて、コストが膨らんでいませんか。LangChainが自社のコーディングエージェントで実践したコスト削減策を公開しました。 タイトル: How to Build a Model Router in the Harness URL: コーディングエージェント「Open SWE」の月額費用急増に直面したLangChainが、ハーネス内にモデルルーターを組み込んでコストと品質を両立させた事例です。注目ポイントを3つ紹介します。 📊 タスク分析から始める設計 過去のトレースを分析すると、コード変更の22%が新機能、17%がバグ修正で、トークン消費量にも大きな幅がありました。この複雑さの多様性こそが、選択的なルーティングを有効にする土台になっています。 🎯 パレートフロンティア上の3モデル選定 コストと知能のバランスで、高速(GLM-5.3-Flash)・バランス(GPT-5.6 Sol)・高性能(GPT-6 Astra)の3ティアを選定。スレッド開始時に1回だけモデルを判定し、そのまま使い続けます。 💰 品質を落とさず64%のコスト削減 973スレッドのA/Bテストで、マージ率はルーター使用時29.2%、常に最上位モデル使用時27.3%とほぼ同等(p=0.49)でしたが、コスト中央値は2.61ドルから0.94ドルへ下がりました。 常に最安モデルだけを使うテストはわずか1日で中止されており、「ちょうど良い落としどころ」を探す価値が際立ちます。 #AIエージェント# #コスト最適化#
もっと見る
# ADK 2.0の便利だけど知られていない機能 🌍 エージェントのプロンプトを手作業で調整する代わりに、自動で最適化してくれたら効率的だと思いませんか? ADK 2.0の最適化機能は、サンプラーとエージェントオプティマイザーを組み合わせて、エージェントのインストラクションを自動的に改善する仕組みです。 📌 タイトル:最適化 (Optimization) 🔗 URL: 🧩 概要 最適化機能は、Samplers(候補の評価)とAgent Optimizers(インストラクションの改善)の2つのコンポーネントで構成されます。`LocalEvalSampler` は候補エージェントを評価データセットに対して実行しスコアを算出します。オプティマイザーとしては、GEPAアルゴリズムを用いてルートエージェントのプロンプトを最適化する `GEPARootAgentPromptOptimizer` と、「実行→評価→批評→書き直し」の反復サイクルで改善する `SimplePromptOptimizer` が用意されています。最適化の結果は `OptimizerResult` に格納され、スコア付きの最適化済みエージェントが得られます。 🛠 使い方 CLIから `adk optimize` コマンドで最適化を実行できます。 ```python import asyncio from google.adk.evaluation.eval_config import EvalConfig from google.adk.evaluation.local_eval_sets_manager import LocalEvalSetsManager from google.adk.optimization.local_eval_sampler import LocalEvalSampler from google.adk.optimization.local_eval_sampler import LocalEvalSamplerConfig from google.adk.optimization.simple_prompt_optimizer import SimplePromptOptimizer from google.adk.optimization.simple_prompt_optimizer import ( SimplePromptOptimizerConfig, ) # サンプラーの設定 sampler_config = LocalEvalSamplerConfig( eval_config=EvalConfig(criteria={"response_match_score": 0.75}), app_name="my_agent", train_eval_set="train_eval_set", ) sampler = LocalEvalSampler(sampler_config, LocalEvalSetsManager(agents_dir=".")) # オプティマイザーの実行 optimizer = SimplePromptOptimizer(config=SimplePromptOptimizerConfig()) result = sampler)) # 最適化されたエージェントとスコアを取得 best = result.optimized_agents[0] best_agent = best.optimized_agent print(f"Score: {best.overall_score}") ``` 🏗 本番システムへの組み込み方 ・定期的に最適化を実行し、評価データセットの更新に合わせてプロンプトを継続的に改善する ・`SimplePromptOptimizer` で素早くイテレーションし、`GEPARootAgentPromptOptimizer` で本格的な探索を行う ・最適化前後のスコアを比較し、改善が確認できた場合のみプロンプトを更新する ・評価データセットを実際のユーザーインタラクションから構築し、実用的な最適化を実現する 💡 ユースケース 📈 エージェントのプロンプトを評価スコアに基づいて自動改善する 🔬 複数のプロンプト候補を体系的に比較して最良のものを選定する 🔄 モデル変更やAPI仕様変更後に、プロンプトを新環境に最適化し直す 🎯 特定のタスク(コード生成、要約、分類など)に特化したプロンプトチューニングを行う ⚠️ 注意点 `GEPARootAgentPromptOptimizer` はルートエージェントのプロンプトのみを最適化対象とします。サブエージェントのプロンプト最適化には対応していないため、必要に応じて個別に最適化を行ってください。また、最適化には複数回の評価実行が必要となるため、LLMのAPI呼び出しコストに注意が必要です。 ✨ 最適化機能を活用すれば、試行錯誤に頼っていたプロンプト改善をデータ駆動で自動化できます。定期的な最適化サイクルで、エージェントの品質を継続的に向上させましょう。 #ADK# #AIAgent#
もっと見る
米マイクロソフト、AI推論向け次世代半導体発表「マイア300」27年導入、日本も配備 → 処理能力は前世代の最大7倍 長文脈や自律型AIエージェント向けに最適化されています。
もっと見る
⚙️ TL;DR: モデルを変えずに「エージェントを動かすソフトウェア」だけを自動で改良して、トークンコストを約半分に削減しました。 タイトル: SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness URL: 📌 ポイント 🔍 約500の実行環境で150方向を探索し3,000回超の実行で効率化手法を発見 🧩 ファイル変更とテスト実行を1リクエストに統合する「Action Fusion」など4メカニズム 📉 EdgeBenchでトークン流量を49.0%、コストを33.2%削減(性能は93.7%維持) 🔄 追加学習なしでOpus 5に適用してもトークン44.7%・コスト33.5%削減を維持 💰 Terminal-Bench 4では解決タスク1件あたりのコストを11.6%削減 ⏱ Codex比で時間あたり8.75〜13.50ドルのコスト削減効果を推定 モデルではなくハーネス自体を自動探索で鍛えるという発想が、地味だけど実運用に直結する効率化だと思います。 #AIエージェント# #LLMコスト最適化#
もっと見る
# OpenAI Agent SDKの便利だけど知られていない機能 🌍 ユーザーの権限やプランに応じて、使えるツールを動的に切り替えたいと思いませんか? `is_enabled` パラメータを使えば、ツールの有効/無効を条件付きで制御し、コンテキストに応じたツールセットを提供できます。 📌 タイトル:ツールの条件付き有効化 🔗 URL: 🧩 概要 `as_tool()` の `is_enabled` パラメータに `True`/`False` のブール値、またはコンテキストとエージェントを受け取るコールバック関数 `(ctx, agent) -> bool` を渡すことで、ツールの有効/無効を動的に制御できます。無効化されたツールはモデルのツールリストに表示されず、トークン消費も発生しません。フィーチャーフラグや権限ベースのアクセス制御に最適です。 🛠 使い方 ```python from agents import Agent, function_tool, RunContextWrapper @function_tool def admin_tool(command: str) -> str: return execute_admin(command) @function_tool def basic_tool(query: str) -> str: return basic_search(query) # コールバックで動的判定 def is_admin(ctx: RunContextWrapper, agent: Agent) -> bool: return ctx.context.user_role == "admin" agent = Agent( name="assistant", tools=[ admin_tool.as_tool(is_enabled=is_admin), basic_tool, ], ) ``` 🏗 本番システムへの組み込み方 ・SaaSのプランに応じてプレミアム機能のツールを出し分ける ・ユーザーのロール(admin/member/viewer)でツールのアクセス権を制御する ・フィーチャーフラグと連携し、新機能のA/Bテストやカナリアリリースに活用する ・コンテキスト情報(リージョン、時間帯など)に基づいてツールセットを最適化する 💡 ユースケース 🔐 管理者のみが使える運用ツールの制御 💎 有料プランユーザー向け高機能ツールの出し分け 🚀 新機能のフィーチャーフラグ連動 🌏 リージョンごとに利用可能なサービスの切り替え ⚠️ 注意点 `is_enabled` が `False` の場合、ツールはモデルに提示されないため、モデルはそのツールの存在自体を知りません。セキュリティ上の制御としては有効ですが、ユーザーに「この機能は利用できません」と案内したい場合は、別途メッセージングの仕組みが必要です。 ✨ 条件付きツール有効化で、ユーザーごとに最適なエージェント体験を提供しましょう。 #OpenAIAgentSDK# #AIAgent#
もっと見る
💰 同じモデルなのに、包むソフトウェア(ハーネス)を変えるだけでコストが5倍変わる。でも成功率はほぼ同じ。そんな結果が出ました。 タイトル: HarnessTax: How Much Does the Harness Matter for Coding Agents? URL: UC BerkeleyとArenaが、Claude Code・Codex CLI・Piという3つのコーディングエージェント用ハーネスを、7モデル・21のモデル-ハーネスペアで比較しました。注目ポイントを3つ紹介します。 📊 成功率への影響は統計的にほぼゼロ モデル内でのハーネス比較42件のうち、統計的に有意だったのはわずか1件(偶然の水準は約2件)。多重比較補正後は有意な差は1件も残りませんでした。 💸 コストは同じ成功率で最大5倍差 GPT-5.6 Lunaでは、Claude Codeが1タスク0.15ドル・成功率55.6%、Piが0.03ドル・成功率53.3%と、成功率はほぼ同じでもコストは5倍違いました。 🪶 最小構成のオープンソースハーネスPiが十分強い 12件のモデル比較のうち9件で、ベンダー製ではないハーネスが最高の成功率を記録し、シンプルなハーネスでも十分戦えることが示されました。 派手な機能より、まずコストと信頼性を見るべきという実用的な結論だと思います。 #コーディングエージェント# #LLMコスト最適化#
もっと見る
【燈】熟練者の「判断基準」を引き出す最適化AIエージェント「Spica(スピカ)」提供開始
AIエージェント経由の買い物にしたら、百円均一やスーパーマーケットで要らないもの買わないし、通信費、保険なども最低限に誰でも最適化出来そう 簡単にコスパの良い生き方は手に入りそうですね そこからは各自の生き方になるんでしょうけど まずは引き算が捗る
もっと見る