cv usk(@cv_usk):🕵️ エージェントの失敗原因は、「失敗」ではなく「成功の流れ」から見つけられるかもしれません。タイトル: Tracing Agentic Failure from the Flow of Success URL: https://t.co/zvuI3wP7m3 🧩 概要成功した軌跡だけで学習し、失敗した軌跡のどのステップが原因かをラベルなしで特定する手法「Oat」の提案です。NeurIPS 2026 採択。 🎯 解決する課題従来の失敗帰属は、高価なLLMプロンプティングか、ステップ単位のラベル付き失敗データが必要でした。どちらもコストが重い点が課題です。 🔧 方法論・各ステップをLLMの隠れ状態で表現・Neural CDEで成功軌跡のダイナミクスを学習・ゲート付き制御パスで分布シフトに頑健に・推論時は、学習した流れから外れたステップを異常スコアで検出（Top-kまたは共形予測）学習に使う成功軌跡は約100件だけです。 📊 実験結果・ドメイン内F1: Oat 0.435に対し、GPT-4oは0.212、GPT-5は0.181 ・分布外でもF1が約+7ポイント・1軌跡あたり約7ms（トークン0）。GPT-5は約39.6秒・スコア計算のみで200〜5000倍高速 #AIエージェント #LLM

2026.10.25 02:47

🕵️ エージェントの失敗原因は、「失敗」ではなく「成功の流れ」から見つけられるかもしれません。タイトル: Tracing Agentic Failure from the Flow of Success URL: 🧩 概要成功した軌跡だけで学習し、失敗した軌跡のどのステップが原因かをラベルなしで特定する手法「Oat」の提案です。NeurIPS 2026 採択。 🎯 解決する課題従来の失敗帰属は、高価なLLMプロンプティングか、ステップ単位のラベル付き失敗データが必要でした。どちらもコストが重い点が課題です。 🔧 方法論・各ステップをLLMの隠れ状態で表現・Neural CDEで成功軌跡のダイナミクスを学習・ゲート付き制御パスで分布シフトに頑健に・推論時は、学習した流れから外れたステップを異常スコアで検出（Top-kまたは共形予測）学習に使う成功軌跡は約100件だけです。 📊 実験結果・ドメイン内F1: Oat 0.435に対し、GPT-4oは0.212、GPT-5は0.181 ・分布外でもF1が約+7ポイント・1軌跡あたり約7ms（トークン0）。GPT-5は約39.6秒・スコア計算のみで200〜5000倍高速 #AIエージェント# #LLM#

显示更多