AIが演じる依頼者が満足して終えた金融エージェントの仕事を検証し直したら、すべてどこかで間違っていた、という研究（ ユーザーは最近下がった銘柄を買う「short-term reversal」を頼んだのに、エージェントは逆の賭けである「momentum」で組んだ例がある。報告した最大ドローダウン（資産のピークからの最大下落率）は−18.96%だが、提出した資産推移で測ると−21.91%で、指定の20%の損切りを超えていた。それでもユーザーは満足した。 エラーで止まらず見た目だけ整う失敗を、論文は「silent failure」と呼ぶ。課題、データ、時間軸のどれかを固定して渡す既存のベンチマークでは、そもそも起きない失敗だ。 FinCosmosでは、LLMが演じる模擬ユーザーが銘柄選択や売買タイミングなど6要素の戦略を胸に秘め、聞かれたことにしか答えない。組み合わせは約380万通り。データは渡さず、エージェントが自分で集め、指定日より後の情報を使わずにバックテスト（過去データでの試算）をする。採点は45項目で、うち15項目は1つでも落ちたら不合格。報告された収益率は売買記録からプログラムが計算し直す。 Claude Code、Codex、Gemini CLI、Kimi Codeとツールなしのモデルを10課題で3回ずつ、計150セッション試すと、合格はゼロ。ユーザーが満足した35セッション（23%）も全てプログラムのチェックで落ちた。LLMが判定するチェックだけで決めていたら、合格率は11%に見えていた。 4エージェントの120セッションのうち、ユーザーの戦略どおりが25、指定日も守れたのが15、未来の情報も使わなかったのが14、報告した収益を売買記録から再現できたのは0。伝えられなかった項目を質問で引き出せたのは54〜64%だった。 一方、記憶を持ち越せるClaude Codeに戦略の中身を明かさない採点結果を返して練習させると、10課題すべてで合格に届いた（課題あたり中央値34.5セッション）。 注意点もある。課題は10個で、空売りしない米国株戦略に限られる。模擬ユーザー、LLM審査役、評価対象の1つが同じモデル系列。70%のターンが300秒の制限に当たっており、時間を延ばせば結果は変わりうる。 個人や小さなチームがAIに分析を任せるときも、きれいなレポートより売買記録と元データを出させるだけで、防げる失敗は多いと思う。