動画を手掛かりに、実際のWebを調べて答えを見つけるOpenDS-Worldというベンチマークが面白い（ 200問それぞれで、根拠がどこにあるかから探す。検索結果を読むだけでなく、動画の該当箇所を見つけ、仮想ツアーを操作し、PDFや構造化データを調べる、といった作業をつなぐ。収集された根拠には、文字・画像・音声・動画と42種類の形式が含まれる。 12モデルに同じツール環境を与え、各問の検索は最大1時間・100回のツール呼び出し。最高のGPT-6 Astraでも正解は78問、39.0%だった。Claude Opus 5.5は38.0%、Gemini 3.8 Flashは36.5%。この実行環境での結果なので、各社の調査サービス全体の順位とは分けて読みたい。 人間も難しく、50人による計1,000回の独立試行で正解率は21.1%。ただし、人間はLLMの利用禁止で、各問に共通の時間制限もない。AIと条件をそろえた能力比較ではない。各問を5人が解いたうち、少なくとも1人が正解した問題は57.5%だった。 気になったのは、GPT-6 Astraが予算切れなどによらず自分で検索を終えた割合は69.0%あるのに、正解率は39.0%という差。「調べ終えた」と「根拠をつないで正解できた」は別なんですよね。 さらに同モデルでは、失敗したツール呼び出しは全呼び出しの6.34%でも、ツール実行時間の42.57%を占める。長く検索させるだけでなく、行き詰まった手順をどう切り替えるかが効いてきそう。 調査エージェントを作るなら、検索回数や実行時間と一緒に、根拠の取得、照合、失敗からの復帰、終了判断まで記録して評価したいと思える研究だった。