🧠 「もう画面に映っていない情報」を覚えて行動できますか? 最新のマルチモーダルLLMでも、神経衰弱や3D迷路でボロボロに崩れることが分かりました。
📰 タイトル: Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games
🔗 URL:
💡 概要
MLLMが「過去の見えない観測」を内部に保持して行動できるかを測る新ベンチマーク「RNG-Bench」の提案です。神経衰弱(Matching Pairs)と一人称視点の3D迷路という2つのゲームで、文脈内の信念状態トラッキングだけを切り出して評価します。
🔍 解決する課題
既存ベンチは状態を全部見せたり、エピソード後に「思い出して答える」だけを測りがちでした。本研究は記憶ミスがその後の観測を変えてしまう「思い出して行動する」閉ループ設定に踏み込み、より現実のエージェントに近い難しさを測ります。
🛠 方法論と提案手法
・ゲームをPOMDP(部分観測マルコフ決定過程)として定式化し、履歴から信念状態を維持する力を要求
・グリッドサイズ、視覚パターン、テキスト/画像モダリティで難易度を細かく制御
・2モデルが同一盤面で戦うDuel、真の隠れ状態を注入するOracleを用意
・通常時とOracle時を比べる「Memory Gap」指標で、忘却と判断ミスを切り分け
📊 ユースケース / 実験結果
10×10神経衰弱でGPT-5.4が62.3%、Gemini-3.1-Proが50.0%、Qwen3.5-397Bが25.3%。13×13迷路ではGemini-3.1-ProがSR50%で首位。Qwen3.5-397Bは4×4で90.6%→12×12で0.7%へ崩壊。行動履歴のテキストを消すとGPT-5.4は約75%性能低下し、履歴の長さより視覚認識が壁になると判明しました。
#
マルチモーダルLLM# #
AIエージェント#