가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』 
가입 January 2018
392 팔로잉 중    2.6K
ウィスコンシン大学マディソン校とUCサンタバーバラ校の研究チームが、複数のAIエージェント同士が協力する場面で「探索」がうまく機能していないことを示す論文を発表した(https://arxiv[.]org/pdf/2607.11250)。 まず単純な設定で確かめている。1つのAIエージェントに、成功確率60%のピアAと50%のピアBのどちらかへ作業を繰り返し委任させる「2本腕バンディット」問題(手持ちの選択肢を試行錯誤しながら良い方に絞り込んでいく、探索と活用のトレードオフを扱う古典的な意思決定問題)を50ラウンド行わせた。理想的には最初は両方を試しつつ、徐々に成功率の高いピアAへ寄せていくのが正解になる。ところがQwen2.5-7B、GPT-4、GPT-5のいずれも、最初の数ラウンドでどちらか一方に固定してしまい、そのまま50ラウンド動かなくなる「早すぎる決め打ち」を起こした。比較用に置いた古典的な探索アルゴリズムUCB1(不確実性の高い選択肢を楽観的に評価し、試行回数を自然に分散させる手法)はきちんと両方を試しながら徐々に絞り込んでおり、対照的だった。 著者らはこれを「マルチエージェント探索問題」として定式化し、部分観測確率ゲーム(POSG、各プレイヤーが相手の能力や状態を完全には観測できないまま、同時に意思決定を繰り返すゲーム理論の枠組み)としてモデル化した。興味深いのが、エージェントに「探索と活用のバランスを取れ」とプロンプトで明示的に指示するだけの手法(In-Context Exploration)が、複数の文書をまたいで証拠を集めないと解けない質問応答ベンチマークHotpotQAを使い10体のエージェントに文脈を分担させた設定では、ランダムにピアを選ぶより成績が悪くなったことだ。プロンプトで頼むだけでは探索は直らず、構造的な仕組みが要ることを示している。モデルの種類が異なる4体(GPT-5、Qwen2.5-7B、Llama3.1-8B、Mistral-7B)を混ぜ、大学院レベルの専門知識を問う難しい選択式ベンチマークGPQAで解かせた実験でも同じ傾向が出た。最も強いはずのGPT-5でさえ、297回の相互作用のうち294回をQwen2.5-7Bに固定し、他のエージェントをほとんど試さなかった。 そこで著者らが提案するのがMACE(Multi-Agent Contextual Exploration)。各エージェントの選択を文脈付きバンディット問題として扱い、ピアの回答が自分と違うか(応答の多様性)、他のピアと比べて特徴的か(ピア間の異質性)、過去の成績はどうか、といった関係性を特徴量にしてLinUCB(不確実性ボーナス付きで期待報酬を推定する手法)でピアを選ばせる。HotpotQAで学習したパラメータを、追加学習なしで別の質問応答ベンチマーク2WikiMultihopQAに転用しても全ベースラインを上回った。理論面では、MACEの累積後悔(最適な選択との差の総和)がO(√(T log T))に収まる一方、探索しない貪欲な方策はΩ(δT)の後悔を負うと示されており、δはエージェント間の能力差の大きさを表す。エージェントが多様であるほど、探索の価値は際限なく大きくなる計算だ。 個々のモデルの賢さを積み上げても、「誰に何を聞くか」を決める仕組みが伴わなければ組織としての精度は頭打ちになる、という指摘として読める。
더 보기