TwiScan
热门
社区
账号集合
登录
注册
English
日本語
한국의
简体中文
繁体中文
注册并分享邀请链接,可获得视频播放与邀请奖励。
立即注册
Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント
@snorbe_ai
を作っています。
@deskrex
| 著書 かんき出版『知的生産でAIを使いこなす全技法』
加入 January 2018
392
正在关注
2.6K
粉丝
Itaru Tomita / 冨田到
@itarutomy
2026.08.10 15:04
マルチモーダルAI(画像と文章を一緒に理解して答えるAI)が「自分で描いた図を本当に見て考えているか」を検証した論文が出た(https://arxiv[.]org/abs/2607.26769)。 GPT-5.5やGemini 3.5 Flashなどの最新モデルは、問題を解く途中で補助線を引いたり対象に印をつけたりと、人間が紙に書き込むような視覚的な操作を自分で生成しながら考えるようになってきた。ただ、その絵が答えを導く助けになっているのか、単なる飾りなのかは、これまできちんと切り分けられていなかった。 研究チームはSee2Thinkという評価の枠組みを作った。幾何・3D空間認識・日常シーンの読み取りなど12カテゴリ、合計1,200問を用意し、AIが「考える→図を描く→描いた結果を見てさらに考える」流れを記録する。実験の一つでは、AIに見せる描画結果をわざと間違ったものにすり替え、AIが本当にその絵に依存しているかも確かめた。 結果はややちぐはぐだった。AIが「どこに何を描くべきか」を選ぶ判断の妥当性(論文ではAction Relevanceと呼ぶ指標)は全体平均で96.4〜98.8%とほぼ満点なのに、実際に描いた絵が指示通り正確に再現されているか(Render Faithfulness)は58.6〜65.6%にとどまる。狙いは正しくても手元が狂う工程こそが最大のボトルネックで、どの条件が一番強いかもモデルごとにバラバラで万能な戦略はなかった。 「指定された麻雀牌を1枚拾う」のようなロボット操作の指示になると、モデルや条件を問わず正答率は0〜4%まで落ち込む。さらに、わざと間違った絵を見せる実験では特に3Dの空間問題で正答率が最大15.5ポイントも落ち込んだ。正確に描けても得点はさほど伸びないのに、間違った絵には引きずられて答えを変えてしまう。「絵を使って考えるAI」も、まだ自分の描いた絵を十分に使いこなせていない、という結果だ。
显示更多
0
0
1
25
3
转发到社区
热门用户
狱
@Wx1n11124
0 粉丝
New York Post
@nypost
4.2M 粉丝
オリコンニュース
@oricon
1.9M 粉丝
TVer新着
@TVer_info
101K 粉丝
ツイッター速報〜BreakingNews
@tweetsoku1
256.9K 粉丝
吴说区块链
@wublockchain12
181.6K 粉丝
玉米棒棒
@fljjx61
509.1K 粉丝
Reuters
@Reuters
26.4M 粉丝
空空道人
@Kongkongda5882
34.4K 粉丝
First Squawk
@FirstSquawk
569.6K 粉丝
Bloomberg
@business
10.5M 粉丝
看中國
@kanzhongguo
348.9K 粉丝
中國新聞社
@CNS1952
547.7K 粉丝
华尔街观察 Xtrader
@cnfinancewatch
130.6K 粉丝
billboard
@billboard
16.8M 粉丝