TwiScan
熱門
社區
帳號集合
登入
註冊
English
日本語
한국의
简体中文
繁体中文
註冊並分享邀請連結,可獲得影片播放與邀請獎勵。
立即註冊
Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント
@snorbe_ai
を作っています。
@deskrex
| 著書 かんき出版『知的生産でAIを使いこなす全技法』
加入 January 2018
392
正在關注
2.6K
粉絲
Itaru Tomita / 冨田到
@itarutomy
2026.08.11 08:08
VLM(画像を見て言葉で答える大規模言語モデル)に専門ツールを使わせて学ばせたあと、使い方ごと本体に染み込ませてツールを手放せるようにする学習手法SpatialCLIが発表された(https://arxiv[.]org/html/2607.27703v1)。 VLMは「机の上で一番遠いクマのぬいぐるみはどれか」のような課題全体の理解は得意だが、実際の距離を正確に測るのは苦手。SAM 3(輪郭を切り出す専門モデル)やDepth Anything 3(奥行きを推定する専門モデル)は精密だが、どのクマを見ればいいかという文脈判断ができない。しかもこうした専門ツールは呼び出すたびに時間がかかり、学習時点の計測では1回あたり平均2.916秒だったという。 SpatialCLIの名前は、位置特定・輪郭抽出・奥行き・姿勢推定という4つの専門ツールをVLMに呼び出させるCall、お手本の成功例と強化学習(GRPO)でツールの選び方を磨くLearn、ツールを使って解けた過程を文章に変換しツールなしでも同じ結論に辿り着けるよう学習し直すInternalizeという3段階に由来する。ツールを使う学習と使わない学習を同時に行うため、ツールの使い方を忘れずに専門能力だけをモデル本体に取り込める。 新設した516問のベンチマークSpatialCLI-Benchは、フロンティアモデルのGPT-5.6 Solでも正答率48.8%にとどまる難問揃い。Qwen3-VL-8B(80億パラメータ)にSpatialCLIを適用すると、ツールなしで35.3%から72.7%、ツールありでは91.3%まで伸びた。視点を変えながら空間関係を捉える力を測る別のベンチマークMindCubeでも29.3%から84.6%(ツールあり)に達し、同じ条件のGPT-5.6 Sol(72.1%)を上回っている。 ツールを使わせて学ばせてから、学んだことを染み込ませて手放させる。この順番が、身体を持つAIが現実世界の空間を扱えるようになる道筋の一つになりそうだ。
顯示更多
0
0
0
6
1
轉發到社區
熱門用戶
New York Post
@nypost
4.1M 粉絲
Reuters
@Reuters
26.3M 粉絲
一劍浣春秋
@chee828
230.5K 粉絲
Hello! Project Link
@UpFrontLink
15.5K 粉絲
是你的KK
@KKLOVQ
212.1K 粉絲
First Squawk
@FirstSquawk
556.2K 粉絲
Pop Base
@PopBase
6.5M 粉絲
MLB
@MLB
13.6M 粉絲
JO KWON
@2AMkwon
976.9K 粉絲
Bitget中文
@Bitget_zh
109.7K 粉絲
モデルプレス
@modelpress
1.8M 粉絲
AB Kuai.Dong
@_FORAB
139.5K 粉絲
Binance
@binance
16.1M 粉絲
追风Lab .eth🌿
@ZF_lab
107K 粉絲
Forbes
@Forbes
20.3M 粉絲