TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント
@snorbe_ai
を作っています。
@deskrex
| 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388
Following
2.8K
Followers
Itaru Tomita / 冨田到
@itarutomy
2026.11.12 11:30
コーディングエージェント(コードを書いて実行しながら作業を進めるAI)にロボットを任せられるのかを、1,156タスク・47機種のロボットで測る試験「Embodied First Exam」が出た( Berkeleyなどの共同研究だ。 エージェントは動かし方を自分で選ぶ。動作を直接送る、制御プログラムを書く、方策(状況から動作を決める学習済みモデル)を学習する、の3通りだ。 肝は、同じタスクを条件を変えて解かせること。「Privileged」はシミュレータの全状態が読め、何度でもやり直せる。「Standard」は実機に近く、見えるのはカメラなどのセンサーの値だけで、原則リセット(初期状態に戻すこと)もできない。「Realtime」では考えている間も世界が止まらない。 難しい456タスクで8つのエージェントを比べると、最強のGPT-6 Astra(Codex上)でもStandardの成功率は34%。両方の条件がある391タスクでは、Privilegedの77%に対しStandardは30%まで落ちる。 何が差を生むのか。GPT-6 AstraのStandardに機能を足す追加実験では、28%だった成功率が、物体の正確な状態を見せると45%、無制限のリセットを許すと53%、両方で68%になった。正確な情報より、やり直せることが効く。Standardでは特に精密さが要る段階で失敗が増え、8エージェントの集計では組み立て段階の失敗率がPrivilegedの34%から80%に上がる。 モデル以外の要素も大きい。GPT-6 AstraはCodexで34%、Claude Codeでは22%。ハーネス(モデルにツールや文脈管理を提供する実行環境)を替えるだけで最大12ポイント動く。上位3エージェントは解けるテストが一部ずれていて、3つ合わせるとStandardの48%を解く。1体に深く考えさせるだけでなく、違うエージェントを並べる幅の使い方にも余地がありそうだ。 注意点もある。各テストの試行は1回だけで、実力と偶然のぶれを分けられない。失敗段階の判定の大半と難問の選別には、GPT-6 Astraと同系列のモデルを使っている。結果はすべてシミュレーションで、実機は電流イライラ棒1タスクのデモにとどまる。シミュレーションの成績が実機をどこまで予測するかは未検証だ。 センサーだけで一発で決める力には、まだ伸びしろが大きい。一方で、やり直しの仕組みやハーネス、エージェントの組み合わせで埋まる部分もありそうで、小さなチームが工夫できるのはむしろそこかもしれない。
Show more
0
0
0
1
0
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
957.3K Followers
Serenity
@aleabitoreddit
1.1M Followers
First Squawk
@FirstSquawk
578.9K Followers
LiveSquawk
@LiveSquawk
504.5K Followers
CNBC
@CNBC
6.3M Followers
Seeking Alpha
@SeekingAlpha
347.3K Followers
Binance Wallet
@BinanceWallet
2.8M Followers
The Wall Street Journal
@WSJ
22.3M Followers
amit
@amitisinvesting
672.4K Followers
TheStreet
@TheStreet
1.2M Followers
New York Post
@nypost
4.3M Followers
The Kobeissi Letter
@KobeissiLetter
2.7M Followers
Reuters
@Reuters
26.4M Followers
Elon Musk
@elonmusk
241M Followers