가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』 
가입 January 2018
388 팔로잉 중    2.8K 팬
コーディングエージェント(コードを書いて実行しながら作業を進めるAI)にロボットを任せられるのかを、1,156タスク・47機種のロボットで測る試験「Embodied First Exam」が出た( Berkeleyなどの共同研究だ。 エージェントは動かし方を自分で選ぶ。動作を直接送る、制御プログラムを書く、方策(状況から動作を決める学習済みモデル)を学習する、の3通りだ。 肝は、同じタスクを条件を変えて解かせること。「Privileged」はシミュレータの全状態が読め、何度でもやり直せる。「Standard」は実機に近く、見えるのはカメラなどのセンサーの値だけで、原則リセット(初期状態に戻すこと)もできない。「Realtime」では考えている間も世界が止まらない。 難しい456タスクで8つのエージェントを比べると、最強のGPT-6 Astra(Codex上)でもStandardの成功率は34%。両方の条件がある391タスクでは、Privilegedの77%に対しStandardは30%まで落ちる。 何が差を生むのか。GPT-6 AstraのStandardに機能を足す追加実験では、28%だった成功率が、物体の正確な状態を見せると45%、無制限のリセットを許すと53%、両方で68%になった。正確な情報より、やり直せることが効く。Standardでは特に精密さが要る段階で失敗が増え、8エージェントの集計では組み立て段階の失敗率がPrivilegedの34%から80%に上がる。 モデル以外の要素も大きい。GPT-6 AstraはCodexで34%、Claude Codeでは22%。ハーネス(モデルにツールや文脈管理を提供する実行環境)を替えるだけで最大12ポイント動く。上位3エージェントは解けるテストが一部ずれていて、3つ合わせるとStandardの48%を解く。1体に深く考えさせるだけでなく、違うエージェントを並べる幅の使い方にも余地がありそうだ。 注意点もある。各テストの試行は1回だけで、実力と偶然のぶれを分けられない。失敗段階の判定の大半と難問の選別には、GPT-6 Astraと同系列のモデルを使っている。結果はすべてシミュレーションで、実機は電流イライラ棒1タスクのデモにとどまる。シミュレーションの成績が実機をどこまで予測するかは未検証だ。 センサーだけで一発で決める力には、まだ伸びしろが大きい。一方で、やり直しの仕組みやハーネス、エージェントの組み合わせで埋まる部分もありそうで、小さなチームが工夫できるのはむしろそこかもしれない。
더 보기