登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 VLMエージェント
VLMエージェント コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
VLMエージェント を含む検索結果
数千万点規模の都市3Dシーンで「この建物のあの交差点の近くの標識」を見つける。候補を全部ランキングするのではなく、エージェントに歩き回って探させるという発想が登場しました。 タイトル: Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes URL: 🏙️ 解決する課題 都市規模の3Dシーンは1シーンあたり数十万〜数千万点に及び、既存の候補ランキング手法は事前計算されたインスタンス候補に依存するためスケールしません。本研究は、都市環境での位置特定は本質的に逐次的で探索的だと捉え直します。 🔧 提案手法 VLMエージェントが「ランドマーク照会」「ズームイン」「斜め視点レンダリング」という3つのツールを駆使し、鳥瞰図の多視点環境を探索しながら最終的なバウンディングボックスを確定します。GRPOで学習し、IoU・距離シェーピング・ステップ数ペナルティを組み合わせた報酬設計で、精度と探索効率を同時に最適化します。 📊 実験結果 CityReferベンチマークでHit@1が最大23.9%(ベースラインの14.2%を上回る)、推論時間は3.2秒でベースラインの32.1秒から約10倍高速化。未知の都市シーンへのゼロショット転移でもHit@1 27.2%を記録しました。 🔍 見えてきた課題 名前付きランドマークが欠落するとHit@1が10.8ポイント低下する一方、座標ノイズの影響はごく小さいこと、さらに同クラスの物体が周囲に多いと識別成功率が64.7%から25.1%まで下がることもわかりました。 #空間認識AI# #VLMエージェント#
もっと見る
【📢応募締切延長|GENIAC-PRIZE 2026】 学生向けAI開発コンテスト「GENIAC-PRIZE 2026」のメンバー応募締切を延長しました! 📅最終応募締切:9月30日(水)昼12:00 本コンテストでは、学生がチームを組み、フィジカルAI領域のLLM開発に挑戦します。 🔹総額約4億円相当の計算リソースをチームごとに提供予定 🔹総額約3,000万円の懸賞金を授与予定 🔹20〜30人×約17チームで大規模開発に挑戦 🔹ロボットの実機開発経験は不要 応募時点でチームを組む必要はなく、応募者確定後にチーム編成を行う予定です。 「興味はあったけれど、応募が間に合わなかった」 「もう少し検討してから応募したい」 という学生の皆さんも、ぜひこの機会にご応募ください! LLM・VLM・エージェント開発など、これまで学んできた知識を活かして、本格的なAI開発に挑戦できる機会です。 📅最終応募締切:9月30日(水)昼12:00 ※応募条件の詳細は公式サイトをご確認ください。 ▼GENIAC-PRIZE 2026 詳細・応募
もっと見る
【📢メンバー応募締切まであと3日|GENIAC-PRIZE 2026】 学生限定のAI開発コンテスト「GENIAC-PRIZE 2026」のメンバー応募締切が、あと3日に迫っています! 本コンテストでは、他の学生とチームを組み、フィジカルAI領域のLLM開発に挑戦します。 🔹総額約4億円相当の計算リソースをチームごとに提供予定 🔹総額約3,000万円の懸賞金を授与予定 🔹20〜30人×約17チームで大規模開発に挑戦 🔹ロボットの実機開発経験は不要 応募時点でチームを組む必要はなく、応募者確定後にチーム編成を行う予定です。 これまで学んできたLLM・VLM・エージェント開発などの知識を活かして、フィジカルAI開発の最前線に挑戦できる機会です。 AI開発に本気で挑戦したい学生の皆さん、ぜひご応募ください! 📅メンバー個人応募締切:8月31日(月)昼12:00 ▼GENIAC-PRIZE 2026 詳細・応募
もっと見る
🏠 「文章で部屋を説明したら、ロボットがそのまま動かせる物理シーンが丸ごと出てくる」——そんなシステムが ICML 2026 Spotlight に登場しました。MITとToyota Research Instituteの研究です。 タイトル: nepfaff/scenesmith(SceneSmith) URL: 🏠 概要 SceneSmithは、自然言語の説明文から、物理シミュレーションにそのまま使える屋内シーンを自動生成するエージェント型システムです。家具・壁掛けの鏡や絵画・天井のシャンデリア・机の上の小物まで、質量や慣性といった物理特性を備えた形で生成され、ロボットの学習や評価に直接使えます。 ❓ 解決する課題 ロボットシミュレーション向けのリアルな屋内シーンは、これまで手作業のモデリングや面倒な配置作業が必要で、大規模な評価・学習のボトルネックでした。SceneSmithはテキストから多様で文脈的に一貫したシーンを自動生成し、この手間を解消します。 💡 方法論と提案手法 シーン生成は5段階の逐次パイプラインで進みます。 ・フロアプラン生成(壁や床のレイアウト) ・大型家具の配置 ・壁掛けオブジェクト(鏡、絵画、棚、時計) ・天井設備(シャンデリア、ペンダントライト、シーリングファン) ・操作可能な小物 各ステージ後にチェックポイントを自動保存し、途中から再開・分岐できます。シーン推論やタスク分解にはVLMエージェント(GPT-5)を使います。 🎯 ユースケースと技術 ・3Dアセットは高品質なSAM3D(推奨)やHunyuan3D-2で生成、HSSDやObjaverseからの取得にも対応 ・AmbientCGのPBRマテリアルをCLIPの意味検索で適用し、ArtVIPやPartNet-Mobilityの関節付き可動オブジェクトも扱える ・出力はDrake形式に加え、MuJoCoやUSD・Isaac Simへエクスポート可能 📊 注目ポイント ・「ボウルから果物を見つけて皿に置く」のようなタスクから、制約付きの複数シーンを自動生成しロボット評価まで支援 ・151語のプロンプトからコミュニティセンターを生成し、卓球台の近くにラケットとボールを置くなど文脈推論まで実現 ・複数GPUへ分散し、bubblewrapでGPUを隔離してレンダリングのOOMを防止 #ロボティクス# #シーン生成#
もっと見る
❤️ 赤いハートの画像を1枚添えるだけで、AIが再帰でコードを書き始めるとしたら、どう思いますか? プロンプトに無関係なコーディング課題と、色付きの図形を1枚。画像なしでは再帰を使わなかったClaude Opus 4.7とGPT-5.4が、赤いハートを見せられると100%再帰で解き始めました。「再帰で書いて」と直接指示した場合に並ぶ強さです。ところが、再帰を連想させそうな分岐矢印はほとんど効きませんでした。 もっと不思議なのは、モデルが自分への影響に気づいていないことです。Geminiの思考トレースでは、実際に影響を受けた場面の71.5%で「その画像は無関係だ」と退け、技術的な理由を後付けで述べていました。画像に触れる指示がなくても、GPT-5.4のトレースは100%が画像に一切言及しませんでした。 モデル同士に視覚で伝え合わせるゲームでは、送信側は螺旋や矢印のような人間にも直感的な図形を選びますが、受信側を実際に動かすのはハートや三角形でした。生成と解釈がずれているのです。さらにシンボルを洗練するほど、人間の正答率は落ちました。 「A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs」 スクリーンショットを読むGUIエージェントでは、意図しない視覚的な影響が監督の死角になりうる、という示唆も含まれています。 #VLM# #AIエージェント#
もっと見る
🦾 専用の行動モデルもセグメンテーションも使わず、凍結した汎用VLM1つだけでロボットを操作できるのでしょうか。 タイトル: MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation URL: 学習済みの行動エキスパートやコーディングエージェント、SAM3のようなグラウンディングツールを一切使わず、汎用VLMを人間の遠隔操作者のように振る舞わせるハーネスの提案です。 注目ポイントは3つあります。 🎮 中間粒度の行動インターフェース 関節角を直接生成させるのではなく、移動・回転・グリッパー開閉をパラメータ付きで提案させます。VLMが行動と大きさを選び、決定論的なコントローラが身体に応じた動作へ変換して、ロボットが実際に何をしたかを記録します。意図した動きが達成された動きとして扱われない設計です。 🧠 1つの凍結VLMに5つの役割 計画・実行・監視・検証・記憶を、同じモデルに異なる文脈と出力権限で割り当てます。監視役はバックグラウンドで動き、誤った物体を掴んだときにSTOPアラートを出して保留中のコマンドを破棄させます。ただし修正動作は選ばず、判断は結果評価に委ねます。 📈 バックボーンが強くなるほど勝手に伸びる ゼロショットのVLA方策が軒並み0.0%のLIBERO-PROで66.7%を達成し、摂動下の53.8%はファインチューン済みOpenVLA-OFTの51.2%を上回りました。実機xArm6でも平均95%。さらにバックボーンをGPT-6 Solに差し替えるだけで83.3%まで上がります。 専用方策を学習させるのではなく、汎用モデルの能力を適切な制御抽象に合わせる問題として捉え直した点が示唆的です。 #ロボティクス# #VLM#
もっと見る
TL;DR 「手伝って」と言われる前に、動画を見ながら先回りして助けるAIは作れるのか。意図が暗黙・変化する状況を、ベンチマーク、モデル、エージェント基盤の3点セットで扱った論文です。 タイトル: StreamVibe: Proactive Video Agents for Evolving User Intent URL: ポイント ・🎯 意図を明示的・暗黙的・動的の3レベルに分類 ・📚 StreamVibe-Bench:評価4,100件、支援ポイント20,546、動画183.4時間 ・🧠 StreamVibe-VL:適応的SFTのあと、軌跡報酬つきGRPOで学習 ・🔇 RLで誤発火が減り、明示的意図のFPRは2.02(ViSpeakは12.75) ・🗂 Harnessが有効な意図と進捗を管理し、動的意図で効果が大きい ・📈 動的意図のPointwise F1はSFTの58.70からRLで66.34 ・⚠️ 長い対話ではまだ苦手で、動的のTrajectory C-F1は8.91 先回りの難しさは「いつ話すか」より「いつ黙るか」にあると実感する結果です。 #VideoAgents# #VLM#
もっと見る
Tencentのロボティクスチームが、ロボットに「言葉で考えて、絵で確かめながら動く」能力を持たせる基盤モデル「RxBrain」を発表した(https://arxiv[.]org/abs/2607.14187)。 例えば「メガネを畳んでケースにしまう」というタスクなら、RxBrainは「つるを畳む」「ケースに入れる」と言葉で手順を計画し、それぞれの手順を終えた後の映像がどう見えるはずかを画像として想像しながらタスクを進めていく。 背景には、ロボット向けAIが抱えていた分業の問題がある。視覚言語モデル(VLM、画像を見て言葉で答えを返すAI)は「次に何をすべきか」の説明は得意だが結果の見た目までは示さず、逆に世界モデル(world model、未来の映像を予測するAI)は先の状態を絵で示せてもなぜそうすべきかという理由づけは苦手だった。RxBrainは6.2Bパラメータの単一モデルの中で、この2つの機能をMixture-of-Transformers(データの種類ごとに専門の処理経路を用意しつつ注意機構だけは共有するアーキテクチャ)で統合している。 学習データは実ロボットの操作映像、ハンドヘルドグリッパーでの人の動作、一人称視点の日常動画などから自動構築した5万時間超・2150万セグメント。新設ベンチマークRxBrain-Benchの「言葉と画像を組み合わせた計画」タスクではスコア0.68を記録し、既存のエージェント型手法(BAGEL-7B-MoTが0.50、Qwen-Agentが0.43)を上回った。一方、単純な状況理解を問うタスクでは総合スコア72.7にとどまり、Qwen3.5-4B(78.1)には及ばない。先を見通した計画は得意でも、細かい状況認識はまだ既存モデルに一歩譲るというバランスが見える。 さらに、大規模な行動データでの事前学習なしに実ロボットへ応用した結果も興味深い。食卓の準備・メガネの折りたたみ収納・ゴミ捨ての3タスクで平均成功率87%を達成し、ロボット操作の代表的な基盤モデルπ0.5(82%)やπ0(68%)を上回った。 「言葉で考え、絵で確かめる」というアプローチで、ロボットの計画立案を人間の思考プロセスに近づけようとしている点が面白い。
もっと見る
VLM(画像を見て言葉で答える大規模言語モデル)に専門ツールを使わせて学ばせたあと、使い方ごと本体に染み込ませてツールを手放せるようにする学習手法SpatialCLIが発表された(https://arxiv[.]org/html/2607.27703v1)。 VLMは「机の上で一番遠いクマのぬいぐるみはどれか」のような課題全体の理解は得意だが、実際の距離を正確に測るのは苦手。SAM 3(輪郭を切り出す専門モデル)やDepth Anything 3(奥行きを推定する専門モデル)は精密だが、どのクマを見ればいいかという文脈判断ができない。しかもこうした専門ツールは呼び出すたびに時間がかかり、学習時点の計測では1回あたり平均2.916秒だったという。 SpatialCLIの名前は、位置特定・輪郭抽出・奥行き・姿勢推定という4つの専門ツールをVLMに呼び出させるCall、お手本の成功例と強化学習(GRPO)でツールの選び方を磨くLearn、ツールを使って解けた過程を文章に変換しツールなしでも同じ結論に辿り着けるよう学習し直すInternalizeという3段階に由来する。ツールを使う学習と使わない学習を同時に行うため、ツールの使い方を忘れずに専門能力だけをモデル本体に取り込める。 新設した516問のベンチマークSpatialCLI-Benchは、フロンティアモデルのGPT-5.6 Solでも正答率48.8%にとどまる難問揃い。Qwen3-VL-8B(80億パラメータ)にSpatialCLIを適用すると、ツールなしで35.3%から72.7%、ツールありでは91.3%まで伸びた。視点を変えながら空間関係を捉える力を測る別のベンチマークMindCubeでも29.3%から84.6%(ツールあり)に達し、同じ条件のGPT-5.6 Sol(72.1%)を上回っている。 ツールを使わせて学ばせてから、学んだことを染み込ませて手放させる。この順番が、身体を持つAIが現実世界の空間を扱えるようになる道筋の一つになりそうだ。
もっと見る
🤖 VLMを一切追加学習させずに、そのままロボットを動かせるとしたら。RoboDawnはこの問いに真正面から挑んだ研究です。 タイトル: Transferring the Intelligence of VLMs to Robotic Control (RoboDawn) URL: 事前学習済みVLMに、人間にも直感的な移動・回転・グリッパーの意味的コマンドと、数回分のデモンストレーションを文脈として与えるだけでロボットアームを操作させる手法です。 注目ポイントは3つあります。 🎮 ゲームのような操作インターフェース 移動・回転・グリッパー開閉といった離散コマンドで制御します。すべてグリッパーの中心点を基準にした相対指示なので、VLMがWeb上ですでに持っている空間操作の知識をそのまま活かせます。 📚 デモ1つで劇的に伸びる パラメータ更新は一切なし。コマンドの効果を示すプライマーとタスクデモを文脈に与えるだけで、RoboTwin 2.0での成功率がゼロショット53.2%からワンショット73.6%まで向上しました。 🏆 訓練済みロボット方策を上回る タスク特化の学習なしで、専用データでフル学習されたπ0.5(46.0%)やLingBot-VLA(50.4%)をゼロショットの時点で凌駕。実機のFrankaロボットでも90%の成功率を記録しています。 ロボット専用データを集めるより、VLMが既に持つ知能を引き出すインターフェース設計こそが鍵になるのかもしれません。 #ロボティクス# #VLM#
もっと見る