登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 空間認識AI
空間認識AI コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
空間認識AI を含む検索結果
数千万点規模の都市3Dシーンで「この建物のあの交差点の近くの標識」を見つける。候補を全部ランキングするのではなく、エージェントに歩き回って探させるという発想が登場しました。 タイトル: Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes URL: 🏙️ 解決する課題 都市規模の3Dシーンは1シーンあたり数十万〜数千万点に及び、既存の候補ランキング手法は事前計算されたインスタンス候補に依存するためスケールしません。本研究は、都市環境での位置特定は本質的に逐次的で探索的だと捉え直します。 🔧 提案手法 VLMエージェントが「ランドマーク照会」「ズームイン」「斜め視点レンダリング」という3つのツールを駆使し、鳥瞰図の多視点環境を探索しながら最終的なバウンディングボックスを確定します。GRPOで学習し、IoU・距離シェーピング・ステップ数ペナルティを組み合わせた報酬設計で、精度と探索効率を同時に最適化します。 📊 実験結果 CityReferベンチマークでHit@1が最大23.9%(ベースラインの14.2%を上回る)、推論時間は3.2秒でベースラインの32.1秒から約10倍高速化。未知の都市シーンへのゼロショット転移でもHit@1 27.2%を記録しました。 🔍 見えてきた課題 名前付きランドマークが欠落するとHit@1が10.8ポイント低下する一方、座標ノイズの影響はごく小さいこと、さらに同クラスの物体が周囲に多いと識別成功率が64.7%から25.1%まで下がることもわかりました。 #空間認識AI# #VLMエージェント#
もっと見る
マルチモーダルAI(画像と文章を一緒に理解して答えるAI)が「自分で描いた図を本当に見て考えているか」を検証した論文が出た(https://arxiv[.]org/abs/2607.26769)。 GPT-5.5やGemini 3.5 Flashなどの最新モデルは、問題を解く途中で補助線を引いたり対象に印をつけたりと、人間が紙に書き込むような視覚的な操作を自分で生成しながら考えるようになってきた。ただ、その絵が答えを導く助けになっているのか、単なる飾りなのかは、これまできちんと切り分けられていなかった。 研究チームはSee2Thinkという評価の枠組みを作った。幾何・3D空間認識・日常シーンの読み取りなど12カテゴリ、合計1,200問を用意し、AIが「考える→図を描く→描いた結果を見てさらに考える」流れを記録する。実験の一つでは、AIに見せる描画結果をわざと間違ったものにすり替え、AIが本当にその絵に依存しているかも確かめた。 結果はややちぐはぐだった。AIが「どこに何を描くべきか」を選ぶ判断の妥当性(論文ではAction Relevanceと呼ぶ指標)は全体平均で96.4〜98.8%とほぼ満点なのに、実際に描いた絵が指示通り正確に再現されているか(Render Faithfulness)は58.6〜65.6%にとどまる。狙いは正しくても手元が狂う工程こそが最大のボトルネックで、どの条件が一番強いかもモデルごとにバラバラで万能な戦略はなかった。 「指定された麻雀牌を1枚拾う」のようなロボット操作の指示になると、モデルや条件を問わず正答率は0〜4%まで落ち込む。さらに、わざと間違った絵を見せる実験では特に3Dの空間問題で正答率が最大15.5ポイントも落ち込んだ。正確に描けても得点はさほど伸びないのに、間違った絵には引きずられて答えを変えてしまう。「絵を使って考えるAI」も、まだ自分の描いた絵を十分に使いこなせていない、という結果だ。
もっと見る
🖐️ AIエージェントが「指差す」だけでなく、形を描き、動きを模倣し、発言を強調する手を持ったらどうなるでしょうか。XR空間でのエージェント会話に関する研究です。 タイトル: AgentHands: Generating interactive hand gestures for spatially grounded agent conversations in XR URL: ❓ なぜ音声だけのエージェントでは足りないのでしょうか 💡 従来の2Dバウンディングボックス表示はフラットな画面向けで、Android XRのようなイマーシブ環境には合いません。人間の会話で手が果たす「指差す・描写する・強調する」役割が抜け落ちてしまいます。 ❓ どうやってジェスチャーを生成しているのでしょうか 💡 環境認識モジュールが物体を3Dレジストリに登録し、LLMがユーザーの発話に応じて「GestureEvent」を生成。ワード単位のタイムスタンプでTTSとアニメーションを同期させ、発話と手の動きがぴったり合った共話ジェスチャーを実現しています。 ❓ 実際に効果はあったのでしょうか 💡 12名の被験者内比較研究で、蘭のケアや3Dプリンタ操作タスクを実施したところ、物体の位置特定や方向参照が有意に容易になり(p<0.05)、複雑な手順のフォローもしやすくなったと報告されています。安全警告のジェスチャーと視覚効果の組み合わせも高く評価されました。 ❓ ユーザーはどう感じたのでしょうか 💡 「パートナーが導いてくれているような感覚」という声があり、ツール検索的な体験から体現化された対話へと感覚がシフトしたことが分かっています。 #XR# #AIエージェント#
もっと見る
道案内AIが路地の角を曲がれても、都市を横断できるとは限りません。その差を実スケールの香港で測りました。 UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City 🏙️ 概要 MLLMは短距離タスクや視覚認識で高い性能を示してきましたが、「局所での強さが広域行動に転化するか」は未検証でした。UrbanGroundは、香港の地理空間データ(OSM・衛星地図)からUnity上に構築した実スケール3D都市シミュレーションで、MLLMの空間エージェント能力を体系的に評価します。810件の人手検証済みタスクを5段階の評価ラダーに配置しています。 🔍 解決する課題 既存の空間推論ベンチマークはほとんどが小規模・合成環境・短距離タスクに留まっており、都市スケールの複合的な空間推論を問うものがありませんでした。天候変動・道路閉鎖・歩行者群衆といった動的変化への対応も問われていませんでした。 ⚙️ 方法論 フレームワークは3層構成(地理空間層・シミュレーション層・エージェント層)で、エージェントは一人称視点映像とインタラクティブマップを入力として受け取ります。評価は5段階ラダーで段階的に複雑化します。 ・Level 1: 視覚認識・方向判断・能動的探索 ・Level 2: 短距離/長距離/指示付きナビゲーション ・Level 3: 説明文からの暗黙的目的地推論 ・Level 4: スケジューリング・経路最適化 ・Level 5: 道路閉鎖・歩行者への動的適応 📊 実験結果 視覚認識は77〜93%と比較的高い一方、方向判断は23〜58%と弱く、短距離ナビゲーション成功率〜70%が長距離ではほぼゼロに崩壊します。天候・照明変化でQA精度が5〜20ポイント低下し、歩行者との衝突率は全モデルで75%超でした。GPT-5.5とKimi-K3が最も強力でしたが、長距離・動的環境での失敗パターンはどのモデルも同様です。 核心的知見は「局所能力は広域探索に合成されない」こと。エージェントは目に見える範囲は適切に動けても、それを超えた空間状態の維持や無効ルートの計画修正ができないことが実証されました。 #MLLMs# #EmbodiedAI#
もっと見る
🗺️ 最先端のGPT-5でも、現実世界の空間タスクの成功率はわずか14.4%——。静止画を眺めて答えるだけでは測れない、AIエージェントの「能動的な空間推論」の弱さをあぶり出す新しいベンチマークが登場しました。 タイトル: SpatialWorld: Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks URL: 📝 概要 SpatialWorldは、マルチモーダルLLMが視覚のみの一人称視点で、3D環境を能動的に探索しながらタスクを解けるかを測るベンチマークです。屋内・屋外・デジタルゲームにわたる8つの異なるシミュレータを共通プロトコルで統合し、人手で作った760タスクで15の最先端モデルを評価しました。エージェントは事前に与えられた地図や正解の手順なしに、自分で見て、動いて、判断する必要があります。 ❓ 解決する課題 従来の空間推論ベンチマークは、静的なVQAや録画済み動画による受動的な評価に依存していました。しかしこれでは、エージェントが自ら視点を動かして視覚的な証拠を集め、部分的にしか見えない状況の中でその場で計画を立て直す、という現実世界に必要なインタラクティブな空間理解を測れません。静的なシーンを認識できることと、未知の空間で実際に動いて課題を解けることの間には、大きな隔たりがあったのです。 💡 方法論と提案手法 ・課題を視覚のみのPOMDP(部分観測マルコフ決定過程)として定式化します ・エージェントは自然言語のゴールと、ネイティブ解像度の一人称RGB画像1枚だけを受け取り、深度・地図・意味メタデータは一切与えられません ・行動はナビゲーション、視点制御、物体とのインタラクション、タスク完了を含むテキストベースの高レベルインターフェースで指示します ・屋内(AI2-THOR、ProcTHOR、VirtualHome)、屋外(CARLA、EmbodiedCity)、デジタルゲーム(Block3D、Snake3D、ルービックキューブ)の8バックエンドを統合します ・評価は途中の軌跡の一致ではなく、最終的な終端状態がゴールを満たしたかで判定し、人手で妥当性を確認します ・成功率に加え、人間の参照軌跡と比べたステップ効率も測ることで、効率の悪さも可視化します 🎯 ユースケース 家庭用ロボットや自律エージェントの空間能力を、実環境へ配備する前に統一的かつ公平に評価する基盤になります。ナビゲーションと物体操作を組み合わせた長期タスクのどこでつまずくのかを体系的に診断でき、空間推論モデルの改善に向けた厳密なテストベッドとして活用できます。 📊 実験結果 ・15の最先端モデルを評価し、物理タスクの成功率はGPT-5が14.4%、Qwen-3.5-397Bが12.2%、Gemini-3.1-Proが9.2%、Kimi-K2.5が9.2%にとどまりました ・デジタルゲームではGemini-3.1-Proが39.0%で最高、GPT-5が36.4%と続きました ・複雑さ別に見ると、インタラクションのみのタスクは平均50.2%だったのに対し、ナビゲーションのみは8.6%、両者を組み合わせた複合タスクはわずか4.2%まで急落しました ・成功率が近いモデルどうしでも効率スコアは大きく異なり、多くのモデルが試行錯誤に頼って動いている実態が明らかになりました ・環境ごとにモデルの順位が大きく入れ替わり、全カテゴリを支配する万能なモデルは存在しませんでした #AIエージェント# #SpatialReasoning#
もっと見る
【ちょっと長文】(日本語は中国語の次) 我的追蹤者裡也有不少台灣人,大家如果有空可以來看看,但記得先深呼吸一下,再認識不同角度的解讀喔😅 tag我,希望我看投稿,看一看突然的暴言攻擊真的有點太刺激了…… 💦對方可以暴言,我選擇不看就好。可以封鎖我,眼不見為淨,生活會平靜一點。 ◆關於阪急這件事: 台灣人寄出的信件內容算是理性,沒有攻擊字句。跨平台分享發生這事情,如果有同感的人想加入的話,自己判斷,沒有強迫大家。做法有改善空間,歡迎理性討論。 強調「如同小粉紅、干涉內政、拉低台灣人形象」,搭配上針對我的難聽字句,綜合起來,我是覺得已經不是在針對事情本身想進行溝通了。 支持台灣,同時也想更了解台灣人怎麼想、怎麼感受,我蠻推薦去Threads看看台灣人的投稿(超多人使用Threads,可以獲得更廣泛的聲音)。向台灣人發問,也會得到很多回應~(長住台灣也是一個方式w) 網路暴言我就不仔細看了。 明天我還活不活著,說這些話的人也不會在意。 我把時間拿去睡覺,明天繼續當一條活龍✌️ 私のフォロワーにも台湾人の方がたくさんいるので、違う角度からの解釈を知るきっかけになるかなと思います。よかったら見てみてください!ただ、まず深呼吸してからね〜 tagされて投稿を見に来たら、突然の暴言攻撃が本当にちょっと刺激強すぎました……💦 相手が暴言を吐くのは自由ですが、私は見ない選択をします。ブロックしていただいても構いませんよ。目に入らなければ生活が穏やかになります。 ◆阪急の件について: 台湾の方々が送ったお問い合わせの内容は理性的で、攻撃的な言葉は使われていません。この件をThreads以外のプラットフォームで共有するのは、同感する人が自分で判断して参加したい場合は自由ですが、強制ではありません。方法に改善の余地はあると思いますので、理性的に議論できればと思います。 ただ、「小粉紅のような行為」「内政干渉」「台湾人のイメージを下げる」といった点を強調し、私個人にもきつい言葉を向けられたことで、もう事柄そのものについて理性的にコミュニケーションを取る段階ではなくなっていると感じます。 台湾を応援するなら、台湾人がどう思っているか、どう感じているかをより理解したい場合、Threadsで台湾人の投稿をたくさん見てみることをおすすめしますよ(Threadsを使っている台湾人が本当に多いので、より幅広い声に触れられます)。台湾人に直接質問したりすると、たくさん返事が返ってきますよ〜 (長く台湾に住むのも一つの方法ですねw) ネット上の暴言や攻撃はもう細かく見ませんよ。 明日私が生きていようがいまいが、これを言った人たちは気にしないでしょう。 私はその時間を睡眠に充てて、明日も元気に頑張ります⸜(◍´˘`◍)⸝
もっと見る
昨天主辦單位公布的小野坂ゆいか(小野坂唯花)應該讓很多朋友又驚又喜,而她也是本屆TRE最後一位決定的成員~ . 來和各位報告一下TRE決定女優的過程,首先,主辦單位會有一份大名單,上面會有邀請女優的順序,而我們ForAVer就是照著順序一個一個去把女優的檔期敲下來—然後大家可能想不到,白金卡和金卡比較容易搞定,因為對女優來說那是最高榮譽,除非是對大型展會沒有興趣,否則大家都會把時間空下來,反而是銀卡成員比較麻煩一點: . 有些人對海外活動沒興趣(還是有這種人的)、有些人7月的時候有事、有些人則是和經紀公司鬧翻了不爽來(TRE真衰成了被遷怒的對象)⋯再加上今年舉辦的時間不像過去一樣是8月,大家回覆得比較慢一些,在即將去開拍素材的一月中,小野坂才確定加入⋯ . 但我覺得她是非常非常好的選擇,一來她最早是以大型片商認可的專屬女優身分出道,外型不輸人的,再加上近期發片量不小,認識她的粉絲不會少,而且這是一個讓大家都很意外的人選,會有人專門來看她的;二來她自己都沒想到會入選,所以收到TRE的Offer時又驚又喜,馬上調整行程來配合素材拍攝— . 所以TRE不只是做出了品牌形象,同時主辦單位對選用女優也有很高的水準,後面還有幾位當初看到名單讓我嚇一跳覺得既大膽但又合情合理的人選,敬請期待~ . #小野坂ゆいか# #小野坂唯花# #TRE2026# #7月3號到5號盛大登場# #ForAVer女優商演經紀#
もっと見る
小泉進次郎、対話呼びかけに発狂した中国に↓言えるの、凄いな 「嘘による陰口を言ってないで、直接話そうよ」 東京新聞 「中国が小泉大臣の対話呼びかけ演説を"偽善的"と反応してたが?」 小泉防衛相 「国家間に認識の違いや摩擦は生じるもの」 「その時に必要なのは、相手方が居ない所で事実に基づかない主張を繰り返す事ではなく、直接、率直に話し合うことです」 「​今回のシャングリラ会合に、董軍国防部長は出席されず残念でしたが、昨年のマレーシアでのADMMプラスで率直な会談を行うことができた事が有意義だったように、これからも日本側の対話の扉は常に開かれていることを改めて強調したい」 ​ 「防衛省としては、引き続き海空連絡メカニズムをはじめ、日中間の様々なチャンネルを活用しつつ、あらゆる機会を捉え、中国側に意思疎通を呼びかけてまいります」
もっと見る
🎧#新作オーディオブック# 『なぜゲームをすると頭が良くなるのか』 ゲームをすれば… 短期記憶、問題解決能力、 空間認識能力などが向上! 脳の機能を向上させ、 メンタルにも良い影響を与えてくれる ゲームとの理想的な付き合い方を伝授! ▶ @PHPeb
もっと見る