🖐️ AIエージェントが「指差す」だけでなく、形を描き、動きを模倣し、発言を強調する手を持ったらどうなるでしょうか。XR空間でのエージェント会話に関する研究です。 タイトル: AgentHands: Generating interactive hand gestures for spatially grounded agent conversations in XR URL: ❓ なぜ音声だけのエージェントでは足りないのでしょうか 💡 従来の2Dバウンディングボックス表示はフラットな画面向けで、Android XRのようなイマーシブ環境には合いません。人間の会話で手が果たす「指差す・描写する・強調する」役割が抜け落ちてしまいます。 ❓ どうやってジェスチャーを生成しているのでしょうか 💡 環境認識モジュールが物体を3Dレジストリに登録し、LLMがユーザーの発話に応じて「GestureEvent」を生成。ワード単位のタイムスタンプでTTSとアニメーションを同期させ、発話と手の動きがぴったり合った共話ジェスチャーを実現しています。 ❓ 実際に効果はあったのでしょうか 💡 12名の被験者内比較研究で、蘭のケアや3Dプリンタ操作タスクを実施したところ、物体の位置特定や方向参照が有意に容易になり(p<0.05)、複雑な手順のフォローもしやすくなったと報告されています。安全警告のジェスチャーと視覚効果の組み合わせも高く評価されました。 ❓ ユーザーはどう感じたのでしょうか 💡 「パートナーが導いてくれているような感覚」という声があり、ツール検索的な体験から体現化された対話へと感覚がシフトしたことが分かっています。 #XR# #AIエージェント#