【ライブレポート】UNiFY、東名阪ツアー完走！ 「皆さんのラブリーを一身に受けて、日本武道館という夢に向かって突き進んでいきます」 #UNiFY# ▼写真・記事の詳細はこちら

📹 終わりのない映像ストリームの中で、どの瞬間が後で重要になるかは誰にも分かりません。その難問に正面から答えたモデルです。 タイトル: OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction URL: 🧠 概要 ライブ映像を扱うLLMが、観測した内容を再利用可能な「事実の記憶」に変えながら、適切なタイミングで能動的に応答するための手法です。4Bという小さなモデルで、8つのストリーミング映像ベンチマークすべてで最高スコアを達成しました。 🔥 解決する課題 過去の視覚トークンを保持する方式は、限られたコンテキストを直近の観測と奪い合い、リアルタイムの知覚を弱めてしまいます。かといって直近だけを残せば、昔の出来事は失われます。さらに「沈黙」のラベルばかりが続くため、いつ応答すべきかの学習も偏りがちでした。 💡 方法論と提案手法 鍵は、能動的な生成を「ユーザーへの応答」だけでなく「証拠を事実記録に変換する行為」とも捉え直した点にあります。 ・PHCM: 視覚ウィンドウは直近のみに保ったまま、観測内容を時刻付きのテキスト記録として書き出し、元フレームが消えた後も文脈として残します ・PSTL: 出力を開始する全アンカーの教師信号を残しつつ、状態変化と持続の代表例だけを選んで学習します 📊 実験結果 ・OVOBenchで72.1、ProactiveVQAで48.7を記録し、11BのMOSS-VL-Realtimeを4Bで上回りました ・記憶指標ASIは、全履歴を保持する方式を4.0ポイント上回りながら、リアルタイム知覚でも勝っています ・PSTLは状態トークンの27.5%しか教師づけしないのに、密な教師づけを超えました。同じ27.5%でもランダム選択では伸びず、選び方そのものが効いています ・コンテキスト長は全履歴比で93.1%削減、初回応答までの時間は4.560秒から0.124秒へ短縮されました #動画理解# #マルチモーダルLLM#

📻RADIO！READY GO！📻 トーク×音楽×ライブが融合したラジオイベント開催🔥 📅7/8(水)・9(木)・23(木) 📍東京カルチャーカルチャー [出演] 7/8(水)JAM HEADS / Bestted 他 7/9(木)双極スペクトラム / UNiFY(Rap team) 他 7/23(木)NANIMONO / 反田葉月 他 🎫チケット好評発売中 #RADIOREADYGO#

🤖 高価なロボット実演データの不足を、私たちの「一人称視点の日常動画」で補う。人間の手の動きをロボットの行動に変換してVLAを学習させる研究です。 📰 タイトル: ACE-Ego-0: Unifying Egocentric Human and Robotic Data for VLA Pretraining 🔗 URL: 💡 概要 ロボットの実演データと、Ego4DやEPIC-KITCHENSのような一人称視点の人間動画を統一して、Vision-Language-Action（VLA）モデルを事前学習する枠組み「ACE-Ego-0」の提案です。合計6,000時間超のデータで学習しています。 🔍 解決する課題 ロボット実演の収集は高コストですが、人間動画は安価で豊富です。ただし両者は行動空間・身体構造・時間の進み方・教師信号の品質がバラバラで、素朴に混ぜると学習が壊れてしまう点が課題でした。 🛠 方法論と提案手法 ・行動を頭部カメラ座標系の6D回転で統一表現し、人間の手もエンドエフェクタとして扱う ・ロボットのURDFをGNNでモルフォロジートークン化し構造差を吸収 ・固定ステップでなく一定の物理時間でチャンク分割して時間を整列 ・ノイジーな人間動画には信頼性重み付け損失を適用し、信頼できる位置情報に集中 📊 ユースケース / 実験結果 シミュレーションのRoboCasaで平均72.8%（GR00T-N1.6の47.6%を大きく上回る）、RoboTwin 2.0で約91%を達成。実機の両腕ロボットでも平均78.3%（π0.5は71.7%）。特にロボット実演34件しかないタスクで、人間動画419本を足すと成功率が10%→40%へと4倍に改善しました。 #ロボット学習# #VLA#