ASUSクリエイター向けブランド ProArt の2-in-1タブレットProArt PZ14が新登場✨ タブレットとしてもノートPCとしても、シリーズ初オンデバイスAIと省電力に優れるSnapdragon® X2 Eliteを搭載🧠 3K 有機EL、感度の高いASUS Pen付属で、どこでもアイデアをそのまま形に🖊 👉

TL;DR 「手伝って」と言われる前に、動画を見ながら先回りして助けるAIは作れるのか。意図が暗黙・変化する状況を、ベンチマーク、モデル、エージェント基盤の3点セットで扱った論文です。 タイトル: StreamVibe: Proactive Video Agents for Evolving User Intent URL: ポイント ・🎯 意図を明示的・暗黙的・動的の3レベルに分類 ・📚 StreamVibe-Bench：評価4,100件、支援ポイント20,546、動画183.4時間 ・🧠 StreamVibe-VL：適応的SFTのあと、軌跡報酬つきGRPOで学習 ・🔇 RLで誤発火が減り、明示的意図のFPRは2.02（ViSpeakは12.75） ・🗂 Harnessが有効な意図と進捗を管理し、動的意図で効果が大きい ・📈 動的意図のPointwise F1はSFTの58.70からRLで66.34 ・⚠️ 長い対話ではまだ苦手で、動的のTrajectory C-F1は8.91 先回りの難しさは「いつ話すか」より「いつ黙るか」にあると実感する結果です。 #VideoAgents# #VLM#

「残高を確認して」と頼んだだけなのに、エージェントが取引履歴やカード情報まで取得していませんか。そんな「頼んでいないのに取りすぎる」問題を初めて体系的に測った研究です。 タイトル: OverAct: Measuring and Mitigating Proactive Over-Authorization in LLM Tool-Calling Agents URL: 銀行・医療・Eコマースなど8ドメイン720エピソードのベンチマークOverActで、LLMエージェントの「能動的な権限超過」を測定した研究です。注目ポイントを3つ紹介します。 🚨 全モデルが許可範囲を有意に超過 Qwen・DeepSeek・GLM・Kimiなど7モデルすべてで、必要最小限を超えたツール呼び出しが発生。スコープ膨張比（SIR）はモデルによって1.18〜2.39に達しました。 ❓ 依頼の曖昧さが過剰取得の最大の予測因子 依頼が精密であればほぼ完全に準拠する一方、曖昧な依頼では2.7倍のスコープ超過が起きました。明確な指示そのものが、最も効果的な予防線になるということです。 🛡️ フィルタリングで43%のプライバシー侵害を削減 提案手法SelfAuditは、ツール呼び出しの正当化理由を生成した上で不当な呼び出しを除去することで、オラクル知識なしにプライバシー侵害を43%削減しました。理由を述べるだけでは逆効果で、明示的な除去が本質的に重要でした。 人間の評価でも、過剰な呼び出しの71.2%が「望んでいなかった」と判定されており、この問題が実感レベルでも無視できないことが分かります。 #AIエージェント# #プライバシー#

📹 終わりのない映像ストリームの中で、どの瞬間が後で重要になるかは誰にも分かりません。その難問に正面から答えたモデルです。 タイトル: OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction URL: 🧠 概要 ライブ映像を扱うLLMが、観測した内容を再利用可能な「事実の記憶」に変えながら、適切なタイミングで能動的に応答するための手法です。4Bという小さなモデルで、8つのストリーミング映像ベンチマークすべてで最高スコアを達成しました。 🔥 解決する課題 過去の視覚トークンを保持する方式は、限られたコンテキストを直近の観測と奪い合い、リアルタイムの知覚を弱めてしまいます。かといって直近だけを残せば、昔の出来事は失われます。さらに「沈黙」のラベルばかりが続くため、いつ応答すべきかの学習も偏りがちでした。 💡 方法論と提案手法 鍵は、能動的な生成を「ユーザーへの応答」だけでなく「証拠を事実記録に変換する行為」とも捉え直した点にあります。 ・PHCM: 視覚ウィンドウは直近のみに保ったまま、観測内容を時刻付きのテキスト記録として書き出し、元フレームが消えた後も文脈として残します ・PSTL: 出力を開始する全アンカーの教師信号を残しつつ、状態変化と持続の代表例だけを選んで学習します 📊 実験結果 ・OVOBenchで72.1、ProactiveVQAで48.7を記録し、11BのMOSS-VL-Realtimeを4Bで上回りました ・記憶指標ASIは、全履歴を保持する方式を4.0ポイント上回りながら、リアルタイム知覚でも勝っています ・PSTLは状態トークンの27.5%しか教師づけしないのに、密な教師づけを超えました。同じ27.5%でもランダム選択では伸びず、選び方そのものが効いています ・コンテキスト長は全履歴比で93.1%削減、初回応答までの時間は4.560秒から0.124秒へ短縮されました #動画理解# #マルチモーダルLLM#

# Claude Codeの機能と実践的な使い方 🤖 ログや検索結果でメイン会話を汚したくない。そんなとき、専用のコンテキストで作業して要約だけ返すサブエージェントが役立ちます。読み取り専用のレビュアーや調査役を切り出せます。 📌 タイトルと機能のURL タイトル: サブエージェント URL: 📝 概要 サブエージェントは特定タスクを担当する専用AIアシスタントです。独自のコンテキストウィンドウ、固有のシステムプロンプト、ツールアクセス、権限を持ち、独立して動いて結果の概要だけをメイン会話に返します。詳細な出力をメインから隔離でき、ツール制限でできることを絞れます。 🔧 機能の説明 ・組み込みサブエージェントとしてExplore（Haikuの読み取り専用・コードベース探索）、Plan（プランモードの調査役）、general-purpose（探索と変更の両方を行う複雑タスク向け）があります。 ・カスタムサブエージェントはYAMLフロントマター付きMarkdownで定義します。必須は name と description のみです。 ・主なフィールドは tools（許可ツール）、disallowedTools（拒否ツール）、model（sonnet/opus/haiku/inherit）、permissionMode、skills、memory などです。 ・description をもとにClaudeが委譲を判断します。「use proactively」などの語を入れると積極的に委譲されます。 ・サブエージェントは他のサブエージェントを生成できません（無限ネスト防止）。 🛠 実践的な使い方 ・/agents コマンドでタブ付きUIを開き、ガイド付きまたはClaude生成でサブエージェントを作成・編集・削除できます（推奨）。 ・保存先でスコープが決まります。プロジェクト用は .claude/agents/ 、全プロジェクト用は ~/.claude/agents/ です。前者はバージョン管理でチーム共有に向きます。 ・明示的に呼ぶには自然言語（「test-runnerサブエージェントで〜」）、@メンション、またはセッション全体を claude --agent code-reviewer で実行する方法があります。 ・読み取り専用レビュアーなら tools: Read, Grep, Glob, Bash のように絞ります。 ・memory: project を設定すると、会話をまたいで知見を蓄積する永続メモリを持てます。 🎯 ユースケース ・コードを変更しないコードレビュアーや、長い調査を担う読み取り専用の調査役を定義する。 ・テスト実行やログ処理など大量出力を生む作業を隔離し、失敗テストの概要だけを返させる。 ・独立した複数モジュールの調査を、別々のサブエージェントで並行実行する。 ・安価で高速なHaikuにタスクをルーティングしてコストを抑える。 ⚠️ 注意点 ・サブエージェントは毎回新しいコンテキストで開始し、会話履歴や既読ファイルは引き継ぎません。立ち上げに時間がかかる場合があります。 ・多数のサブエージェントが詳細な結果を返すと、かえってメインのコンテキストを消費します。 ・ディスク上のファイルを直接編集した場合、読み込みにはセッション再起動が必要です（/agents経由なら即時反映）。 ・bypassPermissions は権限チェックを飛ばすため慎重に使ってください。 #ClaudeCode# #DevTools#

🤖 スマホを操作するGUIエージェントは、短いタスクは得意でも、長く多段なタスクになると急に弱くなります。理由はシンプルで、行動とスクショの履歴をただ積み上げるとコンテキストが爆発し、アプリをまたいだ大事な情報が薄まってしまうからです。 そこでこの研究が出した発想が、文脈の管理を「受け身に貯める」のではなく「自分で選ぶ行動」に格上げするというものです。エージェントはUI操作を選ぶのと同じように、履歴やUI状態を“折りたたむ”行動も選べます。維持するのは3つの構造化フィールド——折りたたんだ行動履歴、折りたたんだUI状態、直近のステップ記録——で、全体の流れと足元の詳細を両立させます。これが Context-as-Action フレームワーク、MemGUI-Agent です。 🎯 学習にはアノテーション済み2,956軌跡のMemGUI-3Kを使い、8BのMemGUI-8B-SFTをSFTで訓練。結果、MemGUI-Benchでオープンデータの8Bとして最高性能を達成し、学習分布外のMobileWorldにも汎化しました。何を残し何を畳むかをエージェント自身に決めさせる設計は、コンテキスト肥大に悩む実用エージェント全般に効きそうだと感じます。 MemGUI-Agent: An End-to-End Long-Horizon Mobile GUI Agent with Proactive Context Management #GUIエージェント# #LLM#

「話しかけられてから答える」音声AIは終わり。音・環境・指示を聞き続けて自分から動くモデルの登場です🎧 タイトル: Audio Interaction Model URL: 🎧 概要 常時稼働でリアルタイムに動く統合型の音声言語モデル（LALM）です。「知覚→判断→応答」のループを回し続け、音・環境音・ユーザー指示を同時に聞きながら、ストリームの意味理解に基づいて動的に応答します。 ❓ 解決する課題 現在のLALMの多くはオフラインで、ストリーミングASRや音声チャットを個別にこなすだけでした。現実の対話には、リアルタイムに同時に聞いて、その場で反応する常時稼働型のモデルが必要です。 💡 方法論と提案手法 核心は「知覚→判断→応答」ループを具現化したSoundFlowフレームワークです。 ・ストリーミングネイティブなデータ構築 ・理解を意識した訓練 ・非同期・低遅延の推論で安定したリアルタイム対話 データはStreamAudio-2M（260万件）で、7つの基礎能力・28サブタスクをカバー。能動的介入を測るProactive-Sound-Benchも用意しました。 📊 実験結果 / ユースケース ・8つのベンチマークで競争力ある性能を維持 ・オフラインLALMでは不可能だったリアルタイムASR、ストリーミング音声指示追従、能動的介入を実現 常時稼働の音声アシスタントやリアルタイム対話、能動的な音声サポートに活用できます。 #音声AI# #LALM#