AlibabaのQwenチームが実機重視のGUIエージェント「Qwen-UI-Agent」を発表した(https://arxiv[.]org/html/2607.28227v1)。GUIエージェントとは、画面を見て人間のようにタップや入力を行い、スマホやPCのアプリを操作するAIのこと。 多くのGUIエージェントはシミュレーター上のベンチマークには強くても、実際のスマホやPCで動かすと崩れやすい。Qwen-UI-Agentはこのギャップを埋めるため、実機100台以上・150以上のアプリを使った学習と評価に踏み込んでいるのが特徴。 結果は明確で、実機ベンチマークのMobileWorld-Realで92.2%(Claude Opus 4.8を7.5pt上回る)、AndroidDailyで97.5%を記録。ブラウザ操作のWebArenaも73.6%でOpus 4.8を1.7pt上回りトップ。一方でPC操作のOSWorld-Verifiedは79.5%とOpus 4.8(83.4%)に次ぐ2位で、全ての土俵で首位というわけではない。 行動の出し方にも工夫がある。GUI操作とCLI(コマンドライン、文字でコマンドを打ち込む操作方式)を状況に応じて使い分け、複数の操作をまとめて1ターンで出す「バッチ化」を導入。PC操作タスクではアクションの4割以上がバッチ化され、実行ステップ数を大きく減らしている。 面白いのは「先回り」の発想も持たせている点。フライトキャンセルの通知が届いたら、ユーザーが気づく前に代替便を探し、予定と照らし合わせて提案する、という使い方まで想定している。ベンチマークの数字より先に、実機で本当に使えるかを問うアプローチが徹底している。

【Alibaba Meetup Sapporo まもなく開催】 8/8(土) 札幌にて AlibabaCloud 協力のもとイベントを開催します！ Qwen, HappyHorse, wanなど、様々なモデルについて話せるミートアップです🔥 募集受付中ですので、ぜひお申し込みください ▼詳細 #AlibabaMeetupSapporo#

【Alibaba Meetup Sapporo開催!】 8/8(土) 19:00〜 札幌にて、AlibabaCloud協力のもと Qwen,HappyHorse,wanなど「コーディングだけではない、様々なモデルついて話せるお祭りミートアップ」を開催します🔥 ぜひ早めのチェック＆エントリーを! ▼詳細 #AlibabaMeetupSapporo#

AI動画で、言葉だけでは伝わらないアイデアを共有する。 Wan 3.0（@Alibaba_Wan）のデモで注目したいのは、画質だけでなく、場面転換、被写体の動き、カメラワークを一続きの演出に違和感がない点。 言語よりも1つの動画でという場面も増えてくるのかもしれません。