TL;DR:文書・画像・音声・動画を、1つのエンコーダと1つのJSONスキーマで構造化テキストに変換するモデルです。文書パースで最高スコアを記録しました。
Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities
ポイント
・🧩 共有Transformer1つで画像・音声・動画を符号化(初期値はQwen3-0.6B-Base)
・⏱ 時間・高さ・幅に分けた回転位置エンコーディングで、映像と音が同じ時間軸を共有
・📐 OmniSchemaで文書・化学式・楽譜・チャート・音声・動画など10タスクを同じJSON形式に統一
・🔁 後学習は自己更新する教師を使うOSAD蒸留とスキーマ対応RLVR
・📄 OmniDocBench v1.6は総合96.96で報告中最高
・🎬 OmniParsingBenchはオープンウェイト最高の75.08。テキスト豊富な動画は75.62(比較モデル65.36)
一方でGemini-3-Proは77.44で上回り、Video-MME-v2ではQwen3-Omniに届いていません。音声ASRも課題です。LLMエージェントの入口となる「何でもパーサ」への有望な一歩だと思います。
#
OmniModal# #
DocumentParsing#