cv usk(@cv_usk):TL;DR：文書・画像・音声・動画を、1つのエンコーダと1つのJSONスキーマで構造化テキストに変換するモデルです。文書パースで最高スコアを記録しました。 Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities https://t.co/OGnQEeGmWo ポイント・🧩 共有Transformer1つで画像・音声・動画を符号化（初期値はQwen3-0.6B-Base）・⏱ 時間・高さ・幅に分けた回転位置エンコーディングで、映像と音が同じ時間軸を共有・📐 OmniSchemaで文書・化学式・楽譜・チャート・音声・動画など10タスクを同じJSON形式に統一・🔁 後学習は自己更新する教師を使うOSAD蒸留とスキーマ対応RLVR ・📄 OmniDocBench v1.6は総合96.96で報告中最高・🎬 OmniParsingBenchはオープンウェイト最高の75.08。テキスト豊富な動画は75.62（比較モデル65.36）一方でGemini-3-Proは77.44で上回り、Video-MME-v2ではQwen3-Omniに届いていません。音声ASRも課題です。LLMエージェントの入口となる「何でもパーサ」への有望な一歩だと思います。 #OmniModal #DocumentParsing

2026.11.07 03:50

TL;DR：文書・画像・音声・動画を、1つのエンコーダと1つのJSONスキーマで構造化テキストに変換するモデルです。文書パースで最高スコアを記録しました。 Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities ポイント・🧩 共有Transformer1つで画像・音声・動画を符号化（初期値はQwen3-0.6B-Base）・⏱ 時間・高さ・幅に分けた回転位置エンコーディングで、映像と音が同じ時間軸を共有・📐 OmniSchemaで文書・化学式・楽譜・チャート・音声・動画など10タスクを同じJSON形式に統一・🔁 後学習は自己更新する教師を使うOSAD蒸留とスキーマ対応RLVR ・📄 OmniDocBench v1.6は総合96.96で報告中最高・🎬 OmniParsingBenchはオープンウェイト最高の75.08。テキスト豊富な動画は75.62（比較モデル65.36）一方でGemini-3-Proは77.44で上回り、Video-MME-v2ではQwen3-Omniに届いていません。音声ASRも課題です。LLMエージェントの入口となる「何でもパーサ」への有望な一歩だと思います。 #OmniModal# #DocumentParsing#

커뮤니티로 전달