Gorden Sun
@Gorden_Sun
只发AI相关信息，个人维护的AI资讯日报（已连续日更3年）👇
加入 August 2013
1.8K 正在关注 69.3K 粉丝
NVIDIA开源PixelUMM：一个模型同时支持图文和视频的理解与生成
NVIDIA发布了无编码器多模态模型PixelUMM，一套架构同时支持图像和视频的理解与双向生成。
它抛弃了传统的独立视觉编码器，把画面切分成像素块直接送入主模型处理，让输入理解和输出生成共用同一套底层表示。
这种设计大幅简化了多模态流程，为研究更原生的图文与视频一体化架构提供了完整开源参考。
模型：
显示更多
