MMaDA 项目介绍

背景简介

• 项目名称：MMaDA（多模态大规模扩散语言模型）
• 提交时间：2025年5月21日
• 联合团队：普林斯顿大学、字节跳动 Seed、北京大学、清华大学 等
• 主要作者：Ling Yang、Ye Tian、Bowen Li、Xinchen Zhang、Ke Shen、Yunhai Tong、Mengdi Wang

核心创新

1. 统一扩散架构：基于模态无关的概率建模，无需额外模块即可处理文本与图像等多种输入。
2. 混合长链式思考（Mixed Long CoT）：在微调阶段引入跨文本与视觉的链式思考格式，为后续强化学习提供高质量初始策略。
3. UniGRPO 强化学习算法：统一扩散模型的策略梯度方法，通过多元奖励设计，实现推理与生成任务的协同优化。

性能表现

• 文本推理：优于 LLaMA-3-7B 和 Qwen2-7B。
• 多模态理解：胜过 Show-o 与 SEED-X。
• 文本生成到图像：较 SDXL 与 Janus 在生成准确性和知识一致性上取得提升。

开源资源

• 论文地址：arXiv:2505.15809
• 代码仓库：GitHub – Gen-Verse/MMaDA
• 模型下载：Hugging Face – MMaDA-8B-Base
• 在线演示：Hugging Face Spaces Demo