腾讯混元文生图大模型 全面开源

  : 媒体滚动

---

　　科技日报讯（记者：崔爽）记者5月25日获悉，腾讯近日宣布旗下混元文生图大模型全面升级，并对外开源。
　　这是业内首个中文原生的DiT架构文生图开源模型，具备原生中文理解能力和双语编码能力，参数量15亿。此次开源的模型包含模型权重、推理代码、模型算法等完整模型，供企业与个人开发者免费商用，目前已在专注于自然语言处理的开源机器学习平台HuggingFace及面向软件开发者的代码托管平台Github上发布。
　　腾讯混元文生图技术负责人芦清林介绍，升级后的混元文生图大模型采用了与Sora一致的DiT架构，不仅可支持文生图，也可作为文生视频等多模态视觉生成的基础。
　　过去，视觉生成扩散模型主要基于U-Net架构。随着模型参数量增加，DiT架构展现出更好的扩展性，有助于提升模型生成质量和效率。
　　记者了解到，混元文生图大模型是业界最早探索并将大语言模型结合DiT架构的文生图模型之一。2023年7月，腾讯混元文生图团队明确了基于DiT架构的模型方向，并启动了新一代模型研发。今年初，混元文生图大模型全面升级为DiT架构。
　　评测数据显示，最新腾讯混元文生图模型效果相比前代提升超20%，远超开源的StableDiffusion模型。
　　目前，主流文生图开源生态基本围绕英文建设，StableDiffusion等主流开源模型虽一定程度支持中文输入，但其核心数据集仍以英文为主。建设中文原生大模型以及相应的开源生态对国内大模型产业有重要意义。
　　混元文生图大模型以中文原生为基础，支持中英文双语输入及理解。其文生图能力已被广泛用于素材创作、商品合成、游戏出图等业务场景。
　　“腾讯混元文生图大模型的研发思路就是实用，坚持从实践中来，到实践中去。此次把最新一代模型完整开源，是希望与行业共享实践经验和研究成果，加速大模型行业发展。”芦清林表示，目前开源的混元文生图大模型版本，也是腾讯内部正在使用的版本。基于该模型，开发者和企业无需从头训练，可直接将其用于推理，并可打造专属的AI绘画应用及服务。
　　此外，目前文生图开源社区主要还是以StableDiffusion等为主的英文开源社区。混元文生图大模型的开源，将丰富以中文为主的文生图开源生态，推动中文文生图技术研发和应用。