从指令编辑到文本生成 OmniGen2推动开源多模态模型应用场景的新变革

近日,VectorSpaceLab在Hugging Face平台正式开源全能多模态模型OmniGen2,以创新性双组件架构和强大的视觉处理能力,为研究者和开发者提供了高效的可控生成式AI基础工具。

这款模型由30亿参数的视觉语言模型(VLM)Qwen-VL-2.5与40亿参数的扩散模型组合而成,通过冻结的VLM解析视觉信号和用户指令,结合扩散模型实现高质量图像生成,在视觉理解、文本生成图像、指令引导图像编辑和上下文生成四大核心场景中展现出领先性能。  

QQ20250624-095825.png

作为开源项目,OmniGen2的视觉理解能力继承自Qwen-VL-2.5的强大基础,可精准解析图像内容;其文本生成图像功能支持从文本提示生成高保真、符合美学标准的图像;在指令引导图像编辑领域,该模型以高精度完成复杂修改任务,性能达到开源模型中的前沿水平;而上下文生成能力更可灵活处理人物、物体、场景等多元输入,生成连贯新颖的视觉输出。

例如,用户既能通过自然语言指令让熊猫手持茶杯的卡通场景变换风格,也能为奇幻精灵角色添加动态背景,甚至修正图像中物体数量或颜色冲突等细节。  

QQ20250624-095835.png

目前,OmniGen2已开放模型权重下载,并提供Gradio和Jupyter在线演示,支持用户通过调整采样步数、文本引导强度、图像参考权重等超参数优化生成效果。

项目团队计划后续开源训练代码、数据集及构建流程,并推出上下文生成基准测试OmniContext,进一步完善CPU负载优化和多框架集成。随着多模态AI应用场景的持续扩展,OmniGen2凭借其资源效率与功能全面性,正为个性化视觉创作、智能设计辅助等领域开辟新的技术路径。

地址:https://huggingface.co/OmniGen2/OmniGen2

猜你喜欢

炉石传说酒馆战棋暗月奖品超级赢家效果解析与玩法心得
炉石传说酒馆战棋暗月奖品超级赢家效果解析与玩法心得

玩炉石传说的小伙伴们都知道,最近炉石传说酒馆战棋模式新增了暗月奖品的宝藏,这个宝藏是每到一定的回合数就能发现一个奖励,而

从零基础开始打造财阀大小姐inZOI的完美发型及配饰搭配技巧攻略
从零基础开始打造财阀大小姐inZOI的完美发型及配饰搭配技巧攻略

从零开始捏财阀大小姐inZOI发型-配饰搭配攻略

密室逃脱绝境系列9无人医院第3关攻略详解与玩法心得分享
密室逃脱绝境系列9无人医院第3关攻略详解与玩法心得分享

隐隐的神秘藏在医院的每个角落,我们从中能够发现什么,其中第三关是很多的玩家十分在意的,那么如何过呢,下面91小编就给玩家

阴阳师手游樱花妖在2021年选择御魂的最佳攻略与技巧
阴阳师手游樱花妖在2021年选择御魂的最佳攻略与技巧

在阴阳师手游中有很多好看的式神,樱花妖就是其中之一,这位式神外观非常美,很多玩家都很喜欢,那么2021樱花妖御魂怎么搭配

匹诺曹的谎言守望者全阶段技能解析与战斗策略全面攻略
匹诺曹的谎言守望者全阶段技能解析与战斗策略全面攻略

匹诺曹的谎言守望者全阶段招式拆解攻略

在原神中寻找啾啾宝玉的具体位置和获取方法
在原神中寻找啾啾宝玉的具体位置和获取方法

原神是一款全新开放世界冒险游戏,玩家在这片世界中尽情的探索,游戏中有很多的材料要大家去收集,那么原神鳅鳅宝玉要怎么获得呢

原神辛焱的角色分析与培养价值探讨,是否值得玩家花费资源进行培养?
原神辛焱的角色分析与培养价值探讨,是否值得玩家花费资源进行培养?

辛焱是原神中的一个角色,这是一位四星角色,是火属性的,战力属性也都不错,但是游戏最近实在上线了太多的新角色,玩家还是选择

天刀手游灵殊玉人歌的展示与获取方法详解,带你了解如何轻松获得
天刀手游灵殊玉人歌的展示与获取方法详解,带你了解如何轻松获得

临近春节,很多的福利活动郑重开启,灵殊玉人歌非常的漂亮,不知道玩家什么时候入手呢,这篇攻略有详细介绍,下面一起来看看天刀