昆仑万维推出全新版本的SkyReels-V2:一款支持无限时长的电影生成模型

昆仑万维 SkyReels 团队正式发布并开源了 SkyReels-V2,这是全球首个使用扩散强迫(Diffusion-forcing)框架的无限时长电影生成模型。该模型通过结合多模态大语言模型(MLLM)、多阶段预训练、强化学习和扩散强迫框架来实现协同优化,标志着视频生成技术迈入了一个新的阶段。

SkyReels-V2的发布旨在解决现有视频生成技术在提示词遵循、视觉质量、运动动态和视频时长协调上的重大挑战。该模型不仅在技术上实现了突破,还提供了多种应用场景,包括故事生成、图生视频、运镜专家和多主体一致性视频生成(SkyReels-A2)。SkyReels-V2现已支持生成30秒、40秒的视频,并具备生成高运动质量、高一致性、高保真视频的能力。

微信截图_20250421110023.png

SkyReels-V2的核心技术创新包括:

  1. 全面的影视级视频理解模型 SkyCaptioner-V1:通过结构化的视频表示方法,结合多模态 LLM 的一般描述与子专家模型的详细镜头语言,显著提高了对镜头语言的理解能力。该模型能够高效地理解视频数据,生成符合原始结构信息的多样化描述。

  2. 针对运动的偏好优化:通过强化学习训练,使用人工标注和合成失真数据,解决了动态扭曲、不合理等问题。SkyReels-V2在运动动态方面表现出色,能够生成流畅且逼真的视频内容。

  3. 高效的扩散强迫框架:通过微调预训练的扩散模型,将其转化为扩散强迫模型,显著提高了生成效率。该方法不仅减少了训练成本,还实现了长视频的高效生成。

  4. 渐进式分辨率预训练与多阶段后训练优化:整合了来自通用数据集、自收集媒体和艺术资源库的亿级数据,通过多阶段优化方法,确保了 SkyReels-V2在资源有限的情况下,逐步提升多方面的表现,达到影视级视频生成的水准。

在性能评估方面,SkyReels-V2在 SkyReels-Bench 和 V-Bench 中表现出色。SkyReels-Bench 包含1020个文本提示词,系统性地评估了四个关键维度:指令遵循、运动质量、一致性和视觉质量。在 SkyReels-Bench 评估中,SkyReels-V2在指令遵循方面取得了显著进展,同时在保证运动质量的同时不牺牲视频的一致性效果。在 V-Bench1.0自动化评估中,SkyReels-V2在总分(83.9%)和质量分(84.7%)上均优于所有对比模型,包括 HunyuanVideo-13B 和 Wan2.1-14B。

SkyReels-V2的应用场景丰富多样,包括:

  1. 故事生成:通过滑动窗口方法,模型在生成新帧时会参考之前生成的帧和文本提示,支持时间上的扩展,生成具有连贯叙事的长镜头视频。

  2. 图像到视频合成:提供了两种图像到视频(I2V)的生成方法,包括微调全序列文本到视频(T2V)扩散模型和扩散强迫模型与帧条件结合的方法。

  3. 摄像导演功能:通过专门筛选的样本,确保基本摄像机运动及其常见组合的平衡表示,显著提升了摄影效果。

  4. 元素到视频生成:基于 SkyReels-V2基座模型,研发了 SkyReels-A2方案,能够将任意视觉元素组合成由文本提示引导的连贯视频。

昆仑万维 SkyReels 团队表示,将继续推动视频生成技术的发展,并将 SkyCaptioner-V1和 SkyReels-V2系列模型进行完全开源,以促进学术界和工业界的进一步研究和应用。团队还将继续优化 SkyReels-V2的性能,探索更多应用场景,并进一步降低计算成本,使其能够更广泛地应用于创意内容制作和虚拟仿真领域。

  • GitHub地址:

    https://github.com/SkyworkAI/SkyReels-V2

  • 论文地址:

    https://arxiv.org/abs/2504.13074

  • SkyReels官网地址:

    https://www.skyreels.ai/home

猜你喜欢

四川少女-B站-2023:青春风采与网络文化的碰撞,探索新的自我表达方式
四川少女-B站-2023:青春风采与网络文化的碰撞,探索新的自我表达方式

当2023年踏入新的篇章,四川的青少年以其独特的个性与创造力,在B站这一广受欢迎的平台上绽放耀眼的光芒。B站作为一个聚集了无数年轻人的平

多人运动罗志祥:激情与挑战交织的演绎之路
多人运动罗志祥:激情与挑战交织的演绎之路

多人运动罗志祥者,华夏间一代风华之翘楚,既才艺横溢,亦性情奔放,善于于众人共舞于热血之中。其演绎之旅,犹如一场绚丽之盛宴,激励无数

色系视频:探索色彩之间的魅力,揭示色彩对情感的深刻影响
色系视频:探索色彩之间的魅力,揭示色彩对情感的深刻影响

色彩的世界宛如一幅永不褪色的画卷,它以独特的方式影响着我们的情绪与感知。人们在日常生活中,对于色彩的选择往往不仅仅是为了美观,更是

小蜜桃:甜美滋味背后的营养价值与健康功效探秘
小蜜桃:甜美滋味背后的营养价值与健康功效探秘

小蜜桃乃水果之中的翘楚,其色泽粉红,果肉柔嫩,味道甘甜且清香扑鼻。小蜜桃为人所喜,其果汁四溢,堪称夏日之佳品。然其背后之营养与健康

金铲铲之战保镖学者阵容玩法攻略及组合技巧分享
金铲铲之战保镖学者阵容玩法攻略及组合技巧分享

金铲铲之战保镖学者这个阵容是后期比较强的,这个阵容的主要C位是大头黑默丁格,而玩家是可以选择用约德尔这个羁绊进行过渡的,

如何制作美味的幻塔蕨菜饼,简单步骤与技巧详解
如何制作美味的幻塔蕨菜饼,简单步骤与技巧详解

幻塔游戏中的料理很多,而蕨菜饼就是游戏中的料理之一,蕨菜饼可以让角色恢复一定的生命值,能够帮助玩家解决生命值低的问题,下

幻塔坚果茶的制作方法及其对健康的多重效果分析
幻塔坚果茶的制作方法及其对健康的多重效果分析

幻塔坚果茶是游戏中拥有回复血量作用的料理之一,坚果茶所需要的食材一共有三种,这三种都是比较稀有的食材,下面91小编带来幻

幻塔意志选择攻略:如何搭配意志才能取得最佳效果
幻塔意志选择攻略:如何搭配意志才能取得最佳效果

幻塔意志在游戏中是非常重要的,好的意志搭配可以让玩家提升很大的战力,意志主要的选择是金色和紫色,下面91小编带来幻塔意志

如何获得幻塔旅行者号外壳的详细攻略与获取途径
如何获得幻塔旅行者号外壳的详细攻略与获取途径

幻塔旅行者号外壳是游戏中载具的零件之一,这款载具外形还是非常好看的,很多玩家都想要入手这个旅行者号外壳,下面91小编带来

哈利波特魔法觉醒中雪球大乱斗的最佳卡组搭配策略分享
哈利波特魔法觉醒中雪球大乱斗的最佳卡组搭配策略分享

哈利波特魔法觉醒雪球大乱斗卡组是比较难搭配的,这个卡组的主要卡牌是飞沙走石,卡牌的强度不低获取也是比较容易的,下面91小