Stability AI与Arm合作推出手机音频生成AI技术:仅需7秒便可生成11秒高质量立体声音频

Stability AI和Arm联合发布了一款名为"稳定音频开放小型"(Stable Audio Open Small)的紧凑型文本转音频模型,该模型能够在约7秒内生成长达11秒的高质量立体声音频片段,且经过优化可在智能手机等移动设备上运行。

这一突破基于加州大学伯克利分校研究人员开发的"对抗相对对比"(Adversarial Relativistic-Contrastive,ARC)技术。该模型在高端硬件如Nvidia H100GPU上的表现更为惊人,能够在仅75毫秒内完成44kHz立体声音频的生成,实现了近乎实时的音频合成能力。

AI音乐 人工智能 (3)

与去年发布的包含11亿参数的原始Stable Audio Open相比,这一精简版本仅使用3.41亿个参数,大幅减少了计算资源需求,使其能够在消费级硬件上流畅运行。这是Stability AI和Arm于今年3月宣布合作后的首个重要成果。

为实现智能手机端运行,开发团队对模型架构进行了彻底改进,将系统重构为三个核心组件:压缩音频数据的自动编码器,解释文本提示的嵌入模块,生成最终音频的扩散模型。

Stability AI表示,该模型在生成音效和现场录音方面表现尤为出色,但在音乐生成方面仍有限制,特别是在处理歌声时,且目前主要适用于英语提示输入。

模型训练使用了Freesound数据库中约472,000个符合CC0、CC-BY或CC-Sampling+许可条款的音频片段,开发团队通过一系列自动化检查对训练数据进行了筛选,以避免潜在的版权问题。

猜你喜欢

《造梦西游OL》手游如何进行角色进阶?详细进阶方法与攻略解析
《造梦西游OL》手游如何进行角色进阶?详细进阶方法与攻略解析

造梦西游OL手游怎么进阶呢?在游戏中魂器品质装备可以在进阶界面进行进阶,今天小编就为大家说说造梦西游OL手游进阶方法攻略

《金庸群侠传》青翼蝠王全面剖析 其无与伦比的隐秘潜行与控制技巧
《金庸群侠传》青翼蝠王全面剖析 其无与伦比的隐秘潜行与控制技巧

我们在《金庸群侠传》中总有这种苦恼:敌人前排一个满血肉盾,后面两个残血的,而自己能打到敌人后方的角色的技能正在冷却中,等

艾诺迪亚4法师角色如何合理分配属性点详细攻略及最佳加点推荐
艾诺迪亚4法师角色如何合理分配属性点详细攻略及最佳加点推荐

艾诺迪亚4法师怎么加点?在艾诺迪亚4游戏中,法师是一个高输出但防御比较弱的一个职业。所以法师的培养要注重加强防御,这样才

全民枪战中的步枪走位技巧教学,其实掌握起来并没有想象中那么困难
全民枪战中的步枪走位技巧教学,其实掌握起来并没有想象中那么困难

全民枪战步枪走位教学其实一点都不难,走位的方法其实说起来很简单,但是做起来却很难,具体的精髓还得靠自己多练习。走位建议走

龙之信条2角色培养攻略:全面解析职业选择与最佳属性分配策略
龙之信条2角色培养攻略:全面解析职业选择与最佳属性分配策略

龙之信条2加点攻略:职业选择与属性分配指南

关于剑与魔法手游枭翼的命运这个成就的完成经验分享与心得体会
关于剑与魔法手游枭翼的命运这个成就的完成经验分享与心得体会

枭翼的命运2和3成就达成的条件不同,玩家首先需要掌握的是这两个成就有什么要求,然后再指定相应的操作技巧,下面小编就为大家

天书奇谈PVP战斗系统详解及帮派战奖励的全面介绍与解析
天书奇谈PVP战斗系统详解及帮派战奖励的全面介绍与解析

PVP系统是《天书奇谈》中玩家之间相互切磋、对抗的交互型玩法,玩家可以体验到除人机对战所不具备的策略方面的激烈对抗,利用

缺氧娱乐室必备设施与提升士气的实用技巧与建议指南
缺氧娱乐室必备设施与提升士气的实用技巧与建议指南

缺氧娱乐室必备设施与士气提升指南