今年最被低估的AI模型之一，重现李小龙功夫音
更新时间：2024-12-25 10:32 浏览量：1
AI好好用报道
承认吧，虽然谷歌 Veo2 在视频生成上完虐了 Sora，但生成的还是个默片。
没声音的 AI 视频，说白了就是个半成品。
看看这组数字：
谷歌开放的大规模音频数据集 AudioSet 显示，82% 以上的视频都有人声或音乐；
去年抖音上传的 100 多亿条视频里，差不多八成都配了背景音乐。
号称今年华语最佳电影《好东西》最封神的一场戏，正好也与声音有关。
在声效蒙太奇下，日常家务也有山河之声。
最近火爆全网的 The Heist 也是个好例子。
来自 x @jasonzada虽然每个画面都是用 Google Veo 2 靠文字生成的，但你猜怎么着？
作者最费劲的活儿反而是后期音效 ，全靠手动完成。
看来大家说的没错啊，视听同步生成还真是 AIGC 领域的下一个「硬骨头」！但好消息是，战斗已经打响了。
近期，伊利诺伊大学和索尼的联合团队搞出了一个配音工具 MMAudio——上传一段视频，不需要人工手动，系统可以自动生成合适的音频，效果很不错。
一个 8 秒的高质量音频片段仅需 1.23 秒！
工具链接：
http://replicate.com/zsxkib/mmaudio
官方 Demo 先走一波：
Videos from Veo 2
MMAudio 专注于模拟真实世界的各种声音，主要分两大类：环境音效和动作音效。
环境音效指的是场景中的背景声音，比如下雨声、河流声、风吹树叶的沙沙声、鸟叫声等自然环境的声音。
这是大导演库布里克的电影《闪灵》中的一个场景，原来只有背景音乐，没有音效。
体验一下 MMAudio 想象出来的效果。
来自 X @cocktailpeanut
灾难现场的模拟。
来自X @blizaine
动作音效则是视频中可见事件产生的声音，例如物体碰撞的声音、运动器材的声音（如网球拍击球）、动物的叫声（如狗叫）等。
MMAudio 可以重现李小龙功夫音，难得的是，双节棍舞动的声音也有卡点。
来自x @cocktailpeanut
就连一段苹果发布会的视频也能整出动静。你别说，挺合理，同样卡点准确！
我们也试了一把。
这是一段旅行拍摄的山鹌鹑，因为距离很远，原视频只有杂音。
上传到 MMAudio 、输入提示词，结果很理想。
不仅没了原来的杂音，还添加了动物的声音，更适合发圈了：
提示词：A covey of quail
上传一段法国小哥卖煎饼果子的视频，听听音效怎么样？
虽然它的主要目标不是生成音乐和人声，但研究表明，多模态联合训练并未影响其在单模态任务上的表现。
换句话说，它也能生成背景音乐甚至人声，虽然不是专业的。
官方给出的demo之一，就是给视频配上印度风格的BGM。确实也有网友用 MMAudio 生出了背景音乐。
prompt: Christmas snow holiday music Santa Claus Festive