字节憋大招，中国版Sora该有的样子！

更新时间：2024-09-28 00:08  浏览量：12

字节终于又跳动了一把！昨天，字节豆包大模型冷不防就公开了一个新品大招！

9月24日，深圳。字节对于大模型领域的雄心壮志再度升级，不等OpenAI的Sora发布，视频生成领域，字节要当No.1。

字节就是这样，总在看似寻常的更新会议上，放出惊艳的大招！

划重点：不负大家对于字节的期待，全新的豆包视频生成模型实在威力惊人，活动现场非常火爆！

图1

巡展开始，火山引擎总裁谭待宣布了豆包大模型家族的新成员——全新发布豆包·视频生成模型、以及豆包·音乐模型、豆包·同声传译模型、豆包通用模型pro 和文生图模型、语音合成模型等垂类模型大幅升级。这也宣告了字节在大模型领域，正式角逐AI视频生成赛道。

可以这样形容，即便是Sora、可灵，都要让出王座！

1、字节版Sora，重新定义中国视频大模型

此次全新发布的豆包视频生成模型有两款：PixelDance、Seaweed。活动现场展示的视频生成效果令人惊叹。无论是语义理解能力，多个主体运动的复杂交互画面，还是多镜头切换的内容一致性，豆包视频生成大模型均达到业界先进水平。火山引擎总裁谭待表示，“视频生成有很多难关亟待突破。豆包两款模型会持续演进，在解决关键问题上探索更多可能性，加速拓展AI视频的创作空间和应用落地。”

此前视频生成模型虽然逼真，但看多了就会发现不少鸡肋之处：只能完成简单指令、多主体交互容易变形、运镜延伸时一致性差等等。

这次字节的豆包视频生成模型一次打包全部搞定了这些难题，该模型不仅能够深度理解并响应复杂指令，驱动不同人物角色完成一系列精细的动作互动，更在细节处理上达到了极致，从人物样貌、服装的微妙变化到头饰的精准呈现，均能在不同运镜角度下保持高度一致，仿佛实拍般自然流畅。

有创作者在抢鲜体验豆包视频生成模型时发现，其生成的视频不仅能够遵循复杂指令，让不同人物完成多个动作指令的互动，人物样貌、服装细节甚至头饰在不同运镜下也保持一致，接近实拍效果。

巡展上火山引擎介绍，豆包视频生成模型基于 DiT 架构，通过高效的DiT融合计算单元，让视频在大动态与运镜中自由切换，拥有变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力。全新设计的扩散模型训练方法更是攻克了多镜头切换的一致性难题，在镜头切换时可同时保持主体、风格、氛围的一致性，这也是豆包视频生成模型独树一帜的技术创新。

经过剪映、即梦AI等业务场景打磨和持续迭代，豆包视频生成模型具备专业级光影布局和色彩调和，画面视觉极具美感和真实感。深度优化的Transformer结构，则大幅提升了豆包视频生成的泛化能力，支持3D动画、2D动画、国画、黑白、厚涂等多种风格，适配电影、电视、电脑、手机等各种设备的比例，不仅适用于电商营销、动画教育、城市文旅、微剧本等企业场景，也能为专业创作者和艺术家们提供创作辅助。

图2

Prompt：小猫和小熊猫开心地跳着，然后拥抱在一起。（来源：机器之心）小猫晃动着爪子，和小熊猫玩亲亲，细节层次丰富，光影随着主体运动而变化，大幅提升画面视觉审美。

目前，新款豆包视频生成模型正在即梦AI内测版小范围测试，未来将逐步开放给所有用户。

2、背后有哪些黑科技？

大家可能好奇，首次突破多主体互动难关，字节如何做到的？

首先，是豆包大模型能力的提升。“豆包视频生成”大模型凭借其卓越的语义理解能力、对复杂交互画面的精准捕捉以及多镜头切换下的内容一致性，成功跻身业界先进水平。

据悉，“豆包视频生成”模型依托字节跳动自主研发的DiT（Dynamic Integration Transformer）架构，通过高效的DiT融合计算单元，实现了视频在大动态场景与多样运镜之间的无缝切换。这一技术突破赋予了视频变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力，让视频创作更加自由灵动，满足了创作者对视觉表达的无限想象。

其次，为了进一步提升视频创作的专业性和观赏性，“豆包视频生成”团队还创新性地采用了全新设计的扩散模型训练方法。

这一方法有效攻克了多镜头切换过程中保持主体、风格、氛围一致性的技术难题，确保在镜头切换的瞬间，视频的整体氛围与细节表现依然和谐统一，为观众带来更加沉浸式的观看体验。

3、写在最后

自此，AI视频赛道，字节可谓一鸣惊人！2025前，我们看到了一个AI武装版的字节正在酝酿之中。期待王者归来！

最后不得不说一句，当你认为一切已黯淡成型时，宇宙条正悄悄为你准备新的开始。这正是，大模型战场的魅力。