据界面新闻援引知情人士消息，字节跳动的视频生成模型 PixelDance 将很快在即梦 AI 上线，面向公众开放使用。具体的上线时间预计将早于 OpenAI 的视频生成模型 Sora 的正式发布。此前，Runway 联合创始人 Cristóbal Valenzuela 曾在 11 月 9 日表示，OpenAI 计划在大约两周内发布 Sora。这意味着字节跳动有望在最近几天内发布 PixelDance，但字节跳动方面暂未对此事作出回应。
背景
9 月 24 日，字节跳动火山引擎正式发布了豆包视频生成-PixelDance 和豆包视频生成-Seaweed 两款大模型，面向企业市场开启邀测。这标志着字节跳动正式进军 AI 视频生成领域。官方介绍称，这两款大模型在语义理解能力、多个主体运动的复杂交互画面、多镜头切换的内容一致性等方面均达到了业界先进水平。
技术特点
- 语义理解能力：能够准确理解输入文本的语义，生成符合语境的视频内容。
- 复杂交互画面：支持多个主体之间的复杂交互，生成的画面更加丰富和真实。
- 多镜头切换的一致性：确保多镜头切换时的内容一致性，避免画面跳跃和不连贯的现象。
- 多风格多比例生成：支持多种风格和比例的视频生成，满足不同应用场景的需求。
字节跳动的 PixelDance 上线后，将进一步推动 AI 视频生成技术的发展和应用。与 OpenAI 的 Sora 相比，PixelDance 在某些方面可能具有独特的优势，特别是在多主体交互和多镜头切换的一致性方面。这将为用户提供更多选择，促进市场竞争和技术进步。