可灵大模型产品概述

快手科技近日推出了一款创新的视频生成工具——"可灵"大模型，标志着我们在视频内容创作领域的新里程碑。这款由快手AI团队自主研发的大模型，凝聚了我们在视频技术领域的深厚积累和最新研究成果。

"可灵"大模型采用了与Sora技术路线相似的框架，并融入了多项创新技术，使其在视频生成效果上与Sora相媲美。它不仅在概念组合和想象力方面表现出色，还能生成具有大幅度合理运动和模拟物理世界特性的视频内容。

用户可以期待"可灵"大模型带来的高清视频体验，其生成的视频分辨率高达1080p，支持长达2分钟的视频时长（以30fps的帧率播放），并提供自由选择的宽高比，以适应不同的播放需求和场景。

目前，"可灵"大模型已在快影App上开放邀测体验，用户可以直观地体验到"可灵"大模型的强大功能，并将其应用于个人或商业的视频创作项目中。

技术特点

• 高分辨率视频生成：支持生成高达1080p分辨率的视频。

• 长视频支持：能够生成长达2分钟的视频，帧率达到30fps。

• 自由宽高比：用户可以根据需要自由选择视频的宽高比。

• 概念组合与想象力：具备强大的概念组合能力，能够将用户的创意想象转化为具体视频画面。

• 3D时空注意力机制：采用先进的3D VAE技术，能够生成带有丰富细节的视频内容。

应用场景

• 创意视频制作：用户可以通过简单的文本提示，生成具有创意的视频内容。

• AI舞王：基于肢体驱动，用户上传全身或半身照片，体验一键跳舞的乐趣。

• AI唱跳：同时驱动表情和肢体动作，生成生动的唱跳视频。

用户体验

• 邀测体验：目前"可灵"大模型已在快影App开放邀测体验，用户可以申请体验最新的文生视频功能，由于申请人数较多，所以大家要耐心等待一下。

• 图生视频功能：即将开放的图生视频功能将进一步丰富用户的创作体验。

研发背景

快手作为短视频行业的领军企业，在AI大模型时代展开全面布局，已发布包括"快意"、"可图"在内的多个产品，并推出了多项视频关键技术，引领行业发展。

技术优势

1. 3D时空联合注意力机制：可灵大模型采用了这种机制，能够更准确地建模视频中的复杂时空运动，生成大幅度且符合客观运动规律的视频内容

2. 模拟物理世界特性：得益于自研模型架构及强大的建模能力，可灵大模型能够模拟真实世界的物理特性，生成符合物理规律的视频，例如光影反射、重力影响下的流体运动等

3. 高分辨率和时长的视频生成：可灵大模型支持生成高达1080p分辨率、时长高达2分钟（帧率30fps）的视频，满足高质量视频内容的需求

4. 自由的宽高比支持：在推理过程中，可灵大模型能够输出多种视频宽高比，适应不同的播放场景和设备

5. 高效的训练基础设施：在研发过程中，快手配套建设了高效的大规模自动化数据解决方案，覆盖海量视频挖掘、多维打标筛选、视频描述增强等，提升了数据的规模和质量

6. 计算优化和通信优化：在训练过程中，采用了多种优化方案，极大提升了GPU和网络带宽利用率，并通过自动故障检测和failover等机制，提供了分钟级故障恢复能力

7. 原生的视频生成技术路线：可灵大模型采用了原生的文生视频技术路线，替代了图像生成加时序模块的组合，实现了生成时间长、帧率高，能准确处理复杂运动的能力

8. 自研3D VAE网络：在隐空间编/解码上，快手大模型团队自研了3D VAE网络，实现时空同步压缩，获得了较高的重建质量

9. 分布式训练集群和算子优化：通过分布式训练集群和算子优化等手段，快手大模型团队大幅提升了可灵大模型的硬件利用率

10. 模型能力的扩展：可灵大模型还支持多种控制信息输入，如相机运镜、帧率、边缘/关键点/深度等，为用户提供了丰富的内容控制能力。

未来展望

随着AI技术的不断进步，"可灵"大模型将持续加速研发与应用，带来更多创新的AI创作与互动体验，满足用户多样化的视频内容生成需求。