AI音视频工具 最新热门工具 FramePack
斯坦福发布了FramePack AI, 可以在6GB的笔记本GPU上运行，从单张图片生成一分钟、30fps的视频。
FramePack 是由 GitHub 的 Lvmin Zhang 与斯坦福大学的 Maneesh Agrawala 联合开发的开源视频生成项目2。以下是对它的简单介绍1：
- 核心功能：基于神经网络结构，通过预测下一帧（或下一帧部分）来逐步生成视频。它将输入上下文压缩为固定长度，使生成工作负载不随视频长度变化，大大提高生成效率，能处理大量帧，在笔记本电脑的 GPU 上也可运行 13B 模型。
- 技术特点：采用多阶段优化技术和独特的帧压缩算法，通过改变 Transformer 的 Patchify 核大小，对不同重要性的帧进行不同程度压缩，关键帧保留更多细节，次要帧大幅压缩，以此降低显存需求。还引入抗漂移采样技术，通过双向记忆法，让模型生成当前帧时既能参考最近的帧，也能回溯到初始帧的核心特征，避免漂移，提高视频质量。
- 应用场景：包括视频编辑，可帮助创建连续视频内容；动画制作，高效生成连续动作；游戏开发，提供实时的帧生成；教育应用，帮助教育工作者直观展示教学内容等。
- 项目特点：硬件兼容性强，支持 Nvidia RTX 30XX、40XX、50XX 系列 GPU，最低只需 6GB 显存。提供图形用户界面，用户上传图片并输入提示，即可生成视频。支持多种注意力机制，用户可根据需要选择不同的注意力内核。
总的来说，FramePack 降低了 AI 视频生成的硬件门槛，简化了创作流程，为视频生成领域带来了新的发展机遇，使普通用户也能轻松进行高质量视频创作。
智谱清言是北京智谱华章科技有限公司推出的首款生成式人工智能助手，于 2023 年 8 月 31 日正式上线。