Open-Sora 免费 AI 视频生成三步跑通本地部署【免费下载链接】Open-SoraOpen-Sora: Democratizing Efficient Video Production for All项目地址: https://gitcode.com/GitHub_Trending/op/Open-Sora想把一句话变成短片或给照片加点动态Open-Sora 是一个跑在自己机器上的开源 AI 视频生成工具权重、代码、训练细节全部公开。适合不想买 API、想本地玩文生视频的创作者和开发者。它能帮你做什么三件你可以立刻做的事一句话出视频。输入“下雨的海面镜头缓慢推进”它会先生成一帧画面再基于这帧画面延展成几秒的视频。整条链路是文字转图片、再图片转视频text-to-video不用你额外拼接流程。图片变视频。传一张照片它按你的文字描述让画面动起来的仓库示例就是下图这张生成的视频里小猪在泥水里扑腾水花四溅。只出单帧。把帧数设成 1它就变成 AI 图片生成任务。先用它确认构图和风格满意后再扩成视频省得整段重抽。从零到出片三步跑通前提是一台带 NVIDIA 显卡的 Linux 机器装好 Python 3.10 和 PyTorch ≥ 2.4.0。第一步克隆仓库装依赖。装 xformers 时按你自己的 CUDA 版本选其余装完即可git clone https://gitcode.com/GitHub_Trending/op/Open-Sora cd Open-Sora pip install torch2.4.0 xformers pip install -v .第二步下载 11B 模型权重。命令跑完模型文件会自动落到./ckpts目录pip install huggingface_hub[cli] huggingface-cli download hpcai-tech/Open-Sora-v2 --local-dir ./ckpts第三步跑第一次生成。先用 256px 的配置写好提示词结果会存进samples目录torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py \ configs/diffusion/inference/t2i2v_256px.py \ --save-dir samples --prompt 下雨的海面镜头缓慢推进出片慢一点是正常的单卡 256px 大概一分钟一条。想要 768px 的清晰度把配置文件换成 768px 版本就行多卡时把--nproc_per_node改成 8 即可。调出好效果的旋钮参数不少真正常用的就这四个想动得多或少拧--motion-score默认 4。取 1 接近静止取 7 动作幅度明显变大设成dynamic则由模型按提示词自行判断需要配置 OpenAI 密钥。想适配竖屏或电影画幅拧--aspect_ratio。9:16、16:9、1:1、2.39:1 都可选出来的片子不用再裁切。想拉长时长拧--num_frames。帧数必须是 4k1 的形式且小于 129比如 33、65、97 都是合法取值。想复现上次那一条加--sampling_option.seed 42 --seed 42固定随机种子seed。同一提示词同一种子出来的视频完全一致。卡住了看这里显存不够用命令里加--offload True让模型把一部分权重换出显存或者把配置换回 256px。想要更高分辨率但卡不够768px 配置支持多卡推理项目会自动做序列并行sequence parallelism把长序列切到多卡上算速度接近线性提升。想自己训模型完整流程见 训练文档视频自动编码器把视频压缩成紧凑表示的部件的原理和高压缩版本读 docs/ae.md 和 docs/hcae.md 就清楚了。训练代码与数据管线都已开源跑完演示后你可以接着用自己的数据微调模型。先用 256px 把第一条片子跑出来看过效果后你就知道剩下的旋钮该往哪边拧了。【免费下载链接】Open-SoraOpen-Sora: Democratizing Efficient Video Production for All项目地址: https://gitcode.com/GitHub_Trending/op/Open-Sora创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考