項(xiàng)目簡介

Open-Sora項(xiàng)目是一項(xiàng)高效制作高質(zhì)量視頻的工作，明確所有權(quán)使用其模型、工具和內(nèi)容的計(jì)劃。通過采用開源原則，Open-Sora 不僅實(shí)現(xiàn)了先進(jìn)的視頻生成技術(shù)的普及，還提供了一個專業(yè)且用戶界面的方案，簡化了視頻制作的復(fù)雜性。

通過 Open-Sora，我們希望更多的開發(fā)者一起探索內(nèi)容創(chuàng)作領(lǐng)域的創(chuàng)新、創(chuàng)造和遏制。

項(xiàng)目展示

項(xiàng)目地址

https://github.com/hpcaitech/Open-Sora

新功能

• Open-Sora-v1 已發(fā)布。這里提供了模型權(quán)重。只需400K視頻片段和在單卡H800上訓(xùn)200天（類比穩(wěn)定視頻擴(kuò)散的152M樣本），我們就可以生成2秒的512×512視頻。
• ? 從圖像擴(kuò)散模型到視頻擴(kuò)散模型的三階段訓(xùn)練。我們提供每個階段的權(quán)重。
• ? 支持訓(xùn)練加速，包括 Transformer 加速、更快的 T5 和 VAE 以及序列任務(wù)。在對 64x512x512 視頻進(jìn)行訓(xùn)練時(shí)，Open-Sora 可將訓(xùn)練速度提高55%。詳細(xì)信息請參見訓(xùn)練加速。
• ? 我們提供用于數(shù)據(jù)修復(fù)的視頻剪輯和字幕工具。有關(guān)說明請點(diǎn)擊此處，我們的數(shù)據(jù)收集計(jì)劃請點(diǎn)擊數(shù)據(jù)集。
• ? 我們發(fā)現(xiàn)來自VideoGPT的 VQ-VAE 質(zhì)量較低，因此采用了來自Stability-AI的高質(zhì)量 VAE。我們還發(fā)現(xiàn)使用添加時(shí)間維度的采樣會導(dǎo)致質(zhì)量降低。更多討論，請參閱我們的報(bào)告。
• ? 我們研究了不同的架構(gòu)，包括 DiT、Latte 和我們提出的STDiT。我們的 STDiT 在質(zhì)量和速度之間實(shí)現(xiàn)了更好的權(quán)衡。更多討論，請參閱我們的報(bào)告。
• ? 支持剪輯和 T5 文本調(diào)節(jié)。
• ? 通過將圖像視為單幀視頻，我們的項(xiàng)目支持在圖像和視頻（如 ImageNet 和 UCF101）上訓(xùn)練 DiT。更多說明請參見指令解析。
• ?利用DiT、Latte和PixArt的官方權(quán)重支持推理。

查看更多

下一步計(jì)劃【按優(yōu)先級排序】

• 完成數(shù)據(jù)處理流程（包括密集光流、美學(xué)評分、文本圖像相似性、重復(fù)數(shù)據(jù)刪除等）。更多信息請參見數(shù)據(jù)集。[項(xiàng)目進(jìn)行中]
• 訓(xùn)練視頻-VAE。[項(xiàng)目進(jìn)行中]

查看更多

• 支持圖像和視頻調(diào)節(jié)。
• 評估流程。
• 加入更好的調(diào)度程序，如SD3中的整流流程程序。
• 支持可變長寬比、分辨率和持續(xù)時(shí)間。
• 發(fā)布后支持SD3。

目錄

• 安裝
• 模型權(quán)重
• 推理
• 數(shù)據(jù)處理
• 訓(xùn)練
• 貢獻(xiàn)
• 聲明
• 引用

安裝

# create a virtual env
conda create -n opensora python=3.10

# install torch
# the command below is for CUDA 12.1, choose install commands from 
# https://pytorch.org/get-started/locally/ based on your own CUDA version
pip3 install torch torchvision

# install flash attention (optional)
pip install packaging ninja
pip install flash-attn --no-build-isolation

# install apex (optional)
pip install -v --disable-pip-version-check --no-cache-dir --no-build-isolation --config-settings "--build-option=--cpp_ext" --config-settings "--build-option=--cuda_ext" git+https://github.com/NVIDIA/apex.git

# install xformers
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121

# install this project
git clone https://github.com/hpcaitech/Open-Sora
cd Open-Sora
pip install -v .

安裝完成后，建議閱讀結(jié)構(gòu)，了解項(xiàng)目結(jié)構(gòu)以及如何使用配置文件。

模型權(quán)重

我們模型的權(quán)重部分由PixArt-α初始化。參數(shù)數(shù)量為724M。有關(guān)訓(xùn)練的更多信息，請參閱我們的報(bào)告。有關(guān)數(shù)據(jù)集的更多信息，請參閱數(shù)據(jù)。HQ 表示水平。 :warning:轟炸性：我們的模型是在有限的預(yù)算內(nèi)訓(xùn)練出來的。質(zhì)量和文本掃描度相對較差。特別是在生成人類時(shí)，模型表現(xiàn)很差，無法遵循詳細(xì)的指令。我們正在努力改進(jìn)質(zhì)量和文本掃描。

推理

要使用我們提供的權(quán)重進(jìn)行推理，首先將T5權(quán)重下載到
pretrained_models/t5_ckpts/t5-v1_1-xxl中。然后下載模型權(quán)重。運(yùn)行以下命令配置生成樣本。請參見此處自定義模型。

# Sample 16x256x256 (5s/sample)
torchrun --standalone --nproc_per_node 1 scripts/inference.py configs/opensora/inference/16x256x256.py --ckpt-path ./path/to/your/ckpt.pth

# Sample 16x512x512 (20s/sample, 100 time steps)
torchrun --standalone --nproc_per_node 1 scripts/inference.py configs/opensora/inference/16x512x512.py --ckpt-path ./path/to/your/ckpt.pth

# Sample 64x512x512 (40s/sample, 100 time steps)
torchrun --standalone --nproc_per_node 1 scripts/inference.py configs/opensora/inference/64x512x512.py --ckpt-path ./path/to/your/ckpt.pth

# Sample 64x512x512 with sequence parallelism (30s/sample, 100 time steps)
# sequence parallelism is enabled automatically when nproc_per_node is larger than 1
torchrun --standalone --nproc_per_node 2 scripts/inference.py configs/opensora/inference/64x512x512.py --ckpt-path ./path/to/your/ckpt.pth

我們在H800 GPU上進(jìn)行了速度測試。如需使用其他模型進(jìn)行推理，請參見此處獲取更多說明。

數(shù)據(jù)處理

高質(zhì)量數(shù)據(jù)是高質(zhì)量模型的關(guān)鍵。這里有我們使用過的數(shù)據(jù)集和數(shù)據(jù)收集計(jì)劃。我們提供處理視頻數(shù)據(jù)的工具。目前，我們數(shù)據(jù)的處理流程包括以下步驟：

1. 下載數(shù)據(jù)集。[文件]
2. 將視頻分割成片段。 [文件]
3. 生成視頻字幕。 [文件]

訓(xùn)練

要啟動訓(xùn)練，首先T5權(quán)重下載到
pretrained_models/t5_ckpts/t5-v1_1-xxl中。然后運(yùn)行以下命令在單個節(jié)點(diǎn)上啟動訓(xùn)練。

# 1 GPU, 16x256x256
torchrun --nnodes=1 --nproc_per_node=1 scripts/train.py configs/opensora/train/16x256x512.py --data-path YOUR_CSV_PATH
# 8 GPUs, 64x512x512
torchrun --nnodes=1 --nproc_per_node=8 scripts/train.py configs/opensora/train/64x512x512.py --data-path YOUR_CSV_PATH --ckpt-path YOUR_PRETRAINED_CKPT

要在多個節(jié)點(diǎn)上啟動訓(xùn)練，請根據(jù)ColossalAI準(zhǔn)備一個主機(jī)文件，并運(yùn)行以下命令。

colossalai run --nproc_per_node 8 --hostfile hostfile scripts/train.py configs/opensora/train/64x512x512.py --data-path YOUR_CSV_PATH --ckpt-path YOUR_PRETRAINED_CKPT

有關(guān)其他模型的訓(xùn)練和高級使用方法，請參閱此處獲取更多說明。

貢獻(xiàn)

如果您希望為該項(xiàng)目做出貢獻(xiàn)，可以參考貢獻(xiàn)指南。

聲明

• DiT：帶有 Transformer 的可擴(kuò)展擴(kuò)散模型。
• OpenDiT：DiT 訓(xùn)練的加速。我們采用了有價(jià)值的 OpenDiT 訓(xùn)練進(jìn)度加速策略。
• PixArt：一種基于 DiT 的開源文本到圖像模型。
• Latte：嘗試有效地訓(xùn)練視頻 DiT。
• StabilityAI VAE：強(qiáng)大的圖像 VAE 模型。
• CLIP：強(qiáng)大的文本圖像嵌入模型。
• T5：強(qiáng)大的文本編碼器。
• LLaVA：基于Yi-34B 的強(qiáng)大圖像字幕模型。

資訊

[2024.03.18] 我們發(fā)布了Open-Sora 1.0，這是一個完全開源的視頻生成項(xiàng)目。

Open-Sora 1.0 支持視頻數(shù)據(jù)構(gòu)建、加速訓(xùn)練、推理等流程。

我們提供的模型權(quán)只需3天的訓(xùn)練就可以生成2秒的512x512視頻。

[2024.03.04] Open-Sora：開源Sora復(fù)現(xiàn)方案，成本降低46%，序列擴(kuò)充至近百萬