README_zh.md

# CogVideoX1.5-5B-SAT

<p style="text-align: center;">
  <div align="center">
  <img src=https://github.com/THUDM/CogVideo/raw/main/resources/logo.svg width="50%"/>
  </div>
  <p align="center">
  <a href="README_en.md">📄 Read in English</a> |
  <a href="https://github.com/THUDM/CogVideo">🌐 Github </a> | 
  <a href="https://arxiv.org/pdf/2408.06072">📜 arxiv </a>
</p>
<p align="center">
📍 前往<a href="https://chatglm.cn/video?fr=osm_cogvideox"> 清影</a> 和 <a href="https://open.bigmodel.cn/?utm_campaign=open&_channel_track_key=OWTVNma9"> API平台</a> 体验商业版视频生成模型
</p>

CogVideoX是 [清影](https://chatglm.cn/video?fr=osm_cogvideo) 同源的开源版本视频生成模型。CogVideoX1.5 是 CogVideoX 开源模型的升级版本。 

CogVideoX1.5-5B 系列模型支持 **10秒** 长度的视频和更高的分辨率，其中 `CogVideoX1.5-5B-I2V` 支持 **任意分辨率** 的视频生成。

本仓库存放了 CogVideoX1.5-5B 模型的 SAT 权重版本。具体来说，包含了如下模块:


## Transformer

包含了I2V和T2V两个模型的权重。具体来说，包含了如下模块:
```
├── transformer_i2v
│   ├── 1000
│   │   └── mp_rank_00_model_states.pt
│   └── latest
└── transformer_t2v
    ├── 1000
    │   └── mp_rank_00_model_states.pt
    └── latest
```

请在推理的时候选择对应的权重进行推理。

## VAE

VAE部分与 CogVideoX-5B 系列一致，无需更新。你也可以直接从这里下载。具体来说，包含了如下模块:
```
└── vae
    └── 3d-vae.pt
```

## Text Encoder

与 diffusers 版本的 CogVideoX-5B 一致，无需更新。
你也可以直接从这里下载。具体来说，包含了如下模块:
```
├── t5-v1_1-xxl
   ├── added_tokens.json
   ├── config.json
   ├── model-00001-of-00002.safetensors
   ├── model-00002-of-00002.safetensors
   ├── model.safetensors.index.json
   ├── special_tokens_map.json
   ├── spiece.model
   └── tokenizer_config.json


0 directories, 8 files

```

## 模型协议

该模型根据 [CogVideoX LICENSE](LICENSE) 许可证发布。

## 引用

```
@article{yang2024cogvideox,
  title={CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer},
  author={Yang, Zhuoyi and Teng, Jiayan and Zheng, Wendi and Ding, Ming and Huang, Shiyu and Xu, Jiazheng and Yang, Yuanming and Hong, Wenyi and Zhang, Xiaohan and Feng, Guanyu and others},
  journal={arXiv preprint arXiv:2408.06072},
  year={2024}
}
```