Operaer's picture
Upload code/REPORT.md with huggingface_hub
9f15341 verified
|
Raw History Blame Contribute Delete
8.62 kB
# NExT-GPT 复现报告
> 课程作业:MLLM 的 NExT-GPT 复现代码与结果
> 参考:chapter 6《动手学大模型:多模态大语言模型》 · 官方仓库 <https://github.com/NExT-GPT/NExT-GPT>
> 在线报告页:<https://huggingface.co/spaces/Operaer/nextgpt-reproduction>
---
## 一、作业要求与完成情况
| 要求 | 完成情况 |
| --- | --- |
| 提交 NExT-GPT 复现代码 | ✅ `代码/NExT-GPT/`(官方仓库,含兼容性修复) |
| 提供可用链接 / 部署 | ✅ 静态 Space 报告页(HF 免费静态空间) |
| 执行结果 | ✅ `执行结果/run_check.py` + `run_log.txt`(本机实测) |
> 说明:NExT-GPT 完整推理需约 40GB 权重 + GPU;本机为 CPU-only,故按课程
> 说明①「部署不了就交代码 + 执行结果」执行。完整推理的运行命令见第五节。
---
## 二、NExT-GPT 简介与架构
NExT-GPT 是首个端到端的**任意模态到任意模态**(any-to-any)多模态大模型(ICML 2024 Oral)。
它把任意模态的输入映射到语言空间,由 LLM 决策,再通过信号 token 驱动对应模态的解码器生成内容。
### 2.1 三段式架构(编码器 → LLM → 解码器)
```
多模态输入 语言主干 多模态输出
┌─────────────┐ ┌──────────────┐ ┌──────────────────┐
│ ImageBind │ 投影层 │ Vicuna-7B │ 信号token │ 输出投影层 │
│ (图/视频/音频) │ ───────► │ (LLM) │ ───────► │ → SD / ZeroScope / │
└─────────────┘ └──────────────┘ │ AudioLDM 解码器 │
└──────────────────┘
```
- **编码端**:ImageBind(huge)统一编码图像/视频/音频,经输入投影层对齐到 LLM 的词向量空间。
- **LLM**:Vicuna-7B 负责理解与推理,同时生成**模态信号 token**(如 `<image_XX>`、`<video_XX>`、`<audio_XX>`)指示要输出哪种模态。
- **解码端**:输出投影层把信号 token 的表征映射到对应扩散模型的条件空间,由 Stable Diffusion(图)、ZeroScope(视频)、AudioLDM(音频)生成内容。
### 2.2 关键实现(来自 `nextgpt/model/nextgpt_arch.py`)
- 三种模态 token 的索引:`IMAGE_TOKEN_INDEX = -200`、`VIDEO_TOKEN_INDEX = -300`、`AUDIO_TOKEN_INDEX = -400`,`IGNORE_INDEX = -100`。
- `prepare_inputs_labels_for_multimodal()`:把多模态特征拼接进 token embedding 序列,替换对应的占位 token。
- `initialize_vision_tokenizer()`:向词表加入 `n_img_tokens + n_vid_tokens + n_aud_tokens` 个信号 token,并初始化其 embedding。
### 2.3 三阶段训练
| 阶段 | 训练对象 | 冻结对象 | 目标 |
| --- | --- | --- | --- |
| 阶段 1(编码侧对齐) | 输入投影层 | ImageBind、LLM、输出投影层 | 让多模态特征对齐到语言空间 |
| 阶段 2(解码侧对齐) | 输出投影层 | ImageBind、LLM、输入投影层 | 让信号 token 能驱动解码器 |
| 阶段 3(指令微调) | LLM(LoRA)、输入/输出投影层 | ImageBind | 指令跟随与多模态生成 |
---
## 三、代码结构(`代码/NExT-GPT/`)
```
NExT-GPT/
├── nextgpt/ # 核心包
│ ├── model/
│ │ ├── nextgpt_arch.py # 主体架构(编码器+投影层+解码器)
│ │ ├── language_model/ # Vicuna(LLaMA)封装
│ │ ├── multimodal_encoder/ # ImageBind 编码器
│ │ ├── multimodal_projector/# 输入/输出投影层(含 Q-Former)
│ │ └── multimodal_decoder/ # SD / AudioLDM / ZeroScope 封装
│ ├── conversation.py # 13 种对话模板(Vicuna 等)
│ └── constants.py # 模态 token 索引等常量
├── scripts/ # pretrain_enc / pretrain_dec / finetune 脚本
├── predict.py # 推理入口(Cog/Replicate 格式)
├── train.py # 训练入口
├── training_utils.py # 训练参数与三个阶段配置
├── requirements.txt # 依赖
└── data/ # 数据说明(大数据集未随包)
```
> 说明:本提交已剔除 `data/` 下的数据集与预计算 embedding(约 180MB),仅保留
> `DATA_README.md` 与 `prepare_data.py`,避免提交包过大。
---
## 四、复现过程与执行结果
### 4.1 环境
| 项 | 本机 | 官方要求 |
| --- | --- | --- |
| Python | 3.12.7 | 3.8 |
| PyTorch | 2.14.1+cpu | 2.1.2 + CUDA 12.1 |
| transformers | 4.57.6 | 4.42.0 |
| GPU | **无(CPU-only)** | A100 80G |
### 4.2 实际执行(`执行结果/run_check.py` → `run_log.txt`)
```
1. 环境检查
Python 3.12.7 | torch 2.14.1+cpu | CUDA 可用: False | transformers 4.57.6
2. 核心模块导入
nextgpt.conversation 导入 OK
nextgpt.constants 导入 OK
对话模板数量: 13
常量: IGNORE_INDEX=-100, IMAGE_TOKEN_INDEX=-200,
VIDEO_TOKEN_INDEX=-300, AUDIO_TOKEN_INDEX=-400
3. 对话模板构建(模拟多模态对话输入)
USER: 请描述这张图片。<image> ASSISTANT:
4. 模型构建模块检查
nextgpt.model.builder 导入 OK
nextgpt.model.multimodal_encoder.builder 导入 OK
nextgpt.model.multimodal_projector.builder 导入 OK
nextgpt.model.multimodal_decoder.builder 导入 OK
```
### 4.3 复现中遇到的兼容性问题与修复(真实记录)
| # | 问题 | 原因 | 修复 |
| --- | --- | --- | --- |
| 1 | `ModuleNotFoundError: torchvision.transforms.functional_tensor` | 新版 torchvision 移除了该模块,旧版 pytorchvideo 仍在引用 | 添加兼容 shim:该类从 `torchvision.transforms.functional` 转出 |
| 2 | `cannot import name 'apply_chunking_to_forward'` | transformers ≥4.50 将工具函数迁到 `transformers.pytorch_utils` | `qformer.py` 改为从 `pytorch_utils` 导入(保留旧版回退) |
| 3 | `cannot import name 'find_pruneable_heads_and_indices' / 'prune_linear_layer'` | 同上 | 一并从 `pytorch_utils` 导入 |
| 4 | `cannot import name 'resolve_revision' from 'huggingface_hub'` | diffusers 0.43 依赖旧版 hub API | 按官方 requirements 将 diffusers 降为 `0.30.0` |
| 5 | `ModuleNotFoundError: torchaudio / ftfy / decord / pytorchvideo` | 依赖未装 | 逐个补装 |
> 结论:在没有 GPU 的前提下,代码的**模块级复现**是成功的(架构、编码器、投影层、
> 解码器全部可导入);完整推理只差 GPU + 40GB 权重。
---
## 五、完整运行 NExT-GPT(GPU 环境)
### 5.1 准备权重
| 组件 | 下载 | 大小 |
| --- | --- | --- |
| ImageBind (huge) | <https://dl.fbaipublicfiles.com/imagebind/imagebind_huge.pth> | ~4.3GB |
| Vicuna-7B-v1.5 | <https://huggingface.co/lmsys/vicuna-7b-v1.5> | ~13GB |
| NExT-GPT 增量权重 | <https://huggingface.co/ChocoWu/nextgpt_7b_tiva_v0> | ~14GB |
| SD v2 / AudioLDM / ZeroScope | 代码自动下载 | ~11GB |
### 5.2 运行
```bash
conda env create -n nextgpt python=3.8
conda activate nextgpt
conda install pytorch==2.1.2 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia
git clone https://github.com/NExT-GPT/NExT-GPT.git && cd NExT-GPT
pip install -r requirements.txt
# 放置权重后推理
python predict.py
```
### 5.3 预期效果(官方 demo)
| 案例 | 输入 → 输出 |
| --- | --- |
| Case-1 | 文本+图像 → 文本+音频 |
| Case-2 | 文本+视频 → 文本+音频 |
| Case-3 | 文本+图像 → 文本+图像+视频 |
| Case-4 | 文本 → 文本+图像+视频+音频 |
(官方 demo 截图见 `代码/NExT-GPT/figures/` 与在线报告页。)
---
## 六、结论
1. 已完成 NExT-GPT 官方代码的**模块级复现**:核心架构、ImageBind 编码器、输入/输出投影层、三模态解码器均可正常导入运行。
2. 解决了 5 类新旧依赖版本兼容问题(torchvision、transformers、diffusers、torchaudio 等),并保留在代码中。
3. 完整的多模态推理受限于本机 **无 GPU** 与 **约 40GB 权重**,按课程说明①提交「代码 + 执行结果」。
4. 提供完整 GPU 运行时命令与权重清单,可在 A100 环境下按第五节复现。
---
*报告生成于课程作业提交,代码与执行日志见同目录。*