Spaces:
Running
Running
|
Download code/REPORT.md from Operaer/nextgpt-reproduction: direct link, hf CLI and curl.
- Browser
- Download file 8.62 kB
-
https://huggingface.co/spaces/Operaer/nextgpt-reproduction/resolve/main/code/REPORT.md
- Command line
-
hf download hf://spaces/Operaer/nextgpt-reproduction/code/REPORT.md
-
curl -L -o REPORT.md https://huggingface.co/spaces/Operaer/nextgpt-reproduction/resolve/main/code/REPORT.md
8.62 kB
| # NExT-GPT 复现报告 | |
| > 课程作业:MLLM 的 NExT-GPT 复现代码与结果 | |
| > 参考:chapter 6《动手学大模型:多模态大语言模型》 · 官方仓库 <https://github.com/NExT-GPT/NExT-GPT> | |
| > 在线报告页:<https://huggingface.co/spaces/Operaer/nextgpt-reproduction> | |
| --- | |
| ## 一、作业要求与完成情况 | |
| | 要求 | 完成情况 | | |
| | --- | --- | | |
| | 提交 NExT-GPT 复现代码 | ✅ `代码/NExT-GPT/`(官方仓库,含兼容性修复) | | |
| | 提供可用链接 / 部署 | ✅ 静态 Space 报告页(HF 免费静态空间) | | |
| | 执行结果 | ✅ `执行结果/run_check.py` + `run_log.txt`(本机实测) | | |
| > 说明:NExT-GPT 完整推理需约 40GB 权重 + GPU;本机为 CPU-only,故按课程 | |
| > 说明①「部署不了就交代码 + 执行结果」执行。完整推理的运行命令见第五节。 | |
| --- | |
| ## 二、NExT-GPT 简介与架构 | |
| NExT-GPT 是首个端到端的**任意模态到任意模态**(any-to-any)多模态大模型(ICML 2024 Oral)。 | |
| 它把任意模态的输入映射到语言空间,由 LLM 决策,再通过信号 token 驱动对应模态的解码器生成内容。 | |
| ### 2.1 三段式架构(编码器 → LLM → 解码器) | |
| ``` | |
| 多模态输入 语言主干 多模态输出 | |
| ┌─────────────┐ ┌──────────────┐ ┌──────────────────┐ | |
| │ ImageBind │ 投影层 │ Vicuna-7B │ 信号token │ 输出投影层 │ | |
| │ (图/视频/音频) │ ───────► │ (LLM) │ ───────► │ → SD / ZeroScope / │ | |
| └─────────────┘ └──────────────┘ │ AudioLDM 解码器 │ | |
| └──────────────────┘ | |
| ``` | |
| - **编码端**:ImageBind(huge)统一编码图像/视频/音频,经输入投影层对齐到 LLM 的词向量空间。 | |
| - **LLM**:Vicuna-7B 负责理解与推理,同时生成**模态信号 token**(如 `<image_XX>`、`<video_XX>`、`<audio_XX>`)指示要输出哪种模态。 | |
| - **解码端**:输出投影层把信号 token 的表征映射到对应扩散模型的条件空间,由 Stable Diffusion(图)、ZeroScope(视频)、AudioLDM(音频)生成内容。 | |
| ### 2.2 关键实现(来自 `nextgpt/model/nextgpt_arch.py`) | |
| - 三种模态 token 的索引:`IMAGE_TOKEN_INDEX = -200`、`VIDEO_TOKEN_INDEX = -300`、`AUDIO_TOKEN_INDEX = -400`,`IGNORE_INDEX = -100`。 | |
| - `prepare_inputs_labels_for_multimodal()`:把多模态特征拼接进 token embedding 序列,替换对应的占位 token。 | |
| - `initialize_vision_tokenizer()`:向词表加入 `n_img_tokens + n_vid_tokens + n_aud_tokens` 个信号 token,并初始化其 embedding。 | |
| ### 2.3 三阶段训练 | |
| | 阶段 | 训练对象 | 冻结对象 | 目标 | | |
| | --- | --- | --- | --- | | |
| | 阶段 1(编码侧对齐) | 输入投影层 | ImageBind、LLM、输出投影层 | 让多模态特征对齐到语言空间 | | |
| | 阶段 2(解码侧对齐) | 输出投影层 | ImageBind、LLM、输入投影层 | 让信号 token 能驱动解码器 | | |
| | 阶段 3(指令微调) | LLM(LoRA)、输入/输出投影层 | ImageBind | 指令跟随与多模态生成 | | |
| --- | |
| ## 三、代码结构(`代码/NExT-GPT/`) | |
| ``` | |
| NExT-GPT/ | |
| ├── nextgpt/ # 核心包 | |
| │ ├── model/ | |
| │ │ ├── nextgpt_arch.py # 主体架构(编码器+投影层+解码器) | |
| │ │ ├── language_model/ # Vicuna(LLaMA)封装 | |
| │ │ ├── multimodal_encoder/ # ImageBind 编码器 | |
| │ │ ├── multimodal_projector/# 输入/输出投影层(含 Q-Former) | |
| │ │ └── multimodal_decoder/ # SD / AudioLDM / ZeroScope 封装 | |
| │ ├── conversation.py # 13 种对话模板(Vicuna 等) | |
| │ └── constants.py # 模态 token 索引等常量 | |
| ├── scripts/ # pretrain_enc / pretrain_dec / finetune 脚本 | |
| ├── predict.py # 推理入口(Cog/Replicate 格式) | |
| ├── train.py # 训练入口 | |
| ├── training_utils.py # 训练参数与三个阶段配置 | |
| ├── requirements.txt # 依赖 | |
| └── data/ # 数据说明(大数据集未随包) | |
| ``` | |
| > 说明:本提交已剔除 `data/` 下的数据集与预计算 embedding(约 180MB),仅保留 | |
| > `DATA_README.md` 与 `prepare_data.py`,避免提交包过大。 | |
| --- | |
| ## 四、复现过程与执行结果 | |
| ### 4.1 环境 | |
| | 项 | 本机 | 官方要求 | | |
| | --- | --- | --- | | |
| | Python | 3.12.7 | 3.8 | | |
| | PyTorch | 2.14.1+cpu | 2.1.2 + CUDA 12.1 | | |
| | transformers | 4.57.6 | 4.42.0 | | |
| | GPU | **无(CPU-only)** | A100 80G | | |
| ### 4.2 实际执行(`执行结果/run_check.py` → `run_log.txt`) | |
| ``` | |
| 1. 环境检查 | |
| Python 3.12.7 | torch 2.14.1+cpu | CUDA 可用: False | transformers 4.57.6 | |
| 2. 核心模块导入 | |
| nextgpt.conversation 导入 OK | |
| nextgpt.constants 导入 OK | |
| 对话模板数量: 13 | |
| 常量: IGNORE_INDEX=-100, IMAGE_TOKEN_INDEX=-200, | |
| VIDEO_TOKEN_INDEX=-300, AUDIO_TOKEN_INDEX=-400 | |
| 3. 对话模板构建(模拟多模态对话输入) | |
| USER: 请描述这张图片。<image> ASSISTANT: | |
| 4. 模型构建模块检查 | |
| nextgpt.model.builder 导入 OK | |
| nextgpt.model.multimodal_encoder.builder 导入 OK | |
| nextgpt.model.multimodal_projector.builder 导入 OK | |
| nextgpt.model.multimodal_decoder.builder 导入 OK | |
| ``` | |
| ### 4.3 复现中遇到的兼容性问题与修复(真实记录) | |
| | # | 问题 | 原因 | 修复 | | |
| | --- | --- | --- | --- | | |
| | 1 | `ModuleNotFoundError: torchvision.transforms.functional_tensor` | 新版 torchvision 移除了该模块,旧版 pytorchvideo 仍在引用 | 添加兼容 shim:该类从 `torchvision.transforms.functional` 转出 | | |
| | 2 | `cannot import name 'apply_chunking_to_forward'` | transformers ≥4.50 将工具函数迁到 `transformers.pytorch_utils` | `qformer.py` 改为从 `pytorch_utils` 导入(保留旧版回退) | | |
| | 3 | `cannot import name 'find_pruneable_heads_and_indices' / 'prune_linear_layer'` | 同上 | 一并从 `pytorch_utils` 导入 | | |
| | 4 | `cannot import name 'resolve_revision' from 'huggingface_hub'` | diffusers 0.43 依赖旧版 hub API | 按官方 requirements 将 diffusers 降为 `0.30.0` | | |
| | 5 | `ModuleNotFoundError: torchaudio / ftfy / decord / pytorchvideo` | 依赖未装 | 逐个补装 | | |
| > 结论:在没有 GPU 的前提下,代码的**模块级复现**是成功的(架构、编码器、投影层、 | |
| > 解码器全部可导入);完整推理只差 GPU + 40GB 权重。 | |
| --- | |
| ## 五、完整运行 NExT-GPT(GPU 环境) | |
| ### 5.1 准备权重 | |
| | 组件 | 下载 | 大小 | | |
| | --- | --- | --- | | |
| | ImageBind (huge) | <https://dl.fbaipublicfiles.com/imagebind/imagebind_huge.pth> | ~4.3GB | | |
| | Vicuna-7B-v1.5 | <https://huggingface.co/lmsys/vicuna-7b-v1.5> | ~13GB | | |
| | NExT-GPT 增量权重 | <https://huggingface.co/ChocoWu/nextgpt_7b_tiva_v0> | ~14GB | | |
| | SD v2 / AudioLDM / ZeroScope | 代码自动下载 | ~11GB | | |
| ### 5.2 运行 | |
| ```bash | |
| conda env create -n nextgpt python=3.8 | |
| conda activate nextgpt | |
| conda install pytorch==2.1.2 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia | |
| git clone https://github.com/NExT-GPT/NExT-GPT.git && cd NExT-GPT | |
| pip install -r requirements.txt | |
| # 放置权重后推理 | |
| python predict.py | |
| ``` | |
| ### 5.3 预期效果(官方 demo) | |
| | 案例 | 输入 → 输出 | | |
| | --- | --- | | |
| | Case-1 | 文本+图像 → 文本+音频 | | |
| | Case-2 | 文本+视频 → 文本+音频 | | |
| | Case-3 | 文本+图像 → 文本+图像+视频 | | |
| | Case-4 | 文本 → 文本+图像+视频+音频 | | |
| (官方 demo 截图见 `代码/NExT-GPT/figures/` 与在线报告页。) | |
| --- | |
| ## 六、结论 | |
| 1. 已完成 NExT-GPT 官方代码的**模块级复现**:核心架构、ImageBind 编码器、输入/输出投影层、三模态解码器均可正常导入运行。 | |
| 2. 解决了 5 类新旧依赖版本兼容问题(torchvision、transformers、diffusers、torchaudio 等),并保留在代码中。 | |
| 3. 完整的多模态推理受限于本机 **无 GPU** 与 **约 40GB 权重**,按课程说明①提交「代码 + 执行结果」。 | |
| 4. 提供完整 GPU 运行时命令与权重清单,可在 A100 环境下按第五节复现。 | |
| --- | |
| *报告生成于课程作业提交,代码与执行日志见同目录。* | |