Operaer's picture
Upload code/REPORT.md with huggingface_hub
9f15341 verified
|
Raw History Blame Contribute Delete
8.62 kB

NExT-GPT 复现报告

课程作业:MLLM 的 NExT-GPT 复现代码与结果 参考:chapter 6《动手学大模型:多模态大语言模型》 · 官方仓库 https://github.com/NExT-GPT/NExT-GPT 在线报告页:https://huggingface.co/spaces/Operaer/nextgpt-reproduction


一、作业要求与完成情况

要求 完成情况
提交 NExT-GPT 复现代码 ✅ 代码/NExT-GPT/(官方仓库,含兼容性修复)
提供可用链接 / 部署 ✅ 静态 Space 报告页(HF 免费静态空间)
执行结果 ✅ 执行结果/run_check.py + run_log.txt(本机实测)

说明:NExT-GPT 完整推理需约 40GB 权重 + GPU;本机为 CPU-only,故按课程 说明①「部署不了就交代码 + 执行结果」执行。完整推理的运行命令见第五节。


二、NExT-GPT 简介与架构

NExT-GPT 是首个端到端的任意模态到任意模态(any-to-any)多模态大模型(ICML 2024 Oral)。 它把任意模态的输入映射到语言空间,由 LLM 决策,再通过信号 token 驱动对应模态的解码器生成内容。

2.1 三段式架构(编码器 → LLM → 解码器)

多模态输入                    语言主干                       多模态输出
┌─────────────┐          ┌──────────────┐          ┌──────────────────┐
│ ImageBind    │  投影层  │ Vicuna-7B     │ 信号token │ 输出投影层        │
│ (图/视频/音频) │ ───────► │ (LLM)         │ ───────► │ → SD / ZeroScope / │
└─────────────┘          └──────────────┘          │   AudioLDM 解码器   │
                                                      └──────────────────┘
  • 编码端:ImageBind(huge)统一编码图像/视频/音频,经输入投影层对齐到 LLM 的词向量空间。
  • LLM:Vicuna-7B 负责理解与推理,同时生成模态信号 token(如 <image_XX>、<video_XX>、<audio_XX>)指示要输出哪种模态。
  • 解码端:输出投影层把信号 token 的表征映射到对应扩散模型的条件空间,由 Stable Diffusion(图)、ZeroScope(视频)、AudioLDM(音频)生成内容。

2.2 关键实现(来自 nextgpt/model/nextgpt_arch.py)

  • 三种模态 token 的索引:IMAGE_TOKEN_INDEX = -200、VIDEO_TOKEN_INDEX = -300、AUDIO_TOKEN_INDEX = -400,IGNORE_INDEX = -100。
  • prepare_inputs_labels_for_multimodal():把多模态特征拼接进 token embedding 序列,替换对应的占位 token。
  • initialize_vision_tokenizer():向词表加入 n_img_tokens + n_vid_tokens + n_aud_tokens 个信号 token,并初始化其 embedding。

2.3 三阶段训练

阶段 训练对象 冻结对象 目标
阶段 1(编码侧对齐) 输入投影层 ImageBind、LLM、输出投影层 让多模态特征对齐到语言空间
阶段 2(解码侧对齐) 输出投影层 ImageBind、LLM、输入投影层 让信号 token 能驱动解码器
阶段 3(指令微调) LLM(LoRA)、输入/输出投影层 ImageBind 指令跟随与多模态生成

三、代码结构(代码/NExT-GPT/)

NExT-GPT/
├── nextgpt/                    # 核心包
│   ├── model/
│   │   ├── nextgpt_arch.py     # 主体架构(编码器+投影层+解码器)
│   │   ├── language_model/     # Vicuna(LLaMA)封装
│   │   ├── multimodal_encoder/ # ImageBind 编码器
│   │   ├── multimodal_projector/# 输入/输出投影层(含 Q-Former)
│   │   └── multimodal_decoder/ # SD / AudioLDM / ZeroScope 封装
│   ├── conversation.py         # 13 种对话模板(Vicuna 等)
│   └── constants.py            # 模态 token 索引等常量
├── scripts/                    # pretrain_enc / pretrain_dec / finetune 脚本
├── predict.py                  # 推理入口(Cog/Replicate 格式)
├── train.py                    # 训练入口
├── training_utils.py           # 训练参数与三个阶段配置
├── requirements.txt            # 依赖
└── data/                       # 数据说明(大数据集未随包)

说明:本提交已剔除 data/ 下的数据集与预计算 embedding(约 180MB),仅保留 DATA_README.md 与 prepare_data.py,避免提交包过大。


四、复现过程与执行结果

4.1 环境

项 本机 官方要求
Python 3.12.7 3.8
PyTorch 2.14.1+cpu 2.1.2 + CUDA 12.1
transformers 4.57.6 4.42.0
GPU 无(CPU-only) A100 80G

4.2 实际执行(执行结果/run_check.py → run_log.txt)

1. 环境检查
   Python 3.12.7 | torch 2.14.1+cpu | CUDA 可用: False | transformers 4.57.6

2. 核心模块导入
   nextgpt.conversation 导入 OK
   nextgpt.constants    导入 OK
   对话模板数量: 13
   常量: IGNORE_INDEX=-100, IMAGE_TOKEN_INDEX=-200,
         VIDEO_TOKEN_INDEX=-300, AUDIO_TOKEN_INDEX=-400

3. 对话模板构建(模拟多模态对话输入)
   USER: 请描述这张图片。<image> ASSISTANT:

4. 模型构建模块检查
   nextgpt.model.builder                     导入 OK
   nextgpt.model.multimodal_encoder.builder  导入 OK
   nextgpt.model.multimodal_projector.builder 导入 OK
   nextgpt.model.multimodal_decoder.builder  导入 OK

4.3 复现中遇到的兼容性问题与修复(真实记录)

# 问题 原因 修复
1 ModuleNotFoundError: torchvision.transforms.functional_tensor 新版 torchvision 移除了该模块,旧版 pytorchvideo 仍在引用 添加兼容 shim:该类从 torchvision.transforms.functional 转出
2 cannot import name 'apply_chunking_to_forward' transformers ≥4.50 将工具函数迁到 transformers.pytorch_utils qformer.py 改为从 pytorch_utils 导入(保留旧版回退)
3 cannot import name 'find_pruneable_heads_and_indices' / 'prune_linear_layer' 同上 一并从 pytorch_utils 导入
4 cannot import name 'resolve_revision' from 'huggingface_hub' diffusers 0.43 依赖旧版 hub API 按官方 requirements 将 diffusers 降为 0.30.0
5 ModuleNotFoundError: torchaudio / ftfy / decord / pytorchvideo 依赖未装 逐个补装

结论:在没有 GPU 的前提下,代码的模块级复现是成功的(架构、编码器、投影层、 解码器全部可导入);完整推理只差 GPU + 40GB 权重。


五、完整运行 NExT-GPT(GPU 环境)

5.1 准备权重

组件 下载 大小
ImageBind (huge) https://dl.fbaipublicfiles.com/imagebind/imagebind_huge.pth ~4.3GB
Vicuna-7B-v1.5 https://huggingface.co/lmsys/vicuna-7b-v1.5 ~13GB
NExT-GPT 增量权重 https://huggingface.co/ChocoWu/nextgpt_7b_tiva_v0 ~14GB
SD v2 / AudioLDM / ZeroScope 代码自动下载 ~11GB

5.2 运行

conda env create -n nextgpt python=3.8
conda activate nextgpt
conda install pytorch==2.1.2 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia
git clone https://github.com/NExT-GPT/NExT-GPT.git && cd NExT-GPT
pip install -r requirements.txt

# 放置权重后推理
python predict.py

5.3 预期效果(官方 demo)

案例 输入 → 输出
Case-1 文本+图像 → 文本+音频
Case-2 文本+视频 → 文本+音频
Case-3 文本+图像 → 文本+图像+视频
Case-4 文本 → 文本+图像+视频+音频

(官方 demo 截图见 代码/NExT-GPT/figures/ 与在线报告页。)


六、结论

  1. 已完成 NExT-GPT 官方代码的模块级复现:核心架构、ImageBind 编码器、输入/输出投影层、三模态解码器均可正常导入运行。
  2. 解决了 5 类新旧依赖版本兼容问题(torchvision、transformers、diffusers、torchaudio 等),并保留在代码中。
  3. 完整的多模态推理受限于本机 无 GPU 与 约 40GB 权重,按课程说明①提交「代码 + 执行结果」。
  4. 提供完整 GPU 运行时命令与权重清单,可在 A100 环境下按第五节复现。

报告生成于课程作业提交,代码与执行日志见同目录。