squade-vitg / README.md
Edward0707's picture
Initial commit
eea5a7d
|
Raw History Blame Contribute Delete
6.01 kB
---
license: mit
tags:
- image-classification
- ai-generated-image-detection
- deepfake-detection
- dinov2
library_name: pytorch
---
# SQuaDE ViT-g
冻结 **DINOv2 ViT-g** + 两组各三个专家头。干净图在第 27 个 block 提前退出,
省约 18% 前向深度。为 NTIRE 2026 Robust AIGI Detection 训练。
骨干不在本仓库内,运行时从 `facebook/dinov2-giant` 加载。本仓库只有专家头与门。
**当前推荐 `v3/`。**
---
## 快速推理
```bash
git clone https://github.com/kelvinchua1099-alt/SQuaDE && cd SQuaDE
pip install -r requirements.txt
huggingface-cli download kelvinchua/squade-vitg --local-dir ckpt
python Inference.py --dir /path/to/images \
--shallow ckpt/v3/mix2_shallow \
--deep ckpt/v3/mix2_deep \
--gate ckpt/v3/mix2_gate.pt \
--out preds.csv
```
单张图把 `--dir` 换成 `--image a.jpg`。
## 输出
```
image score label route experts votes ms_per_img
002d7df53e3ae55af5.jpg 1.000000 1 deep L26/L33/L37 1.000|1.000|0.955 684
0053097bfa680600.jpg 0.000000 0 shallow L14/L21/L27 1.000|0.000|0.000 684
```
| 列 | 含义 |
|---|---|
| `score` | 0~1,越大越可能是 AI 生成 |
| `label` | `score > 0.5` 时为 1(假) |
| `route` | 走了哪一组专家 |
| `experts` | 该组的三个抽头层 |
| `votes` | 组内三个专家各自的概率 |
| `vote_spread` | 三票最大差。**大 = 这张图在决策边界上**,最值得人工复核 |
| `depth_used` | 实际跑了多少个 block(27 或 37) |
| `gate_logit` | 门的输出,≤0 判「干净」走浅组 |
| `ms_per_img` | 每张图耗时 |
## 常用参数
```bash
--batch-size 8 # 24 GB 显存下可到 16
--no-early-exit # 两组都算完再按门选。精度相同,用来核对提前退出没改变结果
--device cpu # 慢很多,应急用
```
---
## 成绩
**只报 held-out**。官方 val 的 70% 与 val_hard 的 70% 参与了训练,划分文件
(`val_split_70_30.json` / `valhard_split_70_30.json`)随权重一起发布,可自行核验。
### v3(当前)
| 数据 | 方案 | 全量 | clean | robust |
|---|---|---|---|---|
| **官方 val held-out (3,000)** | shallow-only | **0.9922** | **0.9978** | **0.9833** |
| ±SE 0.23 | gated route | 0.9911 | 0.9977 | 0.9809 |
| **官方 val_hard held-out (750)** | shallow-only | 0.9430 | **0.9904** | 0.8674 |
| ±SE 1.8 | **gated route** | 0.9423 | 0.9857 | **0.8781** |
### 三个版本
| 口径 | v1 | v2 | v3 |
|---|---|---|---|
| val_hard held-out robust | — | 0.8068 | **0.8674** |
| val_hard held-out 全量 | — | 0.9111 | **0.9430** |
| val held-out robust | 0.9629 | 0.9830 | **0.9833** |
| 门 AUC(val_hard) | 0.7684 | 0.9072 | **0.9464** |
*v1 训练时 val_hard 尚未划分,无对应的 held-out 数。*
**改动**
- **v1 → v2**:训练集配比(NTIRE 从 11.4% 提到 37.9%)、退化强度(我们的档位掺入一半
官方 `distortion_range`)、并入官方 val 的 70%。三者贡献未拆分。
- **v2 → v3**:并入官方 val_hard 的 70%(1,750 行),从 v2 权重热启动 8 轮 @ lr 1e-4。
val_hard held-out 上 robust **+6.06**,同时 val held-out 未退化(+0.03)。
`robust` = 只在退化图上算,是竞赛主指标。gated route 相对全深度省约 **18%** 前向深度。
---
## 输入尺寸怎么处理
推理与训练用同一套规则。不一致等于给测试集加一层没记录在案的域偏移,且不会报错。
```
短边 >= 512 中心裁 512x512,一次重采样都不做
短边 < 512 先裁成正方,再用随机挑的一个内核上采样到 512
内核池 [BILINEAR, BICUBIC, BOX, LANCZOS],按图名确定性挑
```
之后送进骨干时中心裁到 **504**(patch=14 的整数倍),同样不 resize。
`Inference.py` 自动完成。
---
## 已知局限
1. **两份官方评测集都已被部分用于训练。** 只剩 3,000 + 750 张 held-out,
而 750 张的 SE 是 ±1.8 点 —— 小于 3~4 点的差异读不出来。唯一完全干净的是官方 test。
2. **抽头层是在官方 val / val_hard 上选的。** 从 41 层里选 3 层,信息量小但不是零。
3. **门在原生低分辨率来源上会失效。** 它学到的偏向「图糊不糊」而非「有没有施加过
退化算子」;实测 200×200 上采样的图里 82% 被判成退化,省下的算力掉到 5.8%。
4. **训练集的真图缺少「手机随手拍 + 多次转发重压缩」这一类。** 真图来自图库与
OpenImages,偏专业摄影;对低画质真实照片的表现未经检验。
5. **一部分训练数据的「干净档」并不真干净** —— 源图本身是 JPEG,自带未记录的压缩。
## 被本项目否定的假设
原始主张是「不同退化杀死不同深度的取证线索,所以最优读取深度是退化状态的函数」。
**经 13 项独立测量全部不成立**。最干净的一次(val_hard 内部折外交叉拟合、完整桶尺寸、
无分布偏移)净增益 **+0.117 点,置换检验 p = 0.323**。
站得住的是**多深度均匀融合**(集成方差缩减:在官方数据上比最强单专家高 1.67~5.89 点)
与**干净/退化二元门控提前退出**(省约 18% 算力)。
**退化与标签在训练集里严格独立**(交叉表核验:干净/退化两侧的假图占比均为 50.07%,
只用「是否退化」这一位去猜真假的 AUC = 0.5000),不存在「退化痕迹 → 假」的构造性泄漏。
---
## 文件
```
v3/mix2_shallow/stage1.pt 浅组 L14/L21/L27 + 标准化统计量 ← 推荐
v3/mix2_deep/stage1.pt 深组 L26/L33/L37 + 标准化统计量
v3/mix2_gate.pt 二元门,读浅组特征
v3/val_split_70_30.json 官方 val 的固定划分(held 永不参与训练)
v3/valhard_split_70_30.json 官方 val_hard 的固定划分
v2/, v1/ 更早两版,保留对照
```
MIT。DINOv2 权重另有其许可条款。