interpretability/data influence/TracIn.md

论文内容叙述

研究问题与已有方法的不足

论文研究的是一个具体的数据解释问题：给定一个训练样本 (z) 和一个正在解释的样本 (z')，训练样本 (z) 在多大程度上促成或损害了模型在 (z') 上的预测？这里的 (z') 不一定属于正式测试集，只要是希望解释的输入即可。作者希望得到的是“训练样本对这个特定预测的影响”，而不是某个特征对预测的影响，也不是训练样本对整个模型平均准确率的影响。

先前方法Influence Functions 近似“删掉一个训练点、重新训练模型”这一反事实过程，依赖模型已经接近驻点或最优条件，而且要求逆 Hessian。现代深度网络通常没有训练到高精度收敛，完整 Hessian 的逆也随参数规模呈平方级增长。

相关工作还包括解释输入特征的 attribution 方法、衡量特征对整体准确率或损失影响的方法等，它们的解释目标不是“某个训练点如何影响某个测试点的损失”。另有工作沿 SGD 轨迹研究训练点对整体损失的影响，它利用 Hessian 追踪一个样本在没有出现的 minibatch 中的作用；这与 TracIn 的轨迹观点接近，但目标仍是整体损失。

TracIn 的思路是换一个更直接的问题：不模拟删点后的重新训练，而是沿实际训练轨迹观察测试点损失何时下降。若一次参数更新使用了训练点 (z)，那么这一步使 (z') 的损失下降了多少，就把这部分下降记作 (z) 对 (z') 的影响。这样定义不要求最终收敛，也只需要梯度、损失和训练过程中的参数 checkpoint。作者还希望它适用于不同架构、任务和领域，并能用于发现错标数据、解释单个预测和分析数据分布。

从理想影响到 TracIn

单样本更新时的理想定义

令 (Z) 是样本空间，模型参数为 (w\in\mathbb R^p)，损失函数为

$$\mathrm{\ell }:{\mathbb{R}}^p\times Z\to \mathbb{R},\backslash ell:\backslash mathbb\; R^p\backslash times\; Z\backslash to\backslash mathbb\; R,$$

所以参数为 (w) 的模型在样本 (z) 上的损失是 (\ell(w,z))。给定训练集

$$S=\{z_1,z_2,\dots ,z_n\},S=\backslash \{z\_1,z\_2,\backslash ldots,z\_n\backslash \},$$

假设训练过程每一步只使用一个样本 (z_t\in S)，将参数从 (w_t) 更新到 (w_{t+1})。对训练样本 (z) 和待解释样本 (z')，论文定义理想影响为：所有使用了 (z) 的训练步骤中，(z') 的损失下降量之和，

$$\mathrm{TracInIdeal}(z,z^{\mathrm{\prime }})=\sum _{t:z_t=z}[\mathrm{\ell }(w_t,z^{\mathrm{\prime }})-\mathrm{\ell }(w_{t+1},z^{\mathrm{\prime }})]\mathrm{.}\backslash operatorname\{TracInIdeal\}(z,z\text{'})\; =\backslash sum\_\{t:z\_t=z\}\; \backslash left[\backslash ell(w\_t,z\text{'})-\backslash ell(w\_\{t+1\},z\text{'})\backslash right].$$

正值表示 (z) 在训练轨迹中降低了 (z') 的损失，负值表示它使 (z') 的损失上升。作者把正影响的训练样本称为 proponents，把负影响的样本称为 opponents。这个术语比“有益/有害”更中性，因为一个样本可能对某个测试点有益、对另一个测试点有害。

这个定义有一个重要的守恒性质。对固定 (z')，把所有训练样本的影响相加，每个训练步骤的损失变化恰好出现一次，因此发生望远镜求和。若训练初始参数是 (w_0)，最终参数是 (w_T)，则

$$\sum _{i=1}^n\mathrm{TracInIdeal}(z_i,z^{\mathrm{\prime }})=\mathrm{\ell }(w_0,z^{\mathrm{\prime }})-\mathrm{\ell }(w_T,z^{\mathrm{\prime }})\mathrm{.}\backslash sum\_\{i=1\}^n\backslash operatorname\{TracInIdeal\}(z\_i,z\text{'})\; =\backslash ell(w\_0,z\text{'})-\backslash ell(w\_T,z\text{'}).$$

所以理想影响把测试点从训练开始到训练结束的总损失下降分摊给各训练样本。这与微积分基本定理的关系是：连续情形中，函数在路径两端的差等于沿路径积分梯度；这里训练路径是离散的，影响量把每个离散步骤的损失差累加起来。

理想定义只适用于逐样本更新。真实优化通常使用 minibatch，而一个批次的损失变化没有唯一、客观的方法分摊给批内成员。因此论文下一步先用一阶近似，再给出 minibatch 版本。

一阶近似和梯度内积

假设每一步参数移动很小。对测试点 (z') 在 (w_t) 处作 Taylor 展开：

$$\mathrm{\ell }(w_{t+1},z^{\mathrm{\prime }})=\mathrm{\ell }(w_t,z^{\mathrm{\prime }})+{\mathrm{\nabla }}_w\mathrm{\ell }(w_t,z^{\mathrm{\prime }}{)}^{\mathrm{\top }}(w_{t+1}-w_t)+O(\mathrm{\parallel }{w}_{t+1}-w_t{\mathrm{\parallel }}_2^2)\mathrm{.}\backslash ell(w\_\{t+1\},z\text{'})\; =\backslash ell(w\_t,z\text{'})\; +\backslash nabla\_w\backslash ell(w\_t,z\text{'})^\backslash top(w\_\{t+1\}-w\_t)\; +O(\backslash |w\_\{t+1\}-w\_t\backslash |\_2^2).$$

若训练使用普通 SGD，且第 (t) 步使用 (z_t)，则

$$w_{t+1}-w_t=-{\eta }_t{\mathrm{\nabla }}_w\mathrm{\ell }(w_t,z_t),w\_\{t+1\}-w\_t=-\backslash eta\_t\backslash nabla\_w\backslash ell(w\_t,z\_t),$$

其中 (\eta_t) 是该步学习率。代回并移项，测试点损失在这一步的下降量为

$$\mathrm{\ell }(w_t,z^{\mathrm{\prime }})-\mathrm{\ell }(w_{t+1},z^{\mathrm{\prime }})\approx {\eta }_t\mathrm{\nabla }\mathrm{\ell }(w_t,z^{\mathrm{\prime }}{)}^{\mathrm{\top }}\mathrm{\nabla }\mathrm{\ell }(w_t,z_t)+O({\eta }_t^2)\mathrm{.}\backslash ell(w\_t,z\text{'})-\backslash ell(w\_\{t+1\},z\text{'})\; \backslash approx\; \backslash eta\_t\backslash ,\backslash nabla\backslash ell(w\_t,z\text{'})^\backslash top\backslash nabla\backslash ell(w\_t,z\_t)\; +O(\backslash eta\_t^2).$$

因此，若两个样本的损失梯度同向，训练 (z_t) 会降低 (z') 的损失，它们的梯度内积为正；若梯度反向，训练样本会损害测试点，内积为负。对所有使用训练点 (z) 的步骤求和，就得到论文主要使用的一阶 TracIn：

$$\mathrm{TracIn}(z,z^{\mathrm{\prime }})=\sum _{t:z_t=z}{\eta }_t\mathrm{\nabla }\mathrm{\ell }(w_t,z{)}^{\mathrm{\top }}\mathrm{\nabla }\mathrm{\ell }(w_t,z^{\mathrm{\prime }})\mathrm{.}\backslash operatorname\{TracIn\}(z,z\text{'})\; =\backslash sum\_\{t:z\_t=z\}\; \backslash eta\_t\backslash ,\backslash nabla\backslash ell(w\_t,z)^\backslash top\backslash nabla\backslash ell(w\_t,z\text{'}).$$

这里梯度都对模型参数 (w) 求，且在同一个训练时刻 (w_t) 计算。该公式不是说影响在一般情况下严格等于梯度内积，而是忽略了每次参数移动导致的二阶及更高阶项；小步长是近似成立的条件。

作者在推导中先限定为 SGD 以便写出明确公式。若使用 AdaGrad、Adam、Newton 等方法，参数变化不再是简单的 (-\eta_t\nabla\ell)，需要把实际更新规则代入 Taylor 展开；只要每步移动足够小，一阶近似的思想仍可保留，但影响项不一定仍是未经变换的梯度内积。

Minibatch 归因

设第 (t) 步的 minibatch 是 (B_t)，大小为 (b)，其平均梯度为

$$\frac{1}{b}\sum _{z\in B_t}\mathrm{\nabla }\mathrm{\ell }(w_t,z)\mathrm{.}\backslash frac1b\backslash sum\_\{z\backslash in\; B\_t\}\backslash nabla\backslash ell(w\_t,z).$$

该批次对测试点的整体一阶影响是

$$\mathrm{FirstOrderApproximation}(B_t,z^{\mathrm{\prime }})=\frac{{\eta }_t}{b}\sum _{z\in B_t}\mathrm{\nabla }\mathrm{\ell }(w_t,z^{\mathrm{\prime }}{)}^{\mathrm{\top }}\mathrm{\nabla }\mathrm{\ell }(w_t,z)\mathrm{.}\backslash operatorname\{FirstOrderApproximation\}(B\_t,z\text{'})\; =\backslash frac\{\backslash eta\_t\}\{b\}\backslash sum\_\{z\backslash in\; B\_t\}\; \backslash nabla\backslash ell(w\_t,z\text{'})^\backslash top\backslash nabla\backslash ell(w\_t,z).$$

论文把批次的影响平均分配给其中每个样本，所以一个训练点 (z) 在所有包含它的批次中的 TracIn 为

$$\mathrm{TracIn}(z,z^{\mathrm{\prime }})=\frac{1}{b}\sum _{t:z\in B_t}{\eta }_t\mathrm{\nabla }\mathrm{\ell }(w_t,z^{\mathrm{\prime }}{)}^{\mathrm{\top }}\mathrm{\nabla }\mathrm{\ell }(w_t,z)\mathrm{.}\backslash operatorname\{TracIn\}(z,z\text{'})\; =\backslash frac1b\backslash sum\_\{t:z\backslash in\; B\_t\}\; \backslash eta\_t\backslash ,\backslash nabla\backslash ell(w\_t,z\text{'})^\backslash top\backslash nabla\backslash ell(w\_t,z).$$

这样做保持了批次整体的一阶影响总和。论文还给出一个直接的近似质量检查：对某一步，比较真实的测试点损失下降

$$\mathrm{\ell }(w_t,z^{\mathrm{\prime }})-\mathrm{\ell }(w_{t+1},z^{\mathrm{\prime }})\backslash ell(w\_t,z\text{'})-\backslash ell(w\_\{t+1\},z\text{'})$$

和该批次的 FirstOrderApproximation；二者越接近，说明一阶近似在这个训练过程中的误差越小。

可实践的 checkpoint 版本 TracInCP

逐步保存参数、记录每个步骤使用了哪些样本，并在之后重放整个训练过程，对长训练来说不可行。论文利用通常已经存在的 checkpoint 做近似。

设保存了 (k) 个 checkpoint

$$w_{t_1},w_{t_2},\dots ,w_{t_k},w\_\{t\_1\},w\_\{t\_2\},\backslash ldots,w\_\{t\_k\},$$

对应训练迭代 (t_1,\ldots,t_k)。为得到一个近似的守恒分解，作者作两个假设：相邻 checkpoint 之间每个训练样本恰好访问一次；两个 checkpoint 之间学习率保持不变，记第 (i) 段的学习率为 (\eta_i)。第一个假设只用于近似理想影响的“所有样本影响之和等于总损失变化”性质；即使不成立，TracInCP 仍可作为一种影响度量。

真正的一阶 TracIn 需要样本被访问的那一刻的参数，但这些参数没有保存。论文用该样本被访问之后的第一个 checkpoint 参数 (w_{t_i}) 近似它。于是得到实际使用的公式

$$\begin{array}{cccc}& \mathrm{TracInCP}(z,z^{\mathrm{\prime }})=\sum _{i=1}^k{\eta }_i\mathrm{\nabla }\mathrm{\ell }(w_{t_i},z{)}^{\mathrm{\top }}\mathrm{\nabla }\mathrm{\ell }(w_{t_i},z^{\mathrm{\prime }})\mathrm{.}& & \text{(1)}\end{array}\backslash operatorname\{TracInCP\}(z,z\text{'})\; =\backslash sum\_\{i=1\}^k\; \backslash eta\_i\backslash ,\backslash nabla\backslash ell(w\_\{t\_i\},z)^\backslash top\; \backslash nabla\backslash ell(w\_\{t\_i\},z\text{'}).\; \backslash tag\{1\}$$

这里的 CP 是 CheckPoint 的缩写。它把一个样本在整段训练中的影响，近似成它在若干代表性模型状态上的梯度相似度加权和。若为了简化实现而把所有 checkpoint 等权，实验显示结果也相近，因此可以把 (\eta_i) 统一省略或吸收到权重中。

这个公式还有一个反事实解释：它近似“如果样本 (z) 在每个输入 checkpoint 处被访问一次，它会对 (z') 产生多大影响”。因此，即便 (z) 不在实际训练集里，也可以计算它相对于这些 checkpoint 的潜在影响；但必须记住，这种样本没有真正参与训练，也没有改变 checkpoint 的形成过程。

学习率、优化器、minibatch 组织等训练细节不同，理论上都可以重新推导相应的一阶项。作者预计实际使用的 checkpoint 形式在这些变化下仍大致保持不变，但论文没有给出对 Adam 等非 SGD 更新的完整严格推导。

与 Influence Functions 和 Representer Points 的差别

Influence Functions

Influence Functions 的目标是模拟删除一个训练点后重新训练模型，测量某测试点损失如何变化。对已经收敛的参数 (\hat w)，它给出

$$\mathrm{Inf}(z,z^{\mathrm{\prime }})=-{\mathrm{\nabla }}_{\widehat{w}}\mathrm{\ell }(\widehat{w},z^{\mathrm{\prime }}{)}^{\mathrm{\top }}{H}_{\widehat{w}}^{-1}{\mathrm{\nabla }}_{\widehat{w}}\mathrm{\ell }(\widehat{w},z),\backslash operatorname\{Inf\}(z,z\text{'})\; =-\; \backslash nabla\_\{\backslash hat\; w\}\backslash ell(\backslash hat\; w,z\text{'})^\backslash top\; H\_\{\backslash hat\; w\}^\{-1\}\; \backslash nabla\_\{\backslash hat\; w\}\backslash ell(\backslash hat\; w,z),$$

其中训练损失 Hessian 为

$$H_{\widehat{w}}=\frac{1}{n}\sum _{i=1}^n{\mathrm{\nabla }}_{\widehat{w}}^2\mathrm{\ell }(\widehat{w},z_i)\mathrm{.}H\_\{\backslash hat\; w\}\; =\backslash frac1n\backslash sum\_\{i=1\}^n\; \backslash nabla\_\{\backslash hat\; w\}^2\backslash ell(\backslash hat\; w,z\_i).$$

它需要模型满足最优性条件，并计算或近似 (H_{\hat w}^{-1})。当参数维度为 (p) 时，显式逆 Hessian 需要 (O(p^2)) 存储，且深度网络通常没有真正收敛。

论文在小模型上用随机 sketch 近似逆 Hessian。令 (G) 是随机投影矩阵，目标是用 (H_{\hat w}^{-1}G^\top) 近似逆 Hessian的低维表示，再以

$$(H_{\widehat{w}}^{-1}{G}^{\mathrm{\top }})(G\mathrm{\nabla }\mathrm{\ell }(\widehat{w},z^{\mathrm{\prime }}))(H\_\{\backslash hat\; w\}^\{-1\}G^\backslash top)(G\backslash nabla\backslash ell(\backslash hat\; w,z\text{'}))$$

作为 (H_{\hat w}^{-1}\nabla\ell(\hat w,z')) 的无偏估计。它通过最小化

$$\underset{S}{\min }\mathrm{\parallel }{H}_{\widehat{w}}S-G^{\mathrm{\top }}{\mathrm{\parallel }}_F^2\backslash min\_S\backslash |H\_\{\backslash hat\; w\}S-G^\backslash top\backslash |\_F^2$$

求 sketch。其梯度为

$${\mathrm{\nabla }}_S\mathrm{\parallel }{H}_{\widehat{w}}S-G^{\mathrm{\top }}{\mathrm{\parallel }}_F^2=2H_{\widehat{w}}(H_{\widehat{w}}S-G^{\mathrm{\top }}),\backslash nabla\_S\backslash |H\_\{\backslash hat\; w\}S-G^\backslash top\backslash |\_F^2\; =2H\_\{\backslash hat\; w\}(H\_\{\backslash hat\; w\}S-G^\backslash top),$$

实践中两个 $H_{\hat w}$ 用两个独立 minibatch 的样本二阶导平均来近似（其具体计算使用 Hessian-vector product）。

这种投影只需 (O(dp)) 存储，其中 (d\ll p)，但仍比 TracIn 更复杂。

Representer Point Selection

Representer 方法只对最后一层重新训练。把参数拆为 (w={w_1,w_2})，(w_1) 是底层表示，(w_2) 是把最后隐藏层表示映射为 logits 的顶层矩阵。固定 (w_1)，给 (w_2) 的优化加入 (L_2) 正则 (\lambda|w_2|^2)，并通过 line search 等方式训练到驻点，得到新顶层 (w_2') 和新模型 (w'={w_1,w_2'})。令 (f(w_1,z)) 是样本的最后隐藏层表示，(\phi(w',z)=w_2'f(w_1,z)) 是 logits，则训练点 (z) 对测试点 (z') 的影响是一个每类一个分量的向量：

$$\mathrm{Rep}(z,z^{\mathrm{\prime }})=-\frac{1}{2\lambda n}(f(w_1,z{)}^{\mathrm{\top }}f(w_1,z^{\mathrm{\prime }})){\mathrm{\partial }}_{\varphi (w^{\mathrm{\prime }},z^{\mathrm{\prime }})}\mathrm{\ell }(w^{\mathrm{\prime }},z^{\mathrm{\prime }})\mathrm{.}\backslash operatorname\{Rep\}(z,z\text{'})\; =\; -\backslash frac\{1\}\{2\backslash lambda\; n\}\; \backslash bigl(f(w\_1,z)^\backslash top\; f(w\_1,z\text{'})\backslash bigr)\; \backslash partial\_\{\backslash phi(w\text{'},z\text{'})\}\backslash ell(w\text{'},z\text{'}).$$

这来自 representer theorem：带 (L_2) 正则并达到驻点的顶层参数，可以写成训练表示的线性组合。因此它本质上是在最后一层表示空间中的核分解。缺点是必须改变并重新优化模型，line search 或 LBFGS 复杂且耗内存；底层层的影响没有自然解释；而且它解释的是预测分数分解，如何直接得到测试损失的影响并不清楚。TracIn 不需要重新训练某一层，也可以直接针对完整损失。

实验评价：用自影响找错标样本

论文首先采用一个可定量检验的方法。把训练点和待解释点设为同一个样本 (z'=z)，得到 self-influence：

$$\mathrm{TracIn}(z,z)\mathrm{.}\backslash operatorname\{TracIn\}(z,z).$$

如果一个样本被错误标注，它往往是离群点，但模型会努力记住这个错误标签。因此相对于自己的错误标签，它的损失梯度可能很大，并且训练它会显著降低自己的损失，产生很高的正自影响。将训练样本按自影响从高到低排序，好的影响度量应让错标样本集中出现在排名前部。评价指标是：检查排名前 (q%) 的样本时，已经找回了多少比例的错标数据，越高越好。

为模拟真实错误，作者先在正确数据上训练模型，然后把训练集的 10% 标签改成模型当前得分最高的错误类别，再用影响度量找回这些人为错标样本。在实际使用中，算法只负责给出候选列表，论文假设人类检查列表并确定哪些确实错标。

CIFAR-10

模型是 ResNet-56，正确数据上的测试准确率为 93.4%。训练 270 个 epoch，batch size 为 1000，初始学习率为 0.1，前 15 个 epoch warmup，之后在第 15、90、180、240 个 epoch 切换到 (0.1、0.01、0.001) 倍学习率。加入错标数据后，测试准确率降到 87.0%，训练准确率仍为 99.6%。

Influence Functions 只在最后一层计算，因为对完整网络求 Hessian 太贵；但 CIFAR-10 训练集有 50000 个样本，作者在最后一层上直接求逆 Hessian。Representer 方法用 line search 把最后一层调到驻点。TracInCP 也只取最后一层，每 30 个 checkpoint 取一次，从第 30 个开始，且 checkpoint 位于 epoch 边界。

TracInCP 在不同检查比例下都找回了更多错标样本。例如只检查排名前 20% 时，它找回了超过 80% 的错标数据，而其他方法低于 50%。如果把某个排名前缀中找到的样本标签修正后重新训练，TracIn 带来的测试准确率提升也高于另外两种方法。把各 checkpoint 等权而非按学习率加权，结果相近，说明在这个实验中可以简化权重。

不同 checkpoint 并不是重复地包含同一种信息。第 30 个 checkpoint 在排名前 10% 中更偏向找出原本属于 deer 和 frog 的错标样本，第 150 个更偏向 truck；这说明模型在训练的不同阶段学会了不同类别关系，不能只看最终模型。

MNIST

MNIST 使用三层隐藏层、约 240K 参数的模型，正确训练时测试准确率为 97.55%。模型较小，作者可以同时计算逐训练步骤的一阶 TracIn 和 checkpoint 近似，并在所有参数上比较 Influence Functions；但全参数随机 sketch 会有噪声，因为单个样本被删除造成的影响很小。为降低方差，实验使用更低学习率和更大 batch，因而较耗时。错标训练数据训练 140 个 epoch 后，训练准确率约 89.94%，测试准确率约 89.95%。

在可视化中，TracInCP 和 Representer 都能为测试数字找到外观相似的 proponents。Representer 找到的 opponents 有时并不相似，例如某个正确的 3 的 opponent 是 7；而 TracIn 选出的 opponents 通常在像素层面也与测试图像相似。这说明“对测试损失有害”不只是预测分数上的抽象相关，TracIn 能显示具体哪些视觉模式把损失推高。

错标识别结果与 CIFAR 一致：TracIn 找回的错标比例更高；逐步的一阶 TracIn 比每 30 个 checkpoint 的 TracInCP 更快找回错标，但优势不大。论文还单独验证两种近似。

第一，一阶近似的质量。对 100 个随机测试点和每个训练更新步，比较真实测试损失下降与 FirstOrderApproximation，二者 Pearson 相关系数为 0.978（接近 1，表示两种量几乎线性同步变化），说明小步长下梯度内积可以很好地追踪实际损失变化。 第二，checkpoint 近似的质量。用不同 checkpoint 的 TracInCP 分数与逐步一阶 TracIn 分数计算相关性。中途 checkpoint 通常比最后 checkpoint 相关性高，因为训练后期损失变平，梯度很小，最后模型单独提供的信息有限。增加 checkpoint 数会提高相关性；若优先选择损失下降速率高的 checkpoint，效果比同样数量的等间隔 checkpoint 更好。训练最初损失波动大的阶段和已经收敛后的阶段都不是高价值 checkpoint。

讨论：影响的含义和实现取舍

TracIn 的影响是“沿实际训练轨迹对某个测试点损失的贡献”，Influence Functions 的影响是“删掉一个点后重新训练的反事实变化”。两者回答的问题不同，不能把分数直接解释成同一个因果量。TracIn 不要求模型到达最优点，但一阶公式仍依赖每步移动较小；checkpoint 版还依赖 checkpoint 是否覆盖了训练中信息丰富的阶段。

TracIn 的实现复杂度低：不需要 Hessian 逆、不需要求驻点，也不需要改变原模型的顶层结构。它的代价是要保存若干参数 checkpoint，并在每个 checkpoint 上为训练点和查询点计算损失梯度；大模型参数维度很高时，梯度内积和存储仍然是瓶颈，下面的随机投影和层选择正是为此设计的。

三类应用

这一节不是为了与其他方法做严格定量比较，而是展示 TracIn 能从影响样本中生成什么类型的训练数据洞察。

California Housing：寻找模型意义上的可比房屋

在 California housing 回归任务中，作者使用 8:2 的训练/测试划分，三层隐藏层、约 168K 参数的回归模型，用 Adam 最小化 MSE 训练 200 个 epoch。测试集 explained variance 为 0.70，训练集为 0.72，TracInCP 每 20 个 checkpoint 取一次。

房地产中的 comparables 是位置、面积、状况等相似、可用来估计房价的已售房屋。作者对 Palo Alto 房屋的预测取 proponents，发现它们主要来自湾区其他地区，也来自 Sacramento、San Francisco、Los Angeles 等高房价地区，其中还有 Santa Catalina 岛上的高影响样本。它们不是人为设定的相似度，而是模型在训练过程中认为最能降低该预测损失的样本。

对训练样本自身计算 self-influence 后，高自影响样本多位于人口稠密地区，模型可能在这些区域有足够样本进行记忆；低自影响样本多来自稀疏地区，模型需要借助远处样本学习，直接记忆反而会损害性能。这把影响分数解释成了“模型在哪里记忆、在哪里依赖迁移”的信号。

DBPedia：发现文本标签中的相关性

DBPedia ontology 数据集包含 560K 训练样本、70K 测试样本，均匀分成 14 类。任务是根据 Wikipedia 标题和摘要预测 ontology。作者用 Simple Word-Embedding Model 训练 60 个 epoch，使用 SentencePiece 默认 tokenizer，训练和测试准确率均为 95.5%。TracInCP 取 6 个等间隔 checkpoint，只对最后全连接层求梯度。

对一个关于西班牙政治人物 Manuel Azaña 的测试例子，过滤掉本身错分类、因高损失而成为强影响点但不具区分性的样本后，排名靠前的 opponents 是多篇艺术家传记。这个列表暴露出数据中“政治人物”和“艺术家”之间的词汇或文本相关性：模型在这些艺术家文本上形成的梯度，会把该政治人物预测的损失推高。附录中 proponents 则包括瑞士联邦总理、哥伦比亚政治人物等其他 office-holder 传记，说明正向样本更接近目标类别的语义模式。

ImageNet：用顶层梯度扩展到大模型

ImageNet 实验在 ResNet-50 的全连接层上计算 TracIn。模型训练 90 个 epoch，数据有 1.28M 样本、1000 个类别；使用第 30、60、90 个 checkpoint，并把梯度投影到 1472 维。

对每个测试图像展示三个 proponents 和三个 opponents。proponents 大多与测试图像属于同一标签。一个被误分类为 band-aid 的 microphone 图像，其 proponents 虽然都是 microphone，却与它有不同风格；这提示可以补充更多相似风格的 microphone 数据来修正错误。对正确分类的图像，opponents 则揭示模型容易混淆的类别：church 对应 castle，bostonbull 对应 french bulldog，carwheel 对应 loupe 和 spotlight，chameleon 除了近亲 agama 外还会受到 broccoli、jackfruit 等外观差异很大的图像干扰。

大规模计算的实现

低延迟的近邻搜索

若每次查询都对所有训练点重新计算所有 checkpoint 的梯度内积，仍然昂贵。论文提出预计算方案：对每个训练点 (z)，在各 checkpoint 保存加权梯度，并把它们拼接成一个长向量：

$$v_z=[{\eta }_1\mathrm{\nabla }\mathrm{\ell }(w_{t_1},z);{\eta }_2\mathrm{\nabla }\mathrm{\ell }(w_{t_2},z);\dots ;{\eta }_k\mathrm{\nabla }\mathrm{\ell }(w_{t_k},z)]\mathrm{.}v\_z=\; \backslash left[\; \backslash eta\_1\backslash nabla\backslash ell(w\_\{t\_1\},z);\; \backslash eta\_2\backslash nabla\backslash ell(w\_\{t\_2\},z);\; \backslash ldots;\; \backslash eta\_k\backslash nabla\backslash ell(w\_\{t\_k\},z)\; \backslash right].$$

对查询点 (z') 也并行计算同样的拼接向量 (v_{z'})。二者的一个点积就是各 checkpoint 梯度内积的加权和，即 TracInCP。于是可以把所有训练向量交给近似最近邻库，在查询时快速找出高内积的 proponents 或低内积的 opponents，而不用逐点扫描所有 checkpoint 梯度。随机投影可以先压缩每个梯度，进一步降低存储。

随机投影

设完整梯度维度为 (p)，选择 (d\ll p)，随机矩阵

$$G\in {\mathbb{R}}^{d\times p},G\backslash in\backslash mathbb\; R^\{d\backslash times\; p\},$$

其元素独立服从 (\mathcal N(0,1/d))，因而

$$\mathbb{E}[G^{\mathrm{\top }}G]=I_p\mathrm{.}\backslash mathbb\; E[G^\backslash top\; G]=I\_p.$$

训练阶段保存

$${\eta }_{t}G\mathrm{\nabla }\mathrm{\ell }(w_t,z_t)\mathrm{.}\backslash eta\_tG\backslash nabla\backslash ell(w\_t,z\_t).$$

查询点 (z') 只需计算 (G\nabla\ell(w_t,z'))。由于

$$\mathbb{E}[({\eta }_{t}G\mathrm{\nabla }\mathrm{\ell }(w_t,z_t){)}^{\mathrm{\top }}(G\mathrm{\nabla }\mathrm{\ell }(w_t,z^{\mathrm{\prime }}))]={\eta }_t\mathrm{\nabla }\mathrm{\ell }(w_t,z_t{)}^{\mathrm{\top }}\mathrm{\nabla }\mathrm{\ell }(w_t,z^{\mathrm{\prime }}),\backslash mathbb\; E\backslash left[\; (\backslash eta\_tG\backslash nabla\backslash ell(w\_t,z\_t))^\backslash top\; (G\backslash nabla\backslash ell(w\_t,z\text{'}))\; \backslash right]\; =\backslash eta\_t\backslash nabla\backslash ell(w\_t,z\_t)^\backslash top\backslash nabla\backslash ell(w\_t,z\text{'}),$$

投影后的点积是原始 TracIn 单步项的无偏估计。一个训练梯度的 sketch 可以反复用于多个查询点，因此查询量越大，预计算的收益越明显。投影维度 (d) 越大，方差通常越低，但存储和计算越高。

全连接层的快速投影

对于权重矩阵 (W\in\mathbb R^{m\times n}) 的全连接层，令输入 (x\in\mathbb R^n)，输出的预激活为 (y=Wx)。对该层输出之后某个标量函数 (f) 求梯度，由链式法则

$${\mathrm{\nabla }}_{W}f(Wx)={\mathrm{\nabla }}_{y}f(y)x^{\mathrm{\top }}\mathrm{.}\backslash nabla\_W\; f(Wx)=\backslash nabla\_y\; f(y)\backslash ,x^\backslash top.$$

因此权重梯度是秩一矩阵。两个样本的梯度点积可以改写为

只需分别计算两个 (m) 维向量的点积和两个 (n) 维输入的点积，复杂度从直接比较 (mn) 个权重梯度降为 (O(m+n))。

若仍要得到适合近邻搜索的 (d) 维 sketch，可取两个独立随机矩阵

$$G_1\in {\mathbb{R}}^{\sqrt{d}\times m},G_2\in {\mathbb{R}}^{\sqrt{d}\times n},G\_1\backslash in\backslash mathbb\; R^\{\backslash sqrt\; d\backslash times\; m\},\backslash qquad\; G\_2\backslash in\backslash mathbb\; R^\{\backslash sqrt\; d\backslash times\; n\},$$

分别满足 (\mathbb E[G_1^\top G_1]=I)、(\mathbb E[G_2^\top G_2]=I)，计算

$$G_1{\mathrm{\nabla }}_{y}f(y)x^{\mathrm{\top }}{G}_2^{\mathrm{\top }}\in {\mathbb{R}}^{\sqrt{d}\times \sqrt{d}},G\_1\backslash nabla\_y\; f(y)\backslash ,x^\backslash top\; G\_2^\backslash top\; \backslash in\backslash mathbb\; R^\{\backslash sqrt\; d\backslash times\backslash sqrt\; d\},$$

再展平为 (d) 维向量。因为 (G_1,G_2) 独立，两个此类 sketch 的期望点积等于原始两个秩一梯度的点积；同时计算和存储复杂度为 (O((m+n)\sqrt d))，相比对 (mn) 个参数做一般随机投影更低。

checkpoint 的选择原则

checkpoint 不是越多越好，也不是只保存最终模型就够了。训练初期损失可能剧烈波动，单步信息不稳定；训练后期损失已经变平，梯度很小，checkpoint 对影响分数贡献有限。更有信息量的做法是在损失稳定下降的区间取样，并在下降速度较高处更密集地取样。若只取一个 checkpoint，中段且损失下降仍明显的模型通常比最终模型更能代表训练轨迹。

更广泛的影响与风险

训练数据影响分析可以帮助发现错标样本、数据偏差和导致特定预测的样本，从而改善数据质量和模型质量。在贷款等影响人的模型中，它也可能用于检查有偏训练数据与有偏预测之间的联系。

但影响分数只是统计和优化轨迹上的度量，不等于充分的公平性或因果证明。方法不准确时，可能把不公平模型误判为公平，或把公平模型误判为不公平；有意利用结果证明某一立场的对手会放大这种风险。它还可能被用来寻找能广泛损害模型预测、或专门损害某一群体预测的数据修改方式。因此实际使用时需要结合足够多的影响样本、数据审查和其他公平性分析，而不能把单个 TracIn 排名当作最终判断。