{ "mode": "steer", "alpha": 0.2, "layers": [ 15, 16, 17, 18, 20, 21, 22, 23 ], "suffixes": [ "down_proj", "o_proj", "out_proj" ], "hid": 1024, "tensors": [ { "name": "model.language_model.layers.15.mlp.down_proj.weight", "delta_l1": 21.582324981689453, "orig_l1": 24087.078125, "heatmap": [ [ 2.4e-05, 1.7e-05, 1.1e-05, 1e-05, 9e-06, 9e-06, 1e-05, 9e-06, 9e-06, 1e-05, 1.1e-05, 1e-05, 1e-05, 9e-06, 1.1e-05, 1.1e-05, 8e-06, 9e-06, 9e-06, 1.1e-05, 7e-06, 1.2e-05, 1e-05, 9e-06 ], [ 2e-05, 1.4e-05, 9e-06, 8e-06, 8e-06, 7e-06, 8e-06, 8e-06, 7e-06, 8e-06, 9e-06, 8e-06, 8e-06, 7e-06, 9e-06, 9e-06, 6e-06, 8e-06, 7e-06, 9e-06, 6e-06, 1e-05, 8e-06, 7e-06 ], [ 1.5e-05, 1e-05, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 6e-06, 5e-06, 7e-06, 4e-06, 7e-06, 6e-06, 6e-06 ], [ 1.4e-05, 1e-05, 7e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 7e-06, 4e-06, 7e-06, 6e-06, 5e-06 ], [ 1.1e-05, 8e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 5e-06, 3e-06, 6e-06, 5e-06, 4e-06 ], [ 1.2e-05, 8e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 5e-06, 4e-06, 5e-06, 3e-06, 6e-06, 5e-06, 5e-06 ], [ 1.6e-05, 1.1e-05, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 7e-06, 7e-06, 5e-06, 6e-06, 6e-06, 7e-06, 5e-06, 8e-06, 6e-06, 6e-06 ], [ 1.3e-05, 9e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 5e-06, 5e-06, 6e-06, 6e-06, 4e-06, 5e-06, 5e-06, 6e-06, 4e-06, 6e-06, 5e-06, 5e-06 ], [ 1e-05, 7e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 4e-06, 5e-06, 3e-06, 5e-06, 4e-06, 4e-06 ], [ 1.2e-05, 8e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 6e-06, 4e-06, 6e-06, 5e-06, 5e-06 ], [ 1.1e-05, 7e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 3e-06, 4e-06, 4e-06, 5e-06, 3e-06, 5e-06, 4e-06, 4e-06 ], [ 1.2e-05, 8e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 5e-06, 3e-06, 6e-06, 5e-06, 4e-06 ], [ 1.2e-05, 8e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 6e-06, 4e-06, 6e-06, 5e-06, 5e-06 ], [ 1.2e-05, 8e-06, 6e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 5e-06, 4e-06, 5e-06, 3e-06, 6e-06, 5e-06, 4e-06 ], [ 1.4e-05, 1e-05, 7e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 4e-06, 5e-06, 5e-06, 6e-06, 4e-06, 7e-06, 6e-06, 5e-06 ], [ 1.4e-05, 1e-05, 7e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 4e-06, 5e-06, 5e-06, 6e-06, 4e-06, 7e-06, 6e-06, 5e-06 ], [ 1.2e-05, 8e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 4e-06, 4e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 5e-06, 3e-06, 6e-06, 5e-06, 4e-06 ], [ 1e-05, 7e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 5e-06, 5e-06, 3e-06, 4e-06, 4e-06, 5e-06, 3e-06, 5e-06, 4e-06, 4e-06 ], [ 1.3e-05, 9e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 4e-06, 5e-06, 5e-06, 6e-06, 4e-06, 6e-06, 6e-06, 5e-06 ], [ 1.4e-05, 9e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 4e-06, 5e-06, 5e-06, 6e-06, 4e-06, 7e-06, 6e-06, 5e-06 ], [ 1.3e-05, 9e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 5e-06, 5e-06, 6e-06, 6e-06, 4e-06, 5e-06, 5e-06, 6e-06, 4e-06, 6e-06, 5e-06, 5e-06 ], [ 1.4e-05, 9e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 4e-06, 5e-06, 5e-06, 6e-06, 4e-06, 7e-06, 6e-06, 5e-06 ], [ 1.2e-05, 8e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 6e-06, 4e-06, 6e-06, 5e-06, 5e-06 ], [ 1.2e-05, 8e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 5e-06, 4e-06, 5e-06, 3e-06, 6e-06, 5e-06, 5e-06 ] ] }, { "name": "model.language_model.layers.15.self_attn.o_proj.weight", "delta_l1": 26.23137092590332, "orig_l1": 21830.43359375, "heatmap": [ [ 3e-05, 2.2e-05, 2.8e-05, 4.1e-05, 3.3e-05, 4.6e-05, 3.2e-05, 2.3e-05, 3e-05, 3.2e-05, 2.1e-05, 2.5e-05, 1.8e-05, 1.5e-05, 1.9e-05, 1.4e-05, 1.6e-05, 1.9e-05, 1.6e-05, 1.5e-05, 1.7e-05, 1e-05, 9e-06, 1.5e-05 ], [ 2.4e-05, 1.8e-05, 2.2e-05, 3.4e-05, 2.7e-05, 3.7e-05, 2.6e-05, 1.8e-05, 2.4e-05, 2.6e-05, 1.7e-05, 2e-05, 1.4e-05, 1.2e-05, 1.6e-05, 1.1e-05, 1.3e-05, 1.5e-05, 1.3e-05, 1.2e-05, 1.4e-05, 8e-06, 7e-06, 1.2e-05 ], [ 1.8e-05, 1.3e-05, 1.7e-05, 2.5e-05, 2e-05, 2.8e-05, 1.9e-05, 1.4e-05, 1.8e-05, 1.9e-05, 1.3e-05, 1.5e-05, 1.1e-05, 9e-06, 1.1e-05, 8e-06, 1e-05, 1.1e-05, 9e-06, 9e-06, 1e-05, 6e-06, 5e-06, 9e-06 ], [ 1.7e-05, 1.3e-05, 1.6e-05, 2.4e-05, 2e-05, 2.7e-05, 1.9e-05, 1.3e-05, 1.8e-05, 1.9e-05, 1.2e-05, 1.5e-05, 1.1e-05, 9e-06, 1.1e-05, 8e-06, 1e-05, 1.1e-05, 9e-06, 9e-06, 1e-05, 6e-06, 5e-06, 9e-06 ], [ 1.4e-05, 1e-05, 1.3e-05, 1.9e-05, 1.6e-05, 2.1e-05, 1.5e-05, 1.1e-05, 1.4e-05, 1.5e-05, 1e-05, 1.2e-05, 8e-06, 7e-06, 9e-06, 6e-06, 8e-06, 9e-06, 7e-06, 7e-06, 8e-06, 5e-06, 4e-06, 7e-06 ], [ 1.4e-05, 1.1e-05, 1.4e-05, 2e-05, 1.6e-05, 2.2e-05, 1.6e-05, 1.1e-05, 1.5e-05, 1.6e-05, 1e-05, 1.2e-05, 9e-06, 7e-06, 9e-06, 7e-06, 8e-06, 9e-06, 8e-06, 7e-06, 9e-06, 5e-06, 4e-06, 7e-06 ], [ 1.9e-05, 1.4e-05, 1.8e-05, 2.6e-05, 2.1e-05, 2.9e-05, 2e-05, 1.4e-05, 1.9e-05, 2e-05, 1.3e-05, 1.6e-05, 1.1e-05, 1e-05, 1.2e-05, 9e-06, 1e-05, 1.2e-05, 1e-05, 9e-06, 1.1e-05, 7e-06, 6e-06, 9e-06 ], [ 1.6e-05, 1.1e-05, 1.5e-05, 2.2e-05, 1.8e-05, 2.4e-05, 1.7e-05, 1.2e-05, 1.6e-05, 1.7e-05, 1.1e-05, 1.3e-05, 9e-06, 8e-06, 1e-05, 7e-06, 9e-06, 1e-05, 8e-06, 8e-06, 9e-06, 5e-06, 5e-06, 8e-06 ], [ 1.2e-05, 9e-06, 1.1e-05, 1.7e-05, 1.4e-05, 1.9e-05, 1.3e-05, 9e-06, 1.2e-05, 1.3e-05, 9e-06, 1e-05, 7e-06, 6e-06, 8e-06, 6e-06, 7e-06, 8e-06, 6e-06, 6e-06, 7e-06, 4e-06, 4e-06, 6e-06 ], [ 1.5e-05, 1.1e-05, 1.4e-05, 2.1e-05, 1.7e-05, 2.3e-05, 1.6e-05, 1.1e-05, 1.5e-05, 1.6e-05, 1.1e-05, 1.3e-05, 9e-06, 8e-06, 1e-05, 7e-06, 8e-06, 9e-06, 8e-06, 7e-06, 9e-06, 5e-06, 5e-06, 7e-06 ], [ 1.3e-05, 9e-06, 1.2e-05, 1.8e-05, 1.5e-05, 2e-05, 1.4e-05, 1e-05, 1.3e-05, 1.4e-05, 9e-06, 1.1e-05, 8e-06, 7e-06, 8e-06, 6e-06, 7e-06, 8e-06, 7e-06, 6e-06, 8e-06, 5e-06, 4e-06, 6e-06 ], [ 1.4e-05, 1e-05, 1.3e-05, 2e-05, 1.6e-05, 2.2e-05, 1.5e-05, 1.1e-05, 1.4e-05, 1.5e-05, 1e-05, 1.2e-05, 9e-06, 7e-06, 9e-06, 7e-06, 8e-06, 9e-06, 7e-06, 7e-06, 8e-06, 5e-06, 4e-06, 7e-06 ], [ 1.5e-05, 1.1e-05, 1.4e-05, 2.1e-05, 1.7e-05, 2.3e-05, 1.6e-05, 1.1e-05, 1.5e-05, 1.6e-05, 1.1e-05, 1.2e-05, 9e-06, 7e-06, 1e-05, 7e-06, 8e-06, 9e-06, 8e-06, 7e-06, 9e-06, 5e-06, 5e-06, 7e-06 ], [ 1.4e-05, 1e-05, 1.3e-05, 2e-05, 1.6e-05, 2.2e-05, 1.6e-05, 1.1e-05, 1.4e-05, 1.6e-05, 1e-05, 1.2e-05, 9e-06, 7e-06, 9e-06, 7e-06, 8e-06, 9e-06, 8e-06, 7e-06, 8e-06, 5e-06, 4e-06, 7e-06 ], [ 1.7e-05, 1.3e-05, 1.6e-05, 2.4e-05, 1.9e-05, 2.7e-05, 1.9e-05, 1.3e-05, 1.7e-05, 1.9e-05, 1.2e-05, 1.4e-05, 1e-05, 9e-06, 1.1e-05, 8e-06, 1e-05, 1.1e-05, 9e-06, 8e-06, 1e-05, 6e-06, 5e-06, 9e-06 ], [ 1.7e-05, 1.2e-05, 1.6e-05, 2.4e-05, 1.9e-05, 2.7e-05, 1.9e-05, 1.3e-05, 1.7e-05, 1.8e-05, 1.2e-05, 1.4e-05, 1e-05, 9e-06, 1.1e-05, 8e-06, 9e-06, 1.1e-05, 9e-06, 8e-06, 1e-05, 6e-06, 5e-06, 9e-06 ], [ 1.4e-05, 1e-05, 1.3e-05, 2e-05, 1.6e-05, 2.2e-05, 1.6e-05, 1.1e-05, 1.4e-05, 1.5e-05, 1e-05, 1.2e-05, 9e-06, 7e-06, 9e-06, 7e-06, 8e-06, 9e-06, 8e-06, 7e-06, 8e-06, 5e-06, 4e-06, 7e-06 ], [ 1.3e-05, 9e-06, 1.2e-05, 1.8e-05, 1.4e-05, 2e-05, 1.4e-05, 1e-05, 1.3e-05, 1.4e-05, 9e-06, 1.1e-05, 8e-06, 6e-06, 8e-06, 6e-06, 7e-06, 8e-06, 7e-06, 6e-06, 7e-06, 4e-06, 4e-06, 6e-06 ], [ 1.6e-05, 1.2e-05, 1.5e-05, 2.3e-05, 1.8e-05, 2.5e-05, 1.8e-05, 1.2e-05, 1.6e-05, 1.7e-05, 1.2e-05, 1.4e-05, 1e-05, 8e-06, 1e-05, 7e-06, 9e-06, 1e-05, 9e-06, 8e-06, 1e-05, 6e-06, 5e-06, 8e-06 ], [ 1.6e-05, 1.2e-05, 1.5e-05, 2.3e-05, 1.9e-05, 2.6e-05, 1.8e-05, 1.3e-05, 1.7e-05, 1.8e-05, 1.2e-05, 1.4e-05, 1e-05, 8e-06, 1.1e-05, 8e-06, 9e-06, 1e-05, 9e-06, 8e-06, 1e-05, 6e-06, 5e-06, 8e-06 ], [ 1.6e-05, 1.1e-05, 1.5e-05, 2.2e-05, 1.8e-05, 2.5e-05, 1.7e-05, 1.2e-05, 1.6e-05, 1.7e-05, 1.1e-05, 1.3e-05, 1e-05, 8e-06, 1e-05, 7e-06, 9e-06, 1e-05, 8e-06, 8e-06, 9e-06, 6e-06, 5e-06, 8e-06 ], [ 1.7e-05, 1.2e-05, 1.6e-05, 2.3e-05, 1.9e-05, 2.6e-05, 1.8e-05, 1.3e-05, 1.7e-05, 1.8e-05, 1.2e-05, 1.4e-05, 1e-05, 8e-06, 1.1e-05, 8e-06, 9e-06, 1.1e-05, 9e-06, 8e-06, 1e-05, 6e-06, 5e-06, 8e-06 ], [ 1.5e-05, 1.1e-05, 1.4e-05, 2.1e-05, 1.7e-05, 2.3e-05, 1.6e-05, 1.1e-05, 1.5e-05, 1.6e-05, 1.1e-05, 1.3e-05, 9e-06, 8e-06, 1e-05, 7e-06, 8e-06, 9e-06, 8e-06, 7e-06, 9e-06, 5e-06, 5e-06, 7e-06 ], [ 1.5e-05, 1.1e-05, 1.4e-05, 2e-05, 1.6e-05, 2.3e-05, 1.6e-05, 1.1e-05, 1.5e-05, 1.6e-05, 1e-05, 1.2e-05, 9e-06, 7e-06, 9e-06, 7e-06, 8e-06, 9e-06, 8e-06, 7e-06, 9e-06, 5e-06, 4e-06, 7e-06 ] ] }, { "name": "model.language_model.layers.16.linear_attn.out_proj.weight", "delta_l1": 16.400808334350586, "orig_l1": 17366.37109375, "heatmap": [ [ 2.7e-05, 1.3e-05, 1.4e-05, 4.8e-05, 2.4e-05, 5e-06, 2.9e-05, 1.3e-05, 3e-06, 1.7e-05, 1e-05, 9e-06, 1.2e-05, 2.6e-05, 4e-05, 6e-06, 1.1e-05, 1.3e-05, 1.1e-05, 1.2e-05, 1.2e-05, 2.2e-05, 1.3e-05, 1.6e-05 ], [ 1.8e-05, 9e-06, 9e-06, 3.2e-05, 1.6e-05, 3e-06, 1.9e-05, 9e-06, 2e-06, 1.2e-05, 7e-06, 6e-06, 8e-06, 1.7e-05, 2.7e-05, 4e-06, 7e-06, 9e-06, 8e-06, 8e-06, 8e-06, 1.5e-05, 9e-06, 1e-05 ], [ 1.6e-05, 8e-06, 8e-06, 2.9e-05, 1.5e-05, 3e-06, 1.8e-05, 8e-06, 2e-06, 1.1e-05, 6e-06, 5e-06, 7e-06, 1.6e-05, 2.5e-05, 4e-06, 7e-06, 8e-06, 7e-06, 7e-06, 7e-06, 1.3e-05, 8e-06, 1e-05 ], [ 1.4e-05, 7e-06, 7e-06, 2.5e-05, 1.2e-05, 2e-06, 1.5e-05, 7e-06, 2e-06, 9e-06, 5e-06, 5e-06, 6e-06, 1.3e-05, 2.1e-05, 3e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06, 1.1e-05, 7e-06, 8e-06 ], [ 1.2e-05, 6e-06, 6e-06, 2.1e-05, 1e-05, 2e-06, 1.2e-05, 6e-06, 1e-06, 8e-06, 4e-06, 4e-06, 5e-06, 1.1e-05, 1.7e-05, 3e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 1e-05, 6e-06, 7e-06 ], [ 1.1e-05, 5e-06, 6e-06, 2e-05, 1e-05, 2e-06, 1.2e-05, 6e-06, 1e-06, 7e-06, 4e-06, 4e-06, 5e-06, 1.1e-05, 1.7e-05, 3e-06, 4e-06, 5e-06, 5e-06, 5e-06, 5e-06, 9e-06, 5e-06, 7e-06 ], [ 1.3e-05, 6e-06, 6e-06, 2.3e-05, 1.1e-05, 2e-06, 1.4e-05, 6e-06, 2e-06, 8e-06, 5e-06, 4e-06, 6e-06, 1.2e-05, 1.9e-05, 3e-06, 5e-06, 6e-06, 5e-06, 6e-06, 6e-06, 1e-05, 6e-06, 7e-06 ], [ 1.3e-05, 6e-06, 6e-06, 2.3e-05, 1.1e-05, 2e-06, 1.4e-05, 6e-06, 2e-06, 8e-06, 5e-06, 4e-06, 6e-06, 1.2e-05, 1.9e-05, 3e-06, 5e-06, 6e-06, 5e-06, 6e-06, 6e-06, 1e-05, 6e-06, 8e-06 ], [ 8e-06, 4e-06, 4e-06, 1.4e-05, 7e-06, 1e-06, 8e-06, 4e-06, 1e-06, 5e-06, 3e-06, 3e-06, 3e-06, 7e-06, 1.2e-05, 2e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 6e-06, 4e-06, 5e-06 ], [ 1.1e-05, 5e-06, 6e-06, 2e-05, 1e-05, 2e-06, 1.2e-05, 6e-06, 1e-06, 7e-06, 4e-06, 4e-06, 5e-06, 1.1e-05, 1.7e-05, 3e-06, 4e-06, 5e-06, 5e-06, 5e-06, 5e-06, 9e-06, 5e-06, 6e-06 ], [ 1e-05, 5e-06, 5e-06, 1.7e-05, 8e-06, 2e-06, 1e-05, 5e-06, 1e-06, 6e-06, 4e-06, 3e-06, 4e-06, 9e-06, 1.4e-05, 2e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 8e-06, 5e-06, 6e-06 ], [ 1e-05, 5e-06, 5e-06, 1.9e-05, 9e-06, 2e-06, 1.1e-05, 5e-06, 1e-06, 7e-06, 4e-06, 3e-06, 5e-06, 1e-05, 1.6e-05, 2e-06, 4e-06, 5e-06, 4e-06, 5e-06, 5e-06, 8e-06, 5e-06, 6e-06 ], [ 1e-05, 5e-06, 5e-06, 1.9e-05, 9e-06, 2e-06, 1.1e-05, 5e-06, 1e-06, 7e-06, 4e-06, 3e-06, 5e-06, 1e-05, 1.6e-05, 2e-06, 4e-06, 5e-06, 4e-06, 5e-06, 5e-06, 8e-06, 5e-06, 6e-06 ], [ 1.2e-05, 6e-06, 6e-06, 2.1e-05, 1e-05, 2e-06, 1.2e-05, 6e-06, 1e-06, 8e-06, 4e-06, 4e-06, 5e-06, 1.1e-05, 1.7e-05, 3e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 9e-06, 6e-06, 7e-06 ], [ 1.2e-05, 6e-06, 6e-06, 2.2e-05, 1.1e-05, 2e-06, 1.3e-05, 6e-06, 2e-06, 8e-06, 5e-06, 4e-06, 5e-06, 1.2e-05, 1.8e-05, 3e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 1e-05, 6e-06, 7e-06 ], [ 1.1e-05, 5e-06, 6e-06, 2e-05, 1e-05, 2e-06, 1.2e-05, 6e-06, 1e-06, 7e-06, 4e-06, 4e-06, 5e-06, 1.1e-05, 1.7e-05, 3e-06, 4e-06, 5e-06, 5e-06, 5e-06, 5e-06, 9e-06, 5e-06, 7e-06 ], [ 9e-06, 5e-06, 5e-06, 1.7e-05, 8e-06, 2e-06, 1e-05, 5e-06, 1e-06, 6e-06, 3e-06, 3e-06, 4e-06, 9e-06, 1.4e-05, 2e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 8e-06, 4e-06, 5e-06 ], [ 1.2e-05, 6e-06, 6e-06, 2.1e-05, 1e-05, 2e-06, 1.2e-05, 6e-06, 1e-06, 8e-06, 4e-06, 4e-06, 5e-06, 1.1e-05, 1.7e-05, 3e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 9e-06, 6e-06, 7e-06 ], [ 1.2e-05, 6e-06, 6e-06, 2.1e-05, 1.1e-05, 2e-06, 1.3e-05, 6e-06, 1e-06, 8e-06, 4e-06, 4e-06, 5e-06, 1.2e-05, 1.8e-05, 3e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 1e-05, 6e-06, 7e-06 ], [ 9e-06, 5e-06, 5e-06, 1.7e-05, 8e-06, 2e-06, 1e-05, 5e-06, 1e-06, 6e-06, 4e-06, 3e-06, 4e-06, 9e-06, 1.4e-05, 2e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 8e-06, 5e-06, 6e-06 ], [ 1.3e-05, 7e-06, 7e-06, 2.4e-05, 1.2e-05, 2e-06, 1.4e-05, 7e-06, 2e-06, 9e-06, 5e-06, 5e-06, 6e-06, 1.3e-05, 2e-05, 3e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 1.1e-05, 6e-06, 8e-06 ], [ 1.3e-05, 6e-06, 7e-06, 2.4e-05, 1.2e-05, 2e-06, 1.4e-05, 7e-06, 2e-06, 9e-06, 5e-06, 4e-06, 6e-06, 1.3e-05, 2e-05, 3e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 1.1e-05, 6e-06, 8e-06 ], [ 9e-06, 4e-06, 5e-06, 1.7e-05, 8e-06, 2e-06, 1e-05, 5e-06, 1e-06, 6e-06, 3e-06, 3e-06, 4e-06, 9e-06, 1.4e-05, 2e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 7e-06, 4e-06, 5e-06 ], [ 1.1e-05, 6e-06, 6e-06, 2.1e-05, 1e-05, 2e-06, 1.2e-05, 6e-06, 1e-06, 7e-06, 4e-06, 4e-06, 5e-06, 1.1e-05, 1.7e-05, 3e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 9e-06, 5e-06, 7e-06 ] ] }, { "name": "model.language_model.layers.16.mlp.down_proj.weight", "delta_l1": 23.261253356933594, "orig_l1": 24278.98046875, "heatmap": [ [ 2.9e-05, 2.2e-05, 1.5e-05, 1.5e-05, 1.2e-05, 1.3e-05, 1.5e-05, 1.2e-05, 1.2e-05, 1.2e-05, 1.2e-05, 1.3e-05, 1.3e-05, 1.3e-05, 1.2e-05, 1.1e-05, 1.1e-05, 1.4e-05, 1.5e-05, 1.1e-05, 1e-05, 1.3e-05, 1.2e-05, 1e-05 ], [ 1.9e-05, 1.5e-05, 1e-05, 1e-05, 8e-06, 9e-06, 1e-05, 8e-06, 8e-06, 8e-06, 8e-06, 9e-06, 9e-06, 9e-06, 8e-06, 7e-06, 7e-06, 9e-06, 1e-05, 7e-06, 7e-06, 9e-06, 8e-06, 6e-06 ], [ 1.7e-05, 1.4e-05, 9e-06, 9e-06, 7e-06, 8e-06, 9e-06, 8e-06, 7e-06, 7e-06, 7e-06, 8e-06, 8e-06, 8e-06, 7e-06, 7e-06, 7e-06, 8e-06, 9e-06, 7e-06, 6e-06, 8e-06, 7e-06, 6e-06 ], [ 1.5e-05, 1.2e-05, 8e-06, 8e-06, 6e-06, 7e-06, 8e-06, 6e-06, 6e-06, 6e-06, 6e-06, 7e-06, 7e-06, 7e-06, 6e-06, 6e-06, 6e-06, 7e-06, 8e-06, 6e-06, 5e-06, 7e-06, 6e-06, 5e-06 ], [ 1.2e-05, 1e-05, 7e-06, 7e-06, 5e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 7e-06, 5e-06, 4e-06, 6e-06, 5e-06, 4e-06 ], [ 1.2e-05, 9e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 5e-06, 4e-06, 6e-06, 5e-06, 4e-06 ], [ 1.4e-05, 1.1e-05, 7e-06, 7e-06, 6e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 5e-06, 6e-06, 7e-06, 5e-06, 5e-06, 6e-06, 6e-06, 5e-06 ], [ 1.4e-05, 1.1e-05, 7e-06, 7e-06, 6e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 5e-06, 7e-06, 7e-06, 5e-06, 5e-06, 6e-06, 6e-06, 5e-06 ], [ 8e-06, 6e-06, 4e-06, 4e-06, 3e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 3e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 4e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06 ], [ 1.2e-05, 9e-06, 6e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06 ], [ 1e-05, 8e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 5e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 3e-06 ], [ 1.1e-05, 9e-06, 6e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 6e-06, 4e-06, 4e-06, 5e-06, 5e-06, 4e-06 ], [ 1.1e-05, 9e-06, 6e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 6e-06, 4e-06, 4e-06, 5e-06, 5e-06, 4e-06 ], [ 1.2e-05, 1e-05, 7e-06, 7e-06, 5e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 7e-06, 5e-06, 4e-06, 6e-06, 5e-06, 4e-06 ], [ 1.3e-05, 1e-05, 7e-06, 7e-06, 5e-06, 6e-06, 7e-06, 6e-06, 5e-06, 6e-06, 5e-06, 6e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 7e-06, 5e-06, 5e-06, 6e-06, 5e-06, 4e-06 ], [ 1.2e-05, 9e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 5e-06, 4e-06, 6e-06, 5e-06, 4e-06 ], [ 1e-05, 8e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 5e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 3e-06 ], [ 1.2e-05, 1e-05, 7e-06, 7e-06, 5e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 7e-06, 5e-06, 4e-06, 6e-06, 5e-06, 4e-06 ], [ 1.3e-05, 1e-05, 7e-06, 7e-06, 5e-06, 6e-06, 7e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 7e-06, 5e-06, 5e-06, 6e-06, 5e-06, 4e-06 ], [ 1e-05, 8e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 5e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 3e-06 ], [ 1.4e-05, 1.1e-05, 8e-06, 8e-06, 6e-06, 7e-06, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 7e-06, 7e-06, 7e-06, 6e-06, 6e-06, 6e-06, 7e-06, 8e-06, 6e-06, 5e-06, 7e-06, 6e-06, 5e-06 ], [ 1.4e-05, 1.1e-05, 8e-06, 8e-06, 6e-06, 7e-06, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 7e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06, 7e-06, 8e-06, 6e-06, 5e-06, 7e-06, 6e-06, 5e-06 ], [ 1e-05, 8e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 5e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 3e-06 ], [ 1.2e-05, 9e-06, 7e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 5e-06, 4e-06, 6e-06, 5e-06, 4e-06 ] ] }, { "name": "model.language_model.layers.17.linear_attn.out_proj.weight", "delta_l1": 23.68903350830078, "orig_l1": 16663.521484375, "heatmap": [ [ 1.4e-05, 1.9e-05, 2.1e-05, 1.8e-05, 1.9e-05, 6e-06, 3.3e-05, 2.7e-05, 2.5e-05, 3.4e-05, 3.8e-05, 3e-05, 2.8e-05, 2.4e-05, 1e-05, 3.4e-05, 2.8e-05, 4.5e-05, 1.1e-05, 1.8e-05, 2.6e-05, 1.7e-05, 2e-05, 1.5e-05 ], [ 9e-06, 1.3e-05, 1.4e-05, 1.2e-05, 1.2e-05, 4e-06, 2.2e-05, 1.8e-05, 1.6e-05, 2.2e-05, 2.5e-05, 2e-05, 1.9e-05, 1.6e-05, 7e-06, 2.3e-05, 1.9e-05, 3e-05, 7e-06, 1.2e-05, 1.7e-05, 1.1e-05, 1.3e-05, 1e-05 ], [ 8e-06, 1.1e-05, 1.2e-05, 1.1e-05, 1.1e-05, 4e-06, 1.9e-05, 1.5e-05, 1.4e-05, 2e-05, 2.2e-05, 1.7e-05, 1.6e-05, 1.4e-05, 6e-06, 2e-05, 1.6e-05, 2.6e-05, 6e-06, 1e-05, 1.5e-05, 1e-05, 1.2e-05, 8e-06 ], [ 8e-06, 1e-05, 1.2e-05, 1e-05, 1e-05, 3e-06, 1.8e-05, 1.4e-05, 1.3e-05, 1.8e-05, 2.1e-05, 1.6e-05, 1.5e-05, 1.3e-05, 5e-06, 1.9e-05, 1.5e-05, 2.4e-05, 6e-06, 1e-05, 1.4e-05, 9e-06, 1.1e-05, 8e-06 ], [ 6e-06, 7e-06, 8e-06, 7e-06, 7e-06, 2e-06, 1.3e-05, 1e-05, 1e-05, 1.3e-05, 1.5e-05, 1.2e-05, 1.1e-05, 9e-06, 4e-06, 1.3e-05, 1.1e-05, 1.7e-05, 4e-06, 7e-06, 1e-05, 7e-06, 8e-06, 6e-06 ], [ 7e-06, 9e-06, 1e-05, 9e-06, 9e-06, 3e-06, 1.6e-05, 1.3e-05, 1.2e-05, 1.6e-05, 1.8e-05, 1.4e-05, 1.4e-05, 1.1e-05, 5e-06, 1.6e-05, 1.3e-05, 2.1e-05, 5e-06, 9e-06, 1.2e-05, 8e-06, 1e-05, 7e-06 ], [ 9e-06, 1.2e-05, 1.3e-05, 1.1e-05, 1.2e-05, 4e-06, 2.1e-05, 1.6e-05, 1.5e-05, 2.1e-05, 2.3e-05, 1.9e-05, 1.8e-05, 1.5e-05, 6e-06, 2.1e-05, 1.7e-05, 2.8e-05, 6e-06, 1.1e-05, 1.6e-05, 1e-05, 1.2e-05, 9e-06 ], [ 6e-06, 9e-06, 1e-05, 8e-06, 9e-06, 3e-06, 1.5e-05, 1.2e-05, 1.1e-05, 1.6e-05, 1.7e-05, 1.4e-05, 1.3e-05, 1.1e-05, 5e-06, 1.6e-05, 1.3e-05, 2e-05, 5e-06, 8e-06, 1.2e-05, 8e-06, 9e-06, 7e-06 ], [ 5e-06, 6e-06, 7e-06, 6e-06, 6e-06, 2e-06, 1.1e-05, 9e-06, 8e-06, 1.1e-05, 1.2e-05, 1e-05, 9e-06, 8e-06, 3e-06, 1.1e-05, 9e-06, 1.5e-05, 3e-06, 6e-06, 8e-06, 5e-06, 7e-06, 5e-06 ], [ 7e-06, 9e-06, 1e-05, 9e-06, 9e-06, 3e-06, 1.6e-05, 1.3e-05, 1.2e-05, 1.6e-05, 1.8e-05, 1.4e-05, 1.4e-05, 1.1e-05, 5e-06, 1.6e-05, 1.3e-05, 2.1e-05, 5e-06, 9e-06, 1.2e-05, 8e-06, 1e-05, 7e-06 ], [ 6e-06, 7e-06, 8e-06, 7e-06, 7e-06, 2e-06, 1.3e-05, 1e-05, 1e-05, 1.3e-05, 1.5e-05, 1.2e-05, 1.1e-05, 9e-06, 4e-06, 1.3e-05, 1.1e-05, 1.7e-05, 4e-06, 7e-06, 1e-05, 6e-06, 8e-06, 6e-06 ], [ 6e-06, 8e-06, 1e-05, 8e-06, 8e-06, 3e-06, 1.5e-05, 1.2e-05, 1.1e-05, 1.5e-05, 1.7e-05, 1.3e-05, 1.3e-05, 1.1e-05, 4e-06, 1.5e-05, 1.3e-05, 2e-05, 5e-06, 8e-06, 1.1e-05, 7e-06, 9e-06, 7e-06 ], [ 5e-06, 7e-06, 8e-06, 7e-06, 7e-06, 2e-06, 1.2e-05, 1e-05, 9e-06, 1.3e-05, 1.4e-05, 1.1e-05, 1e-05, 9e-06, 4e-06, 1.3e-05, 1e-05, 1.6e-05, 4e-06, 7e-06, 9e-06, 6e-06, 7e-06, 5e-06 ], [ 7e-06, 1e-05, 1.1e-05, 9e-06, 9e-06, 3e-06, 1.7e-05, 1.3e-05, 1.2e-05, 1.7e-05, 1.9e-05, 1.5e-05, 1.4e-05, 1.2e-05, 5e-06, 1.7e-05, 1.4e-05, 2.3e-05, 5e-06, 9e-06, 1.3e-05, 8e-06, 1e-05, 7e-06 ], [ 6e-06, 8e-06, 9e-06, 8e-06, 8e-06, 3e-06, 1.4e-05, 1.1e-05, 1e-05, 1.4e-05, 1.6e-05, 1.3e-05, 1.2e-05, 1e-05, 4e-06, 1.5e-05, 1.2e-05, 1.9e-05, 4e-06, 8e-06, 1.1e-05, 7e-06, 9e-06, 6e-06 ], [ 6e-06, 8e-06, 9e-06, 7e-06, 8e-06, 2e-06, 1.3e-05, 1.1e-05, 1e-05, 1.4e-05, 1.5e-05, 1.2e-05, 1.1e-05, 1e-05, 4e-06, 1.4e-05, 1.1e-05, 1.8e-05, 4e-06, 7e-06, 1e-05, 7e-06, 8e-06, 6e-06 ], [ 5e-06, 7e-06, 8e-06, 6e-06, 7e-06, 2e-06, 1.2e-05, 9e-06, 9e-06, 1.2e-05, 1.3e-05, 1.1e-05, 1e-05, 8e-06, 3e-06, 1.2e-05, 1e-05, 1.6e-05, 4e-06, 6e-06, 9e-06, 6e-06, 7e-06, 5e-06 ], [ 7e-06, 9e-06, 1e-05, 9e-06, 9e-06, 3e-06, 1.6e-05, 1.2e-05, 1.2e-05, 1.6e-05, 1.8e-05, 1.4e-05, 1.3e-05, 1.1e-05, 5e-06, 1.6e-05, 1.3e-05, 2.1e-05, 5e-06, 8e-06, 1.2e-05, 8e-06, 9e-06, 7e-06 ], [ 6e-06, 8e-06, 9e-06, 8e-06, 8e-06, 3e-06, 1.4e-05, 1.1e-05, 1e-05, 1.4e-05, 1.6e-05, 1.2e-05, 1.2e-05, 1e-05, 4e-06, 1.4e-05, 1.2e-05, 1.8e-05, 4e-06, 7e-06, 1.1e-05, 7e-06, 8e-06, 6e-06 ], [ 7e-06, 9e-06, 1.1e-05, 9e-06, 9e-06, 3e-06, 1.6e-05, 1.3e-05, 1.2e-05, 1.7e-05, 1.9e-05, 1.5e-05, 1.4e-05, 1.2e-05, 5e-06, 1.7e-05, 1.4e-05, 2.2e-05, 5e-06, 9e-06, 1.3e-05, 8e-06, 1e-05, 7e-06 ], [ 7e-06, 9e-06, 1.1e-05, 9e-06, 9e-06, 3e-06, 1.6e-05, 1.3e-05, 1.2e-05, 1.7e-05, 1.9e-05, 1.5e-05, 1.4e-05, 1.2e-05, 5e-06, 1.7e-05, 1.4e-05, 2.2e-05, 5e-06, 9e-06, 1.3e-05, 8e-06, 1e-05, 7e-06 ], [ 7e-06, 9e-06, 1e-05, 9e-06, 9e-06, 3e-06, 1.6e-05, 1.3e-05, 1.2e-05, 1.6e-05, 1.8e-05, 1.5e-05, 1.4e-05, 1.2e-05, 5e-06, 1.7e-05, 1.4e-05, 2.2e-05, 5e-06, 9e-06, 1.2e-05, 8e-06, 1e-05, 7e-06 ], [ 6e-06, 8e-06, 9e-06, 8e-06, 8e-06, 3e-06, 1.4e-05, 1.1e-05, 1.1e-05, 1.5e-05, 1.6e-05, 1.3e-05, 1.2e-05, 1e-05, 4e-06, 1.5e-05, 1.2e-05, 1.9e-05, 5e-06, 8e-06, 1.1e-05, 7e-06, 9e-06, 6e-06 ], [ 6e-06, 8e-06, 9e-06, 8e-06, 8e-06, 3e-06, 1.4e-05, 1.1e-05, 1.1e-05, 1.5e-05, 1.6e-05, 1.3e-05, 1.2e-05, 1e-05, 4e-06, 1.5e-05, 1.2e-05, 1.9e-05, 4e-06, 8e-06, 1.1e-05, 7e-06, 9e-06, 6e-06 ] ] }, { "name": "model.language_model.layers.17.mlp.down_proj.weight", "delta_l1": 29.638595581054688, "orig_l1": 24373.3828125, "heatmap": [ [ 3.2e-05, 2.2e-05, 2e-05, 2e-05, 1.6e-05, 2e-05, 1.6e-05, 1.7e-05, 1.6e-05, 1.7e-05, 1.6e-05, 1.4e-05, 1.7e-05, 1.3e-05, 1.6e-05, 1.5e-05, 1.4e-05, 1.4e-05, 1.4e-05, 1.4e-05, 1.4e-05, 1.2e-05, 1.6e-05, 1.5e-05 ], [ 2.1e-05, 1.5e-05, 1.3e-05, 1.3e-05, 1e-05, 1.3e-05, 1.1e-05, 1.1e-05, 1e-05, 1.1e-05, 1e-05, 9e-06, 1.1e-05, 8e-06, 1e-05, 1e-05, 9e-06, 9e-06, 9e-06, 1e-05, 9e-06, 8e-06, 1e-05, 1e-05 ], [ 1.9e-05, 1.3e-05, 1.1e-05, 1.1e-05, 9e-06, 1.2e-05, 9e-06, 1e-05, 9e-06, 1e-05, 9e-06, 8e-06, 1e-05, 7e-06, 9e-06, 9e-06, 8e-06, 8e-06, 8e-06, 8e-06, 8e-06, 7e-06, 9e-06, 8e-06 ], [ 1.8e-05, 1.2e-05, 1.1e-05, 1.1e-05, 9e-06, 1.1e-05, 9e-06, 9e-06, 9e-06, 9e-06, 9e-06, 8e-06, 9e-06, 7e-06, 9e-06, 8e-06, 8e-06, 8e-06, 7e-06, 8e-06, 8e-06, 7e-06, 9e-06, 8e-06 ], [ 1.3e-05, 9e-06, 8e-06, 8e-06, 6e-06, 8e-06, 6e-06, 7e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06 ], [ 1.5e-05, 1.1e-05, 9e-06, 9e-06, 8e-06, 1e-05, 8e-06, 8e-06, 8e-06, 8e-06, 7e-06, 7e-06, 8e-06, 6e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 7e-06, 7e-06, 6e-06, 7e-06, 7e-06 ], [ 2e-05, 1.4e-05, 1.2e-05, 1.2e-05, 1e-05, 1.3e-05, 1e-05, 1.1e-05, 1e-05, 1.1e-05, 1e-05, 9e-06, 1e-05, 8e-06, 1e-05, 9e-06, 9e-06, 9e-06, 8e-06, 9e-06, 9e-06, 8e-06, 1e-05, 9e-06 ], [ 1.5e-05, 1e-05, 9e-06, 9e-06, 7e-06, 9e-06, 8e-06, 8e-06, 7e-06, 8e-06, 7e-06, 6e-06, 8e-06, 6e-06, 7e-06, 7e-06, 6e-06, 6e-06, 6e-06, 7e-06, 7e-06, 6e-06, 7e-06, 7e-06 ], [ 1.1e-05, 7e-06, 6e-06, 6e-06, 5e-06, 7e-06, 5e-06, 6e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06 ], [ 1.5e-05, 1.1e-05, 9e-06, 9e-06, 8e-06, 1e-05, 8e-06, 8e-06, 8e-06, 8e-06, 7e-06, 7e-06, 8e-06, 6e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 7e-06, 7e-06, 6e-06, 7e-06, 7e-06 ], [ 1.3e-05, 9e-06, 8e-06, 8e-06, 6e-06, 8e-06, 6e-06, 7e-06, 6e-06, 7e-06, 6e-06, 5e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06 ], [ 1.4e-05, 1e-05, 9e-06, 9e-06, 7e-06, 9e-06, 7e-06, 8e-06, 7e-06, 8e-06, 7e-06, 6e-06, 7e-06, 6e-06, 7e-06, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 7e-06, 7e-06 ], [ 1.2e-05, 8e-06, 7e-06, 7e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06 ], [ 1.6e-05, 1.1e-05, 1e-05, 1e-05, 8e-06, 1e-05, 8e-06, 9e-06, 8e-06, 9e-06, 8e-06, 7e-06, 8e-06, 6e-06, 8e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 8e-06, 7e-06 ], [ 1.4e-05, 1e-05, 8e-06, 8e-06, 7e-06, 9e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 7e-06, 5e-06, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 7e-06, 6e-06 ], [ 1.3e-05, 9e-06, 8e-06, 8e-06, 6e-06, 8e-06, 7e-06, 7e-06, 6e-06, 7e-06, 6e-06, 6e-06, 7e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06 ], [ 1.1e-05, 8e-06, 7e-06, 7e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 4e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 6e-06, 5e-06 ], [ 1.5e-05, 1.1e-05, 9e-06, 9e-06, 7e-06, 1e-05, 8e-06, 8e-06, 7e-06, 8e-06, 7e-06, 7e-06, 8e-06, 6e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 7e-06, 7e-06, 6e-06, 7e-06, 7e-06 ], [ 1.3e-05, 9e-06, 8e-06, 8e-06, 7e-06, 8e-06, 7e-06, 7e-06, 6e-06, 7e-06, 6e-06, 6e-06, 7e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06 ], [ 1.6e-05, 1.1e-05, 1e-05, 1e-05, 8e-06, 1e-05, 8e-06, 9e-06, 8e-06, 9e-06, 8e-06, 7e-06, 8e-06, 6e-06, 8e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 8e-06, 7e-06 ], [ 1.6e-05, 1.1e-05, 1e-05, 1e-05, 8e-06, 1e-05, 8e-06, 9e-06, 8e-06, 9e-06, 8e-06, 7e-06, 8e-06, 6e-06, 8e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 8e-06, 7e-06 ], [ 1.6e-05, 1.1e-05, 9e-06, 9e-06, 8e-06, 1e-05, 8e-06, 8e-06, 8e-06, 8e-06, 8e-06, 7e-06, 8e-06, 6e-06, 8e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 8e-06, 7e-06 ], [ 1.4e-05, 1e-05, 8e-06, 8e-06, 7e-06, 9e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 7e-06, 5e-06, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 7e-06, 6e-06 ], [ 1.4e-05, 1e-05, 8e-06, 8e-06, 7e-06, 9e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 7e-06, 5e-06, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 7e-06, 6e-06 ] ] }, { "name": "model.language_model.layers.18.linear_attn.out_proj.weight", "delta_l1": 21.507905960083008, "orig_l1": 15846.0283203125, "heatmap": [ [ 3e-05, 1.6e-05, 1.3e-05, 1.5e-05, 1.3e-05, 1.4e-05, 2.2e-05, 1.8e-05, 1.3e-05, 8e-06, 8e-06, 8e-06, 2.5e-05, 2.1e-05, 1.3e-05, 1.6e-05, 1.7e-05, 3.2e-05, 1.4e-05, 1.6e-05, 1.9e-05, 4.4e-05, 2.9e-05, 1.9e-05 ], [ 2e-05, 1.1e-05, 9e-06, 1e-05, 9e-06, 9e-06, 1.5e-05, 1.3e-05, 9e-06, 6e-06, 5e-06, 6e-06, 1.7e-05, 1.4e-05, 9e-06, 1.1e-05, 1.2e-05, 2.2e-05, 1e-05, 1.1e-05, 1.3e-05, 3e-05, 2e-05, 1.3e-05 ], [ 1.8e-05, 1e-05, 8e-06, 9e-06, 8e-06, 8e-06, 1.3e-05, 1.1e-05, 8e-06, 5e-06, 4e-06, 5e-06, 1.5e-05, 1.2e-05, 7e-06, 1e-05, 1e-05, 1.9e-05, 8e-06, 1e-05, 1.1e-05, 2.6e-05, 1.7e-05, 1.1e-05 ], [ 1.7e-05, 1e-05, 8e-06, 9e-06, 8e-06, 8e-06, 1.3e-05, 1.1e-05, 8e-06, 5e-06, 4e-06, 5e-06, 1.4e-05, 1.2e-05, 7e-06, 9e-06, 1e-05, 1.9e-05, 8e-06, 9e-06, 1.1e-05, 2.6e-05, 1.7e-05, 1.1e-05 ], [ 1.4e-05, 8e-06, 6e-06, 7e-06, 6e-06, 6e-06, 1e-05, 8e-06, 6e-06, 4e-06, 3e-06, 4e-06, 1.1e-05, 9e-06, 6e-06, 7e-06, 8e-06, 1.5e-05, 6e-06, 7e-06, 9e-06, 2e-05, 1.3e-05, 9e-06 ], [ 1.6e-05, 9e-06, 7e-06, 8e-06, 7e-06, 8e-06, 1.2e-05, 1e-05, 7e-06, 4e-06, 4e-06, 5e-06, 1.4e-05, 1.1e-05, 7e-06, 9e-06, 1e-05, 1.8e-05, 8e-06, 9e-06, 1e-05, 2.4e-05, 1.6e-05, 1e-05 ], [ 2.1e-05, 1.2e-05, 9e-06, 1e-05, 9e-06, 1e-05, 1.5e-05, 1.3e-05, 9e-06, 6e-06, 5e-06, 6e-06, 1.7e-05, 1.4e-05, 9e-06, 1.1e-05, 1.2e-05, 2.2e-05, 1e-05, 1.1e-05, 1.3e-05, 3.1e-05, 2e-05, 1.3e-05 ], [ 1.5e-05, 8e-06, 7e-06, 7e-06, 7e-06, 7e-06, 1.1e-05, 9e-06, 7e-06, 4e-06, 4e-06, 4e-06, 1.2e-05, 1e-05, 6e-06, 8e-06, 9e-06, 1.6e-05, 7e-06, 8e-06, 9e-06, 2.2e-05, 1.5e-05, 1e-05 ], [ 1.1e-05, 6e-06, 5e-06, 6e-06, 5e-06, 5e-06, 8e-06, 7e-06, 5e-06, 3e-06, 3e-06, 3e-06, 9e-06, 8e-06, 5e-06, 6e-06, 7e-06, 1.2e-05, 5e-06, 6e-06, 7e-06, 1.6e-05, 1.1e-05, 7e-06 ], [ 1.7e-05, 9e-06, 7e-06, 8e-06, 7e-06, 8e-06, 1.2e-05, 1e-05, 7e-06, 5e-06, 4e-06, 5e-06, 1.4e-05, 1.2e-05, 7e-06, 9e-06, 1e-05, 1.8e-05, 8e-06, 9e-06, 1.1e-05, 2.4e-05, 1.6e-05, 1.1e-05 ], [ 1.4e-05, 8e-06, 6e-06, 7e-06, 6e-06, 6e-06, 1e-05, 9e-06, 6e-06, 4e-06, 4e-06, 4e-06, 1.2e-05, 1e-05, 6e-06, 8e-06, 8e-06, 1.5e-05, 7e-06, 8e-06, 9e-06, 2.1e-05, 1.4e-05, 9e-06 ], [ 1.7e-05, 9e-06, 7e-06, 8e-06, 7e-06, 8e-06, 1.2e-05, 1e-05, 7e-06, 5e-06, 4e-06, 5e-06, 1.4e-05, 1.2e-05, 7e-06, 9e-06, 1e-05, 1.8e-05, 8e-06, 9e-06, 1.1e-05, 2.5e-05, 1.6e-05, 1.1e-05 ], [ 1.4e-05, 8e-06, 6e-06, 7e-06, 6e-06, 6e-06, 1e-05, 8e-06, 6e-06, 4e-06, 3e-06, 4e-06, 1.1e-05, 9e-06, 6e-06, 7e-06, 8e-06, 1.5e-05, 6e-06, 7e-06, 9e-06, 2e-05, 1.3e-05, 9e-06 ], [ 2.1e-05, 1.1e-05, 9e-06, 1e-05, 9e-06, 9e-06, 1.5e-05, 1.3e-05, 9e-06, 6e-06, 5e-06, 6e-06, 1.7e-05, 1.4e-05, 9e-06, 1.1e-05, 1.2e-05, 2.2e-05, 1e-05, 1.1e-05, 1.3e-05, 3e-05, 2e-05, 1.3e-05 ], [ 1.6e-05, 9e-06, 7e-06, 8e-06, 7e-06, 7e-06, 1.2e-05, 1e-05, 7e-06, 4e-06, 4e-06, 4e-06, 1.3e-05, 1.1e-05, 7e-06, 8e-06, 9e-06, 1.7e-05, 7e-06, 8e-06, 1e-05, 2.3e-05, 1.5e-05, 1e-05 ], [ 1.2e-05, 7e-06, 5e-06, 6e-06, 5e-06, 6e-06, 9e-06, 8e-06, 5e-06, 3e-06, 3e-06, 3e-06, 1e-05, 9e-06, 5e-06, 7e-06, 7e-06, 1.3e-05, 6e-06, 7e-06, 8e-06, 1.8e-05, 1.2e-05, 8e-06 ], [ 1.3e-05, 7e-06, 6e-06, 7e-06, 6e-06, 6e-06, 1e-05, 8e-06, 6e-06, 4e-06, 3e-06, 4e-06, 1.1e-05, 9e-06, 6e-06, 7e-06, 8e-06, 1.4e-05, 6e-06, 7e-06, 9e-06, 2e-05, 1.3e-05, 9e-06 ], [ 1.5e-05, 8e-06, 7e-06, 7e-06, 7e-06, 7e-06, 1.1e-05, 9e-06, 7e-06, 4e-06, 4e-06, 4e-06, 1.2e-05, 1e-05, 6e-06, 8e-06, 9e-06, 1.6e-05, 7e-06, 8e-06, 9e-06, 2.2e-05, 1.5e-05, 1e-05 ], [ 1.4e-05, 8e-06, 6e-06, 7e-06, 6e-06, 6e-06, 1e-05, 9e-06, 6e-06, 4e-06, 4e-06, 4e-06, 1.2e-05, 1e-05, 6e-06, 8e-06, 8e-06, 1.5e-05, 7e-06, 8e-06, 9e-06, 2.1e-05, 1.4e-05, 9e-06 ], [ 1.8e-05, 1e-05, 8e-06, 9e-06, 8e-06, 8e-06, 1.3e-05, 1.1e-05, 8e-06, 5e-06, 4e-06, 5e-06, 1.5e-05, 1.2e-05, 7e-06, 1e-05, 1e-05, 1.9e-05, 8e-06, 1e-05, 1.1e-05, 2.6e-05, 1.7e-05, 1.1e-05 ], [ 2e-05, 1.1e-05, 9e-06, 1e-05, 9e-06, 9e-06, 1.4e-05, 1.2e-05, 9e-06, 5e-06, 5e-06, 5e-06, 1.6e-05, 1.4e-05, 8e-06, 1.1e-05, 1.1e-05, 2.1e-05, 9e-06, 1.1e-05, 1.2e-05, 2.9e-05, 1.9e-05, 1.2e-05 ], [ 1.5e-05, 8e-06, 7e-06, 8e-06, 7e-06, 7e-06, 1.1e-05, 9e-06, 7e-06, 4e-06, 4e-06, 4e-06, 1.3e-05, 1.1e-05, 6e-06, 8e-06, 9e-06, 1.6e-05, 7e-06, 8e-06, 1e-05, 2.2e-05, 1.5e-05, 1e-05 ], [ 1.4e-05, 8e-06, 6e-06, 7e-06, 6e-06, 6e-06, 1e-05, 8e-06, 6e-06, 4e-06, 3e-06, 4e-06, 1.1e-05, 9e-06, 6e-06, 7e-06, 8e-06, 1.5e-05, 6e-06, 7e-06, 9e-06, 2e-05, 1.3e-05, 9e-06 ], [ 1.8e-05, 1e-05, 8e-06, 9e-06, 8e-06, 8e-06, 1.3e-05, 1.1e-05, 8e-06, 5e-06, 4e-06, 5e-06, 1.4e-05, 1.2e-05, 7e-06, 9e-06, 1e-05, 1.9e-05, 8e-06, 9e-06, 1.1e-05, 2.6e-05, 1.7e-05, 1.1e-05 ] ] }, { "name": "model.language_model.layers.18.mlp.down_proj.weight", "delta_l1": 16.021156311035156, "orig_l1": 24477.28515625, "heatmap": [ [ 2.5e-05, 1.1e-05, 9e-06, 9e-06, 8e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 7e-06, 6e-06, 7e-06, 8e-06, 6e-06, 7e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06, 5e-06, 7e-06, 6e-06 ], [ 1.7e-05, 8e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 5e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06 ], [ 1.5e-05, 7e-06, 5e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 4e-06 ], [ 1.5e-05, 6e-06, 5e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 3e-06 ], [ 1.1e-05, 5e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.4e-05, 6e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 3e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06 ], [ 1.7e-05, 8e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 6e-06, 4e-06, 5e-06, 4e-06, 5e-06, 4e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06 ], [ 1.3e-05, 6e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 9e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 2e-06, 3e-06, 3e-06, 2e-06, 3e-06, 2e-06, 3e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06 ], [ 1.4e-05, 6e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 3e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06 ], [ 1.2e-05, 5e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.4e-05, 6e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 3e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06 ], [ 1.1e-05, 5e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.7e-05, 8e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 4e-06, 5e-06, 6e-06, 4e-06, 5e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06 ], [ 1.3e-05, 6e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 4e-06, 4e-06, 3e-06, 4e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1e-05, 5e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 2e-06 ], [ 1.1e-05, 5e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 3e-06 ], [ 1.3e-05, 6e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.2e-05, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.5e-05, 7e-06, 5e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 3e-06 ], [ 1.6e-05, 7e-06, 6e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 5e-06, 5e-06, 4e-06, 5e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06 ], [ 1.3e-05, 6e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 4e-06, 4e-06, 3e-06, 4e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.1e-05, 5e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.5e-05, 6e-06, 5e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 3e-06 ] ] }, { "name": "model.language_model.layers.20.linear_attn.out_proj.weight", "delta_l1": 18.552772521972656, "orig_l1": 16640.19140625, "heatmap": [ [ 1.9e-05, 1.8e-05, 1e-05, 1.3e-05, 2.2e-05, 1.1e-05, 1.4e-05, 1e-05, 8e-06, 3.1e-05, 2.4e-05, 1.7e-05, 1.5e-05, 1.5e-05, 2.5e-05, 2.2e-05, 1.9e-05, 1.4e-05, 1.2e-05, 1.4e-05, 1.5e-05, 2e-05, 1.9e-05, 9e-06 ], [ 1.3e-05, 1.3e-05, 7e-06, 9e-06, 1.5e-05, 8e-06, 1e-05, 7e-06, 6e-06, 2.2e-05, 1.7e-05, 1.2e-05, 1e-05, 1e-05, 1.7e-05, 1.5e-05, 1.3e-05, 9e-06, 8e-06, 1e-05, 1e-05, 1.4e-05, 1.3e-05, 6e-06 ], [ 1.1e-05, 1.1e-05, 6e-06, 7e-06, 1.2e-05, 6e-06, 8e-06, 6e-06, 5e-06, 1.8e-05, 1.4e-05, 1e-05, 9e-06, 9e-06, 1.4e-05, 1.2e-05, 1.1e-05, 8e-06, 7e-06, 8e-06, 9e-06, 1.1e-05, 1.1e-05, 5e-06 ], [ 1.1e-05, 1.1e-05, 6e-06, 7e-06, 1.3e-05, 7e-06, 8e-06, 6e-06, 5e-06, 1.9e-05, 1.4e-05, 1e-05, 9e-06, 9e-06, 1.5e-05, 1.3e-05, 1.1e-05, 8e-06, 7e-06, 9e-06, 9e-06, 1.2e-05, 1.1e-05, 6e-06 ], [ 8e-06, 8e-06, 4e-06, 5e-06, 9e-06, 5e-06, 6e-06, 4e-06, 3e-06, 1.3e-05, 1e-05, 7e-06, 6e-06, 6e-06, 1.1e-05, 9e-06, 8e-06, 6e-06, 5e-06, 6e-06, 6e-06, 9e-06, 8e-06, 4e-06 ], [ 1e-05, 1e-05, 5e-06, 7e-06, 1.2e-05, 6e-06, 8e-06, 5e-06, 4e-06, 1.7e-05, 1.3e-05, 9e-06, 8e-06, 8e-06, 1.3e-05, 1.2e-05, 1e-05, 7e-06, 6e-06, 8e-06, 8e-06, 1.1e-05, 1e-05, 5e-06 ], [ 1.2e-05, 1.1e-05, 6e-06, 8e-06, 1.3e-05, 7e-06, 9e-06, 6e-06, 5e-06, 1.9e-05, 1.5e-05, 1e-05, 9e-06, 9e-06, 1.5e-05, 1.3e-05, 1.1e-05, 8e-06, 7e-06, 9e-06, 9e-06, 1.2e-05, 1.2e-05, 6e-06 ], [ 9e-06, 9e-06, 5e-06, 6e-06, 1e-05, 5e-06, 7e-06, 5e-06, 4e-06, 1.5e-05, 1.2e-05, 8e-06, 7e-06, 7e-06, 1.2e-05, 1e-05, 9e-06, 7e-06, 6e-06, 7e-06, 7e-06, 1e-05, 9e-06, 5e-06 ], [ 8e-06, 8e-06, 4e-06, 5e-06, 9e-06, 5e-06, 6e-06, 4e-06, 3e-06, 1.3e-05, 1e-05, 7e-06, 6e-06, 6e-06, 1e-05, 9e-06, 8e-06, 6e-06, 5e-06, 6e-06, 6e-06, 8e-06, 8e-06, 4e-06 ], [ 1e-05, 9e-06, 5e-06, 6e-06, 1.1e-05, 6e-06, 7e-06, 5e-06, 4e-06, 1.6e-05, 1.2e-05, 9e-06, 8e-06, 8e-06, 1.3e-05, 1.1e-05, 1e-05, 7e-06, 6e-06, 7e-06, 8e-06, 1e-05, 1e-05, 5e-06 ], [ 1e-05, 1e-05, 5e-06, 7e-06, 1.1e-05, 6e-06, 7e-06, 5e-06, 4e-06, 1.6e-05, 1.3e-05, 9e-06, 8e-06, 8e-06, 1.3e-05, 1.1e-05, 1e-05, 7e-06, 6e-06, 7e-06, 8e-06, 1e-05, 1e-05, 5e-06 ], [ 1.1e-05, 1e-05, 5e-06, 7e-06, 1.2e-05, 6e-06, 8e-06, 5e-06, 5e-06, 1.8e-05, 1.4e-05, 1e-05, 8e-06, 8e-06, 1.4e-05, 1.2e-05, 1.1e-05, 8e-06, 7e-06, 8e-06, 8e-06, 1.1e-05, 1.1e-05, 5e-06 ], [ 8e-06, 8e-06, 4e-06, 5e-06, 9e-06, 5e-06, 6e-06, 4e-06, 3e-06, 1.3e-05, 1e-05, 7e-06, 6e-06, 6e-06, 1.1e-05, 9e-06, 8e-06, 6e-06, 5e-06, 6e-06, 6e-06, 9e-06, 8e-06, 4e-06 ], [ 1.4e-05, 1.3e-05, 7e-06, 9e-06, 1.6e-05, 8e-06, 1e-05, 7e-06, 6e-06, 2.3e-05, 1.7e-05, 1.2e-05, 1.1e-05, 1.1e-05, 1.8e-05, 1.6e-05, 1.4e-05, 1e-05, 9e-06, 1e-05, 1.1e-05, 1.4e-05, 1.4e-05, 7e-06 ], [ 1e-05, 1e-05, 5e-06, 7e-06, 1.2e-05, 6e-06, 8e-06, 5e-06, 4e-06, 1.7e-05, 1.3e-05, 9e-06, 8e-06, 8e-06, 1.4e-05, 1.2e-05, 1e-05, 7e-06, 7e-06, 8e-06, 8e-06, 1.1e-05, 1e-05, 5e-06 ], [ 7e-06, 7e-06, 4e-06, 5e-06, 8e-06, 4e-06, 5e-06, 4e-06, 3e-06, 1.2e-05, 9e-06, 6e-06, 6e-06, 6e-06, 9e-06, 8e-06, 7e-06, 5e-06, 4e-06, 5e-06, 6e-06, 7e-06, 7e-06, 4e-06 ], [ 9e-06, 9e-06, 5e-06, 6e-06, 1.1e-05, 5e-06, 7e-06, 5e-06, 4e-06, 1.5e-05, 1.2e-05, 8e-06, 7e-06, 7e-06, 1.2e-05, 1.1e-05, 9e-06, 7e-06, 6e-06, 7e-06, 7e-06, 1e-05, 9e-06, 5e-06 ], [ 9e-06, 9e-06, 4e-06, 6e-06, 1e-05, 5e-06, 6e-06, 4e-06, 4e-06, 1.4e-05, 1.1e-05, 8e-06, 7e-06, 7e-06, 1.1e-05, 1e-05, 9e-06, 6e-06, 6e-06, 7e-06, 7e-06, 9e-06, 9e-06, 4e-06 ], [ 8e-06, 8e-06, 4e-06, 5e-06, 9e-06, 5e-06, 6e-06, 4e-06, 3e-06, 1.3e-05, 1e-05, 7e-06, 6e-06, 6e-06, 1.1e-05, 9e-06, 8e-06, 6e-06, 5e-06, 6e-06, 6e-06, 9e-06, 8e-06, 4e-06 ], [ 1e-05, 1e-05, 5e-06, 7e-06, 1.2e-05, 6e-06, 8e-06, 5e-06, 4e-06, 1.7e-05, 1.3e-05, 9e-06, 8e-06, 8e-06, 1.3e-05, 1.2e-05, 1e-05, 7e-06, 6e-06, 8e-06, 8e-06, 1.1e-05, 1e-05, 5e-06 ], [ 1e-05, 9e-06, 5e-06, 6e-06, 1.1e-05, 6e-06, 7e-06, 5e-06, 4e-06, 1.6e-05, 1.2e-05, 9e-06, 8e-06, 8e-06, 1.3e-05, 1.1e-05, 1e-05, 7e-06, 6e-06, 7e-06, 8e-06, 1e-05, 1e-05, 5e-06 ], [ 9e-06, 9e-06, 5e-06, 6e-06, 1e-05, 5e-06, 7e-06, 5e-06, 4e-06, 1.5e-05, 1.2e-05, 8e-06, 7e-06, 7e-06, 1.2e-05, 1e-05, 9e-06, 7e-06, 6e-06, 7e-06, 7e-06, 1e-05, 9e-06, 5e-06 ], [ 8e-06, 7e-06, 4e-06, 5e-06, 9e-06, 4e-06, 6e-06, 4e-06, 3e-06, 1.2e-05, 1e-05, 7e-06, 6e-06, 6e-06, 1e-05, 9e-06, 8e-06, 5e-06, 5e-06, 6e-06, 6e-06, 8e-06, 8e-06, 4e-06 ], [ 1.1e-05, 1.1e-05, 6e-06, 7e-06, 1.2e-05, 6e-06, 8e-06, 6e-06, 5e-06, 1.8e-05, 1.4e-05, 1e-05, 9e-06, 9e-06, 1.4e-05, 1.2e-05, 1.1e-05, 8e-06, 7e-06, 8e-06, 9e-06, 1.1e-05, 1.1e-05, 5e-06 ] ] }, { "name": "model.language_model.layers.20.mlp.down_proj.weight", "delta_l1": 34.13671875, "orig_l1": 26335.30859375, "heatmap": [ [ 4.5e-05, 2.3e-05, 2e-05, 1.6e-05, 1.7e-05, 1.7e-05, 1.5e-05, 1.4e-05, 1.5e-05, 1.4e-05, 1.7e-05, 1.6e-05, 1.5e-05, 1.5e-05, 1.6e-05, 1.7e-05, 1.5e-05, 1.5e-05, 1.8e-05, 1.5e-05, 1.6e-05, 1.5e-05, 1.4e-05, 1.5e-05 ], [ 3.1e-05, 1.6e-05, 1.4e-05, 1.1e-05, 1.2e-05, 1.1e-05, 1e-05, 1e-05, 1.1e-05, 9e-06, 1.2e-05, 1.1e-05, 1e-05, 1.1e-05, 1.1e-05, 1.2e-05, 1e-05, 1e-05, 1.2e-05, 1e-05, 1.1e-05, 1e-05, 1e-05, 1e-05 ], [ 2.6e-05, 1.3e-05, 1.2e-05, 9e-06, 1e-05, 1e-05, 9e-06, 8e-06, 9e-06, 8e-06, 1e-05, 9e-06, 9e-06, 9e-06, 9e-06, 1e-05, 9e-06, 8e-06, 1e-05, 8e-06, 9e-06, 9e-06, 8e-06, 9e-06 ], [ 2.7e-05, 1.4e-05, 1.2e-05, 1e-05, 1e-05, 1e-05, 9e-06, 9e-06, 9e-06, 8e-06, 1e-05, 1e-05, 9e-06, 9e-06, 1e-05, 1e-05, 9e-06, 9e-06, 1e-05, 9e-06, 9e-06, 9e-06, 8e-06, 9e-06 ], [ 1.9e-05, 1e-05, 9e-06, 7e-06, 7e-06, 7e-06, 6e-06, 6e-06, 7e-06, 6e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 8e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06 ], [ 2.5e-05, 1.2e-05, 1.1e-05, 9e-06, 9e-06, 9e-06, 8e-06, 8e-06, 8e-06, 7e-06, 9e-06, 9e-06, 8e-06, 8e-06, 9e-06, 9e-06, 8e-06, 8e-06, 1e-05, 8e-06, 9e-06, 8e-06, 8e-06, 8e-06 ], [ 2.7e-05, 1.4e-05, 1.2e-05, 1e-05, 1e-05, 1e-05, 9e-06, 9e-06, 9e-06, 8e-06, 1e-05, 1e-05, 9e-06, 9e-06, 1e-05, 1e-05, 9e-06, 9e-06, 1.1e-05, 9e-06, 1e-05, 9e-06, 8e-06, 9e-06 ], [ 2.2e-05, 1.1e-05, 1e-05, 8e-06, 8e-06, 8e-06, 7e-06, 7e-06, 7e-06, 7e-06, 8e-06, 8e-06, 7e-06, 7e-06, 8e-06, 8e-06, 7e-06, 7e-06, 8e-06, 7e-06, 8e-06, 7e-06, 7e-06, 7e-06 ], [ 1.9e-05, 9e-06, 8e-06, 7e-06, 7e-06, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 7e-06, 7e-06, 6e-06, 6e-06, 7e-06, 7e-06, 6e-06, 6e-06, 7e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06 ], [ 2.3e-05, 1.2e-05, 1e-05, 8e-06, 9e-06, 8e-06, 8e-06, 7e-06, 8e-06, 7e-06, 9e-06, 8e-06, 8e-06, 8e-06, 8e-06, 9e-06, 8e-06, 7e-06, 9e-06, 7e-06, 8e-06, 8e-06, 7e-06, 8e-06 ], [ 2.4e-05, 1.2e-05, 1.1e-05, 9e-06, 9e-06, 9e-06, 8e-06, 7e-06, 8e-06, 7e-06, 9e-06, 9e-06, 8e-06, 8e-06, 9e-06, 9e-06, 8e-06, 8e-06, 9e-06, 8e-06, 8e-06, 8e-06, 7e-06, 8e-06 ], [ 2.5e-05, 1.3e-05, 1.1e-05, 9e-06, 9e-06, 9e-06, 8e-06, 8e-06, 9e-06, 8e-06, 1e-05, 9e-06, 9e-06, 9e-06, 9e-06, 1e-05, 9e-06, 8e-06, 1e-05, 8e-06, 9e-06, 9e-06, 8e-06, 8e-06 ], [ 1.9e-05, 1e-05, 9e-06, 7e-06, 7e-06, 7e-06, 6e-06, 6e-06, 7e-06, 6e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 8e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06 ], [ 3.3e-05, 1.6e-05, 1.5e-05, 1.2e-05, 1.2e-05, 1.2e-05, 1.1e-05, 1e-05, 1.1e-05, 1e-05, 1.2e-05, 1.2e-05, 1.1e-05, 1.1e-05, 1.2e-05, 1.2e-05, 1.1e-05, 1e-05, 1.3e-05, 1e-05, 1.1e-05, 1.1e-05, 1e-05, 1.1e-05 ], [ 2.5e-05, 1.2e-05, 1.1e-05, 9e-06, 9e-06, 9e-06, 8e-06, 8e-06, 8e-06, 8e-06, 9e-06, 9e-06, 8e-06, 8e-06, 9e-06, 9e-06, 8e-06, 8e-06, 1e-05, 8e-06, 9e-06, 8e-06, 8e-06, 8e-06 ], [ 1.7e-05, 9e-06, 8e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06, 7e-06, 5e-06, 6e-06, 6e-06, 5e-06, 6e-06 ], [ 2.2e-05, 1.1e-05, 1e-05, 8e-06, 8e-06, 8e-06, 7e-06, 7e-06, 8e-06, 7e-06, 8e-06, 8e-06, 8e-06, 8e-06, 8e-06, 8e-06, 8e-06, 7e-06, 9e-06, 7e-06, 8e-06, 7e-06, 7e-06, 7e-06 ], [ 2.1e-05, 1e-05, 9e-06, 8e-06, 8e-06, 8e-06, 7e-06, 7e-06, 7e-06, 6e-06, 8e-06, 8e-06, 7e-06, 7e-06, 8e-06, 8e-06, 7e-06, 7e-06, 8e-06, 7e-06, 7e-06, 7e-06, 6e-06, 7e-06 ], [ 1.9e-05, 1e-05, 9e-06, 7e-06, 7e-06, 7e-06, 6e-06, 6e-06, 7e-06, 6e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06, 8e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06 ], [ 2.4e-05, 1.2e-05, 1.1e-05, 9e-06, 9e-06, 9e-06, 8e-06, 8e-06, 8e-06, 7e-06, 9e-06, 9e-06, 8e-06, 8e-06, 9e-06, 9e-06, 8e-06, 8e-06, 9e-06, 8e-06, 8e-06, 8e-06, 7e-06, 8e-06 ], [ 2.3e-05, 1.2e-05, 1e-05, 8e-06, 9e-06, 8e-06, 8e-06, 7e-06, 8e-06, 7e-06, 9e-06, 8e-06, 8e-06, 8e-06, 8e-06, 9e-06, 8e-06, 7e-06, 9e-06, 7e-06, 8e-06, 8e-06, 7e-06, 8e-06 ], [ 2.2e-05, 1.1e-05, 1e-05, 8e-06, 8e-06, 8e-06, 7e-06, 7e-06, 7e-06, 7e-06, 8e-06, 8e-06, 7e-06, 7e-06, 8e-06, 8e-06, 7e-06, 7e-06, 9e-06, 7e-06, 8e-06, 7e-06, 7e-06, 7e-06 ], [ 1.8e-05, 9e-06, 8e-06, 7e-06, 7e-06, 7e-06, 6e-06, 6e-06, 6e-06, 5e-06, 7e-06, 7e-06, 6e-06, 6e-06, 7e-06, 7e-06, 6e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06 ], [ 2.6e-05, 1.3e-05, 1.2e-05, 9e-06, 1e-05, 9e-06, 9e-06, 8e-06, 9e-06, 8e-06, 1e-05, 9e-06, 9e-06, 9e-06, 9e-06, 1e-05, 9e-06, 8e-06, 1e-05, 8e-06, 9e-06, 9e-06, 8e-06, 9e-06 ] ] }, { "name": "model.language_model.layers.21.linear_attn.out_proj.weight", "delta_l1": 19.32254981994629, "orig_l1": 18408.66796875, "heatmap": [ [ 5e-06, 7e-06, 1e-05, 1.6e-05, 1.2e-05, 1.1e-05, 1.9e-05, 2.5e-05, 2.9e-05, 1.3e-05, 1.3e-05, 1.1e-05, 4.3e-05, 2e-05, 1e-05, 2.5e-05, 2e-05, 2e-05, 5e-06, 8e-06, 7e-06, 2.4e-05, 2.5e-05, 3.4e-05 ], [ 4e-06, 5e-06, 7e-06, 1.1e-05, 8e-06, 8e-06, 1.4e-05, 1.8e-05, 2.1e-05, 9e-06, 9e-06, 8e-06, 3.1e-05, 1.4e-05, 7e-06, 1.8e-05, 1.4e-05, 1.4e-05, 4e-06, 5e-06, 5e-06, 1.7e-05, 1.8e-05, 2.4e-05 ], [ 3e-06, 4e-06, 6e-06, 1e-05, 7e-06, 6e-06, 1.1e-05, 1.5e-05, 1.8e-05, 8e-06, 8e-06, 7e-06, 2.6e-05, 1.2e-05, 6e-06, 1.5e-05, 1.2e-05, 1.2e-05, 3e-06, 4e-06, 4e-06, 1.4e-05, 1.5e-05, 2e-05 ], [ 3e-06, 4e-06, 6e-06, 1e-05, 8e-06, 7e-06, 1.2e-05, 1.6e-05, 1.9e-05, 8e-06, 8e-06, 7e-06, 2.8e-05, 1.3e-05, 7e-06, 1.6e-05, 1.3e-05, 1.3e-05, 3e-06, 5e-06, 5e-06, 1.5e-05, 1.6e-05, 2.2e-05 ], [ 2e-06, 3e-06, 5e-06, 8e-06, 6e-06, 5e-06, 9e-06, 1.2e-05, 1.5e-05, 6e-06, 6e-06, 6e-06, 2.1e-05, 1e-05, 5e-06, 1.2e-05, 1e-05, 1e-05, 2e-06, 4e-06, 4e-06, 1.2e-05, 1.2e-05, 1.7e-05 ], [ 3e-06, 4e-06, 6e-06, 9e-06, 7e-06, 6e-06, 1.1e-05, 1.4e-05, 1.7e-05, 7e-06, 7e-06, 6e-06, 2.4e-05, 1.1e-05, 6e-06, 1.4e-05, 1.1e-05, 1.1e-05, 3e-06, 4e-06, 4e-06, 1.3e-05, 1.4e-05, 1.9e-05 ], [ 3e-06, 4e-06, 6e-06, 9e-06, 7e-06, 6e-06, 1.1e-05, 1.4e-05, 1.7e-05, 7e-06, 7e-06, 7e-06, 2.5e-05, 1.1e-05, 6e-06, 1.4e-05, 1.1e-05, 1.1e-05, 3e-06, 4e-06, 4e-06, 1.4e-05, 1.4e-05, 2e-05 ], [ 3e-06, 3e-06, 5e-06, 8e-06, 6e-06, 6e-06, 1e-05, 1.3e-05, 1.5e-05, 7e-06, 7e-06, 6e-06, 2.2e-05, 1e-05, 5e-06, 1.3e-05, 1e-05, 1e-05, 3e-06, 4e-06, 4e-06, 1.2e-05, 1.3e-05, 1.8e-05 ], [ 2e-06, 3e-06, 4e-06, 7e-06, 5e-06, 5e-06, 8e-06, 1.1e-05, 1.3e-05, 6e-06, 6e-06, 5e-06, 1.9e-05, 8e-06, 5e-06, 1.1e-05, 9e-06, 8e-06, 2e-06, 3e-06, 3e-06, 1e-05, 1.1e-05, 1.5e-05 ], [ 2e-06, 3e-06, 5e-06, 8e-06, 6e-06, 5e-06, 9e-06, 1.2e-05, 1.5e-05, 6e-06, 6e-06, 6e-06, 2.1e-05, 1e-05, 5e-06, 1.3e-05, 1e-05, 1e-05, 2e-06, 4e-06, 4e-06, 1.2e-05, 1.3e-05, 1.7e-05 ], [ 2e-06, 3e-06, 5e-06, 8e-06, 6e-06, 5e-06, 9e-06, 1.2e-05, 1.4e-05, 6e-06, 6e-06, 6e-06, 2.1e-05, 1e-05, 5e-06, 1.2e-05, 1e-05, 1e-05, 2e-06, 4e-06, 4e-06, 1.2e-05, 1.2e-05, 1.7e-05 ], [ 3e-06, 3e-06, 5e-06, 8e-06, 6e-06, 5e-06, 1e-05, 1.3e-05, 1.5e-05, 7e-06, 7e-06, 6e-06, 2.2e-05, 1e-05, 5e-06, 1.3e-05, 1e-05, 1e-05, 3e-06, 4e-06, 4e-06, 1.2e-05, 1.3e-05, 1.7e-05 ], [ 2e-06, 3e-06, 4e-06, 7e-06, 5e-06, 4e-06, 8e-06, 1e-05, 1.2e-05, 5e-06, 5e-06, 5e-06, 1.8e-05, 8e-06, 4e-06, 1e-05, 8e-06, 8e-06, 2e-06, 3e-06, 3e-06, 1e-05, 1e-05, 1.4e-05 ], [ 4e-06, 5e-06, 7e-06, 1.1e-05, 8e-06, 8e-06, 1.3e-05, 1.8e-05, 2.1e-05, 9e-06, 9e-06, 8e-06, 3.1e-05, 1.4e-05, 7e-06, 1.8e-05, 1.4e-05, 1.4e-05, 4e-06, 5e-06, 5e-06, 1.7e-05, 1.8e-05, 2.4e-05 ], [ 3e-06, 4e-06, 5e-06, 9e-06, 7e-06, 6e-06, 1e-05, 1.4e-05, 1.6e-05, 7e-06, 7e-06, 6e-06, 2.4e-05, 1.1e-05, 6e-06, 1.4e-05, 1.1e-05, 1.1e-05, 3e-06, 4e-06, 4e-06, 1.3e-05, 1.4e-05, 1.9e-05 ], [ 2e-06, 2e-06, 4e-06, 6e-06, 4e-06, 4e-06, 7e-06, 9e-06, 1.1e-05, 5e-06, 5e-06, 4e-06, 1.6e-05, 7e-06, 4e-06, 9e-06, 7e-06, 7e-06, 2e-06, 3e-06, 3e-06, 9e-06, 9e-06, 1.3e-05 ], [ 2e-06, 3e-06, 5e-06, 8e-06, 6e-06, 5e-06, 9e-06, 1.2e-05, 1.5e-05, 6e-06, 6e-06, 6e-06, 2.1e-05, 1e-05, 5e-06, 1.2e-05, 1e-05, 1e-05, 2e-06, 4e-06, 4e-06, 1.2e-05, 1.2e-05, 1.7e-05 ], [ 2e-06, 3e-06, 5e-06, 7e-06, 6e-06, 5e-06, 9e-06, 1.2e-05, 1.4e-05, 6e-06, 6e-06, 5e-06, 2e-05, 9e-06, 5e-06, 1.2e-05, 9e-06, 9e-06, 2e-06, 4e-06, 3e-06, 1.1e-05, 1.2e-05, 1.6e-05 ], [ 2e-06, 3e-06, 4e-06, 7e-06, 5e-06, 5e-06, 8e-06, 1e-05, 1.2e-05, 5e-06, 5e-06, 5e-06, 1.8e-05, 8e-06, 4e-06, 1e-05, 8e-06, 8e-06, 2e-06, 3e-06, 3e-06, 1e-05, 1e-05, 1.4e-05 ], [ 3e-06, 3e-06, 5e-06, 8e-06, 6e-06, 6e-06, 1e-05, 1.3e-05, 1.5e-05, 7e-06, 7e-06, 6e-06, 2.2e-05, 1e-05, 5e-06, 1.3e-05, 1e-05, 1e-05, 3e-06, 4e-06, 4e-06, 1.2e-05, 1.3e-05, 1.8e-05 ], [ 3e-06, 3e-06, 5e-06, 8e-06, 6e-06, 6e-06, 1e-05, 1.3e-05, 1.5e-05, 7e-06, 7e-06, 6e-06, 2.2e-05, 1e-05, 5e-06, 1.3e-05, 1e-05, 1e-05, 3e-06, 4e-06, 4e-06, 1.2e-05, 1.3e-05, 1.8e-05 ], [ 2e-06, 3e-06, 5e-06, 8e-06, 6e-06, 5e-06, 9e-06, 1.2e-05, 1.4e-05, 6e-06, 6e-06, 6e-06, 2.1e-05, 1e-05, 5e-06, 1.2e-05, 1e-05, 1e-05, 2e-06, 4e-06, 4e-06, 1.1e-05, 1.2e-05, 1.7e-05 ], [ 2e-06, 3e-06, 4e-06, 6e-06, 5e-06, 4e-06, 8e-06, 1e-05, 1.2e-05, 5e-06, 5e-06, 5e-06, 1.7e-05, 8e-06, 4e-06, 1e-05, 8e-06, 8e-06, 2e-06, 3e-06, 3e-06, 9e-06, 1e-05, 1.4e-05 ], [ 3e-06, 4e-06, 5e-06, 9e-06, 6e-06, 6e-06, 1e-05, 1.4e-05, 1.6e-05, 7e-06, 7e-06, 6e-06, 2.3e-05, 1.1e-05, 6e-06, 1.4e-05, 1.1e-05, 1.1e-05, 3e-06, 4e-06, 4e-06, 1.3e-05, 1.4e-05, 1.9e-05 ] ] }, { "name": "model.language_model.layers.21.mlp.down_proj.weight", "delta_l1": 24.330821990966797, "orig_l1": 26587.7734375, "heatmap": [ [ 3.3e-05, 2.3e-05, 1.3e-05, 1.3e-05, 1.2e-05, 1e-05, 1.1e-05, 1.3e-05, 1.1e-05, 1e-05, 1e-05, 1.2e-05, 1e-05, 1.1e-05, 1.1e-05, 9e-06, 1.1e-05, 1e-05, 1e-05, 1e-05, 1.1e-05, 1.1e-05, 1.1e-05, 1e-05 ], [ 2.4e-05, 1.7e-05, 1e-05, 9e-06, 9e-06, 7e-06, 8e-06, 9e-06, 8e-06, 7e-06, 7e-06, 8e-06, 7e-06, 8e-06, 8e-06, 6e-06, 8e-06, 7e-06, 7e-06, 7e-06, 8e-06, 8e-06, 8e-06, 7e-06 ], [ 2e-05, 1.4e-05, 8e-06, 8e-06, 7e-06, 6e-06, 6e-06, 8e-06, 6e-06, 6e-06, 6e-06, 7e-06, 6e-06, 7e-06, 6e-06, 5e-06, 7e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 7e-06, 6e-06 ], [ 2.2e-05, 1.5e-05, 9e-06, 9e-06, 8e-06, 6e-06, 7e-06, 8e-06, 7e-06, 7e-06, 7e-06, 8e-06, 6e-06, 7e-06, 7e-06, 6e-06, 7e-06, 6e-06, 6e-06, 7e-06, 7e-06, 7e-06, 7e-06, 6e-06 ], [ 1.6e-05, 1.1e-05, 7e-06, 6e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06, 6e-06, 5e-06, 4e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06 ], [ 1.9e-05, 1.3e-05, 8e-06, 7e-06, 7e-06, 6e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06 ], [ 1.9e-05, 1.3e-05, 8e-06, 8e-06, 7e-06, 6e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06, 7e-06, 6e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06, 6e-06 ], [ 1.7e-05, 1.2e-05, 7e-06, 7e-06, 6e-06, 5e-06, 6e-06, 7e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06 ], [ 1.4e-05, 1e-05, 6e-06, 6e-06, 5e-06, 4e-06, 5e-06, 6e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 5e-06, 4e-06, 4e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06 ], [ 1.7e-05, 1.2e-05, 7e-06, 7e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06 ], [ 1.6e-05, 1.1e-05, 7e-06, 6e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06 ], [ 1.7e-05, 1.2e-05, 7e-06, 7e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06 ], [ 1.4e-05, 1e-05, 5e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 5e-06, 4e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 5e-06, 4e-06 ], [ 2.4e-05, 1.6e-05, 1e-05, 9e-06, 9e-06, 7e-06, 8e-06, 9e-06, 8e-06, 7e-06, 7e-06, 8e-06, 7e-06, 8e-06, 8e-06, 6e-06, 8e-06, 7e-06, 7e-06, 7e-06, 8e-06, 8e-06, 8e-06, 7e-06 ], [ 1.8e-05, 1.3e-05, 7e-06, 7e-06, 7e-06, 5e-06, 6e-06, 7e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 6e-06, 5e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06 ], [ 1.2e-05, 9e-06, 5e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06 ], [ 1.6e-05, 1.1e-05, 7e-06, 6e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06, 6e-06, 5e-06, 4e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06 ], [ 1.5e-05, 1.1e-05, 6e-06, 6e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 4e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06 ], [ 1.4e-05, 1e-05, 6e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 5e-06, 4e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 5e-06, 4e-06 ], [ 1.7e-05, 1.2e-05, 7e-06, 7e-06, 6e-06, 5e-06, 6e-06, 7e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06 ], [ 1.7e-05, 1.2e-05, 7e-06, 7e-06, 6e-06, 5e-06, 6e-06, 7e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 5e-06, 6e-06, 6e-06, 5e-06 ], [ 1.6e-05, 1.1e-05, 6e-06, 6e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 6e-06, 5e-06, 5e-06, 5e-06, 4e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06, 5e-06 ], [ 1.3e-05, 9e-06, 5e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06 ], [ 1.8e-05, 1.3e-05, 7e-06, 7e-06, 7e-06, 5e-06, 6e-06, 7e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 6e-06, 6e-06, 5e-06, 6e-06, 5e-06, 5e-06, 6e-06, 6e-06, 6e-06, 6e-06, 5e-06 ] ] }, { "name": "model.language_model.layers.22.linear_attn.out_proj.weight", "delta_l1": 11.612922668457031, "orig_l1": 19560.2265625, "heatmap": [ [ 1.4e-05, 9e-06, 2e-06, 1.1e-05, 8e-06, 3e-06, 4e-06, 5e-06, 9e-06, 6e-06, 1.1e-05, 1.4e-05, 1e-05, 1e-05, 1.3e-05, 9e-06, 3e-06, 3e-06, 1.6e-05, 1.6e-05, 1.3e-05, 6e-06, 8e-06, 9e-06 ], [ 1.1e-05, 7e-06, 1e-06, 9e-06, 6e-06, 3e-06, 3e-06, 4e-06, 7e-06, 5e-06, 8e-06, 1.1e-05, 8e-06, 8e-06, 1e-05, 7e-06, 2e-06, 2e-06, 1.2e-05, 1.2e-05, 1e-05, 5e-06, 6e-06, 7e-06 ], [ 1e-05, 7e-06, 1e-06, 8e-06, 6e-06, 2e-06, 3e-06, 4e-06, 7e-06, 5e-06, 8e-06, 1e-05, 8e-06, 7e-06, 1e-05, 7e-06, 2e-06, 2e-06, 1.1e-05, 1.2e-05, 1e-05, 5e-06, 6e-06, 6e-06 ], [ 1e-05, 7e-06, 1e-06, 8e-06, 6e-06, 2e-06, 3e-06, 4e-06, 6e-06, 5e-06, 8e-06, 1e-05, 8e-06, 7e-06, 1e-05, 7e-06, 2e-06, 2e-06, 1.1e-05, 1.2e-05, 1e-05, 5e-06, 6e-06, 6e-06 ], [ 8e-06, 6e-06, 1e-06, 7e-06, 5e-06, 2e-06, 3e-06, 3e-06, 5e-06, 4e-06, 7e-06, 9e-06, 6e-06, 6e-06, 8e-06, 6e-06, 2e-06, 2e-06, 1e-05, 1e-05, 8e-06, 4e-06, 5e-06, 5e-06 ], [ 9e-06, 6e-06, 1e-06, 7e-06, 5e-06, 2e-06, 3e-06, 3e-06, 6e-06, 4e-06, 7e-06, 9e-06, 6e-06, 6e-06, 8e-06, 6e-06, 2e-06, 2e-06, 1e-05, 1e-05, 8e-06, 4e-06, 5e-06, 5e-06 ], [ 9e-06, 6e-06, 1e-06, 8e-06, 5e-06, 2e-06, 3e-06, 4e-06, 6e-06, 4e-06, 8e-06, 1e-05, 7e-06, 7e-06, 9e-06, 6e-06, 2e-06, 2e-06, 1.1e-05, 1.1e-05, 9e-06, 4e-06, 5e-06, 6e-06 ], [ 8e-06, 5e-06, 1e-06, 7e-06, 4e-06, 2e-06, 2e-06, 3e-06, 5e-06, 4e-06, 6e-06, 8e-06, 6e-06, 6e-06, 8e-06, 5e-06, 2e-06, 2e-06, 9e-06, 9e-06, 8e-06, 4e-06, 5e-06, 5e-06 ], [ 7e-06, 5e-06, 1e-06, 6e-06, 4e-06, 2e-06, 2e-06, 3e-06, 4e-06, 3e-06, 6e-06, 7e-06, 5e-06, 5e-06, 7e-06, 5e-06, 1e-06, 1e-06, 8e-06, 8e-06, 7e-06, 3e-06, 4e-06, 4e-06 ], [ 8e-06, 5e-06, 1e-06, 6e-06, 4e-06, 2e-06, 2e-06, 3e-06, 5e-06, 4e-06, 6e-06, 8e-06, 6e-06, 5e-06, 7e-06, 5e-06, 1e-06, 2e-06, 9e-06, 9e-06, 7e-06, 4e-06, 4e-06, 5e-06 ], [ 8e-06, 5e-06, 1e-06, 7e-06, 4e-06, 2e-06, 3e-06, 3e-06, 5e-06, 4e-06, 6e-06, 8e-06, 6e-06, 6e-06, 8e-06, 5e-06, 2e-06, 2e-06, 9e-06, 1e-05, 8e-06, 4e-06, 5e-06, 5e-06 ], [ 8e-06, 6e-06, 1e-06, 7e-06, 5e-06, 2e-06, 3e-06, 3e-06, 5e-06, 4e-06, 7e-06, 9e-06, 6e-06, 6e-06, 8e-06, 5e-06, 2e-06, 2e-06, 9e-06, 1e-05, 8e-06, 4e-06, 5e-06, 5e-06 ], [ 7e-06, 5e-06, 1e-06, 6e-06, 4e-06, 2e-06, 2e-06, 3e-06, 5e-06, 3e-06, 6e-06, 8e-06, 5e-06, 5e-06, 7e-06, 5e-06, 1e-06, 2e-06, 8e-06, 9e-06, 7e-06, 3e-06, 4e-06, 5e-06 ], [ 1.1e-05, 7e-06, 1e-06, 9e-06, 6e-06, 3e-06, 3e-06, 4e-06, 7e-06, 5e-06, 8e-06, 1.1e-05, 8e-06, 8e-06, 1e-05, 7e-06, 2e-06, 2e-06, 1.2e-05, 1.2e-05, 1e-05, 5e-06, 6e-06, 7e-06 ], [ 8e-06, 5e-06, 1e-06, 7e-06, 4e-06, 2e-06, 2e-06, 3e-06, 5e-06, 4e-06, 6e-06, 8e-06, 6e-06, 6e-06, 8e-06, 5e-06, 2e-06, 2e-06, 9e-06, 9e-06, 8e-06, 4e-06, 5e-06, 5e-06 ], [ 7e-06, 5e-06, 1e-06, 6e-06, 4e-06, 2e-06, 2e-06, 3e-06, 4e-06, 3e-06, 6e-06, 7e-06, 5e-06, 5e-06, 7e-06, 5e-06, 1e-06, 1e-06, 8e-06, 8e-06, 7e-06, 3e-06, 4e-06, 4e-06 ], [ 9e-06, 6e-06, 1e-06, 7e-06, 5e-06, 2e-06, 3e-06, 3e-06, 5e-06, 4e-06, 7e-06, 9e-06, 6e-06, 6e-06, 8e-06, 6e-06, 2e-06, 2e-06, 1e-05, 1e-05, 8e-06, 4e-06, 5e-06, 5e-06 ], [ 8e-06, 6e-06, 1e-06, 7e-06, 5e-06, 2e-06, 3e-06, 3e-06, 5e-06, 4e-06, 7e-06, 8e-06, 6e-06, 6e-06, 8e-06, 5e-06, 2e-06, 2e-06, 9e-06, 1e-05, 8e-06, 4e-06, 5e-06, 5e-06 ], [ 6e-06, 4e-06, 1e-06, 5e-06, 3e-06, 1e-06, 2e-06, 2e-06, 4e-06, 3e-06, 5e-06, 6e-06, 4e-06, 4e-06, 6e-06, 4e-06, 1e-06, 1e-06, 7e-06, 7e-06, 6e-06, 3e-06, 3e-06, 4e-06 ], [ 8e-06, 6e-06, 1e-06, 7e-06, 5e-06, 2e-06, 3e-06, 3e-06, 5e-06, 4e-06, 7e-06, 9e-06, 6e-06, 6e-06, 8e-06, 5e-06, 2e-06, 2e-06, 9e-06, 1e-05, 8e-06, 4e-06, 5e-06, 5e-06 ], [ 9e-06, 6e-06, 1e-06, 8e-06, 5e-06, 2e-06, 3e-06, 4e-06, 6e-06, 4e-06, 7e-06, 9e-06, 7e-06, 7e-06, 9e-06, 6e-06, 2e-06, 2e-06, 1e-05, 1.1e-05, 8e-06, 4e-06, 5e-06, 6e-06 ], [ 8e-06, 5e-06, 1e-06, 7e-06, 4e-06, 2e-06, 2e-06, 3e-06, 5e-06, 4e-06, 6e-06, 8e-06, 6e-06, 6e-06, 8e-06, 5e-06, 2e-06, 2e-06, 9e-06, 9e-06, 7e-06, 4e-06, 5e-06, 5e-06 ], [ 6e-06, 4e-06, 1e-06, 5e-06, 4e-06, 2e-06, 2e-06, 3e-06, 4e-06, 3e-06, 5e-06, 7e-06, 5e-06, 5e-06, 6e-06, 4e-06, 1e-06, 1e-06, 7e-06, 8e-06, 6e-06, 3e-06, 4e-06, 4e-06 ], [ 9e-06, 6e-06, 1e-06, 8e-06, 5e-06, 2e-06, 3e-06, 4e-06, 6e-06, 4e-06, 7e-06, 9e-06, 7e-06, 7e-06, 9e-06, 6e-06, 2e-06, 2e-06, 1e-05, 1.1e-05, 8e-06, 4e-06, 5e-06, 6e-06 ] ] }, { "name": "model.language_model.layers.22.mlp.down_proj.weight", "delta_l1": 17.335712432861328, "orig_l1": 26249.25390625, "heatmap": [ [ 2.6e-05, 1.4e-05, 9e-06, 1e-05, 9e-06, 8e-06, 6e-06, 7e-06, 8e-06, 6e-06, 6e-06, 7e-06, 6e-06, 5e-06, 6e-06, 6e-06, 6e-06, 5e-06, 7e-06, 5e-06, 6e-06, 6e-06, 5e-06, 5e-06 ], [ 2e-05, 1e-05, 7e-06, 8e-06, 7e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06 ], [ 1.9e-05, 1e-05, 7e-06, 7e-06, 7e-06, 6e-06, 5e-06, 5e-06, 6e-06, 4e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06 ], [ 1.9e-05, 1e-05, 7e-06, 7e-06, 7e-06, 6e-06, 5e-06, 5e-06, 6e-06, 4e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06 ], [ 1.6e-05, 8e-06, 5e-06, 6e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 3e-06, 4e-06, 4e-06, 3e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06 ], [ 1.6e-05, 9e-06, 6e-06, 6e-06, 6e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 3e-06, 4e-06, 4e-06, 3e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 3e-06, 4e-06, 4e-06, 3e-06, 3e-06 ], [ 1.8e-05, 9e-06, 6e-06, 7e-06, 6e-06, 6e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 3e-06, 4e-06, 4e-06, 4e-06, 3e-06, 5e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06 ], [ 1.5e-05, 8e-06, 5e-06, 6e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.3e-05, 7e-06, 5e-06, 5e-06, 4e-06, 4e-06, 3e-06, 4e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 2e-06 ], [ 1.4e-05, 7e-06, 5e-06, 5e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.5e-05, 8e-06, 5e-06, 6e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.5e-05, 8e-06, 5e-06, 6e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 3e-06, 4e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.4e-05, 7e-06, 5e-06, 5e-06, 5e-06, 4e-06, 3e-06, 4e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 2e-05, 1e-05, 7e-06, 8e-06, 7e-06, 6e-06, 5e-06, 5e-06, 6e-06, 5e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 4e-06, 4e-06, 4e-06, 4e-06 ], [ 1.5e-05, 8e-06, 5e-06, 6e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.3e-05, 7e-06, 5e-06, 5e-06, 4e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 2e-06 ], [ 1.6e-05, 8e-06, 6e-06, 6e-06, 6e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 3e-06, 4e-06, 4e-06, 3e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 3e-06, 4e-06, 4e-06, 3e-06, 3e-06 ], [ 1.5e-05, 8e-06, 5e-06, 6e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 3e-06, 4e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.1e-05, 6e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 2e-06, 2e-06, 3e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06 ], [ 1.5e-05, 8e-06, 5e-06, 6e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 3e-06, 4e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.7e-05, 9e-06, 6e-06, 6e-06, 6e-06, 6e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 3e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06 ], [ 1.5e-05, 8e-06, 5e-06, 6e-06, 5e-06, 5e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06, 4e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 3e-06 ], [ 1.2e-05, 6e-06, 4e-06, 5e-06, 4e-06, 4e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 3e-06, 3e-06, 3e-06, 2e-06, 2e-06 ], [ 1.7e-05, 9e-06, 6e-06, 6e-06, 6e-06, 6e-06, 4e-06, 5e-06, 5e-06, 4e-06, 4e-06, 5e-06, 4e-06, 3e-06, 4e-06, 4e-06, 4e-06, 3e-06, 4e-06, 4e-06, 4e-06, 4e-06, 3e-06, 3e-06 ] ] }, { "name": "model.language_model.layers.23.mlp.down_proj.weight", "delta_l1": 7.650613784790039, "orig_l1": 24210.373046875, "heatmap": [ [ 1.5e-05, 6e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 2e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.2e-05, 5e-06, 3e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.6e-05, 6e-06, 3e-06, 3e-06, 2e-06, 3e-06, 3e-06, 3e-06, 2e-06, 2e-06, 2e-06, 1e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.2e-05, 5e-06, 3e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.6e-05, 6e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 3e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.5e-05, 6e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 2e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.4e-05, 5e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.2e-05, 5e-06, 3e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.1e-05, 4e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.2e-05, 4e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.3e-05, 5e-06, 3e-06, 2e-06, 2e-06, 2e-06, 3e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.4e-05, 5e-06, 3e-06, 2e-06, 2e-06, 2e-06, 3e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.3e-05, 5e-06, 3e-06, 2e-06, 2e-06, 2e-06, 3e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.5e-05, 6e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 2e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.3e-05, 5e-06, 3e-06, 2e-06, 2e-06, 2e-06, 3e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.2e-05, 5e-06, 3e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.4e-05, 5e-06, 3e-06, 2e-06, 2e-06, 2e-06, 3e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.4e-05, 5e-06, 3e-06, 2e-06, 2e-06, 2e-06, 3e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 8e-06, 3e-06, 2e-06, 1e-06, 1e-06, 1e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.1e-05, 4e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.3e-05, 5e-06, 3e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.2e-05, 5e-06, 3e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 9e-06, 4e-06, 2e-06, 2e-06, 1e-06, 1e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ], [ 1.4e-05, 5e-06, 3e-06, 2e-06, 2e-06, 2e-06, 3e-06, 2e-06, 2e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06, 1e-06 ] ] }, { "name": "model.language_model.layers.23.self_attn.o_proj.weight", "delta_l1": 8.310811042785645, "orig_l1": 20903.109375, "heatmap": [ [ 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 4e-06, 1.1e-05, 9e-06, 8e-06, 3e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 3e-06, 4e-06, 4e-06, 7e-06, 9e-06, 8e-06, 3e-06, 3e-06, 4e-06 ], [ 3e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 9e-06, 8e-06, 6e-06, 2e-06, 3e-06, 2e-06, 1e-06, 2e-06, 3e-06, 2e-06, 3e-06, 3e-06, 6e-06, 7e-06, 7e-06, 2e-06, 2e-06, 3e-06 ], [ 3e-06, 3e-06, 3e-06, 5e-06, 3e-06, 4e-06, 1.2e-05, 1e-05, 9e-06, 3e-06, 4e-06, 3e-06, 2e-06, 3e-06, 4e-06, 3e-06, 4e-06, 5e-06, 8e-06, 1e-05, 9e-06, 3e-06, 3e-06, 4e-06 ], [ 3e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 9e-06, 8e-06, 6e-06, 2e-06, 3e-06, 2e-06, 1e-06, 2e-06, 3e-06, 2e-06, 3e-06, 3e-06, 6e-06, 7e-06, 7e-06, 2e-06, 2e-06, 3e-06 ], [ 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 4e-06, 1.2e-05, 1e-05, 8e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 4e-06, 3e-06, 4e-06, 4e-06, 7e-06, 9e-06, 9e-06, 3e-06, 3e-06, 4e-06 ], [ 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 4e-06, 1.1e-05, 9e-06, 8e-06, 3e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 3e-06, 4e-06, 4e-06, 7e-06, 9e-06, 8e-06, 3e-06, 3e-06, 4e-06 ], [ 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 4e-06, 1.1e-05, 9e-06, 7e-06, 3e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 3e-06, 3e-06, 4e-06, 7e-06, 9e-06, 8e-06, 3e-06, 2e-06, 4e-06 ], [ 3e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 9e-06, 8e-06, 6e-06, 2e-06, 3e-06, 2e-06, 1e-06, 2e-06, 3e-06, 2e-06, 3e-06, 3e-06, 6e-06, 7e-06, 7e-06, 2e-06, 2e-06, 3e-06 ], [ 2e-06, 2e-06, 2e-06, 3e-06, 2e-06, 3e-06, 8e-06, 7e-06, 6e-06, 2e-06, 2e-06, 2e-06, 1e-06, 2e-06, 3e-06, 2e-06, 3e-06, 3e-06, 5e-06, 7e-06, 6e-06, 2e-06, 2e-06, 3e-06 ], [ 2e-06, 2e-06, 2e-06, 3e-06, 2e-06, 3e-06, 9e-06, 7e-06, 6e-06, 2e-06, 2e-06, 2e-06, 1e-06, 2e-06, 3e-06, 2e-06, 3e-06, 3e-06, 5e-06, 7e-06, 6e-06, 2e-06, 2e-06, 3e-06 ], [ 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 1e-05, 8e-06, 7e-06, 2e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 2e-06, 3e-06, 4e-06, 6e-06, 8e-06, 7e-06, 2e-06, 2e-06, 4e-06 ], [ 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 4e-06, 1e-05, 9e-06, 7e-06, 3e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 2e-06, 3e-06, 4e-06, 7e-06, 8e-06, 8e-06, 2e-06, 2e-06, 4e-06 ], [ 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 4e-06, 1e-05, 8e-06, 7e-06, 2e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 2e-06, 3e-06, 4e-06, 6e-06, 8e-06, 8e-06, 2e-06, 2e-06, 4e-06 ], [ 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 4e-06, 1.1e-05, 9e-06, 8e-06, 3e-06, 3e-06, 3e-06, 2e-06, 2e-06, 4e-06, 3e-06, 4e-06, 4e-06, 7e-06, 9e-06, 9e-06, 3e-06, 3e-06, 4e-06 ], [ 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 1e-05, 8e-06, 7e-06, 2e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 2e-06, 3e-06, 4e-06, 6e-06, 8e-06, 7e-06, 2e-06, 2e-06, 4e-06 ], [ 3e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 9e-06, 8e-06, 6e-06, 2e-06, 3e-06, 2e-06, 1e-06, 2e-06, 3e-06, 2e-06, 3e-06, 3e-06, 6e-06, 7e-06, 7e-06, 2e-06, 2e-06, 3e-06 ], [ 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 4e-06, 1e-05, 9e-06, 7e-06, 3e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 2e-06, 3e-06, 4e-06, 7e-06, 8e-06, 8e-06, 3e-06, 2e-06, 4e-06 ], [ 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 4e-06, 1e-05, 9e-06, 7e-06, 3e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 2e-06, 3e-06, 4e-06, 6e-06, 8e-06, 8e-06, 2e-06, 2e-06, 4e-06 ], [ 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 2e-06, 6e-06, 5e-06, 4e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 2e-06, 1e-06, 2e-06, 2e-06, 4e-06, 5e-06, 5e-06, 1e-06, 1e-06, 2e-06 ], [ 2e-06, 2e-06, 2e-06, 3e-06, 2e-06, 3e-06, 8e-06, 7e-06, 6e-06, 2e-06, 2e-06, 2e-06, 1e-06, 2e-06, 2e-06, 2e-06, 3e-06, 3e-06, 5e-06, 7e-06, 6e-06, 2e-06, 2e-06, 3e-06 ], [ 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 3e-06, 1e-05, 8e-06, 7e-06, 2e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 2e-06, 3e-06, 4e-06, 6e-06, 8e-06, 7e-06, 2e-06, 2e-06, 4e-06 ], [ 3e-06, 3e-06, 3e-06, 3e-06, 2e-06, 3e-06, 9e-06, 8e-06, 6e-06, 2e-06, 3e-06, 2e-06, 1e-06, 2e-06, 3e-06, 2e-06, 3e-06, 3e-06, 6e-06, 7e-06, 7e-06, 2e-06, 2e-06, 3e-06 ], [ 2e-06, 2e-06, 2e-06, 3e-06, 2e-06, 2e-06, 7e-06, 6e-06, 5e-06, 2e-06, 2e-06, 2e-06, 1e-06, 1e-06, 2e-06, 2e-06, 2e-06, 3e-06, 4e-06, 6e-06, 5e-06, 2e-06, 2e-06, 2e-06 ], [ 3e-06, 3e-06, 3e-06, 4e-06, 3e-06, 4e-06, 1e-05, 8e-06, 7e-06, 3e-06, 3e-06, 3e-06, 2e-06, 2e-06, 3e-06, 2e-06, 3e-06, 4e-06, 6e-06, 8e-06, 8e-06, 2e-06, 2e-06, 4e-06 ] ] } ], "patched_count": 16 }