File size: 13,855 Bytes
e48a2d8
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
package panel

import (
	"encoding/json"
	"net/http/httptest"
	"strings"
	"testing"
	"time"
)

// 客户端掐断(Stop/掉线)不是故障:它以 context canceled 的形式散在多种文案里
// (transport error / upstream parse failed / 续写失败 / rotate backoff aborted),
// 线上实测 54 条聚合里有 37 条是它——一律归 info,免得把真故障挤出首屏。
func TestAggregateErrorsClientCancelIsInfo(t *testing.T) {
	ts := time.Date(2026, 10, 14, 1, 2, 3, 0, time.Local)
	lines := []LogLine{
		{Text: `ERR: [upstream] chat_stream acct=示例号(00000002): transport error: Post "https://copilot.tencent.com/v2/chat/completions": context canceled`, TS: ts},
		{Text: `WARN: [server] sync acct=示例号(00000002) model=deepseek-v4.1-flash: upstream parse failed: context canceled`, TS: ts},
		{Text: `WARN: [continue] acct=示例号(00000002) seg=1 续写失败(status=0 err=Post "https://x": context canceled)→ 降级为截断终态`, TS: ts},
		{Text: `WARN: [server] rotate backoff aborted: ctx cancelled`, TS: ts},
		// 对照:真传输故障(不是掐断)仍须 bad
		{Text: `ERR: [upstream] chat_stream acct=备用号(aabbccdd): transport error: Post "https://x/v2/chat/completions": connection refused`, TS: ts},
	}
	got := AggregateErrors(lines)
	// 聚合键是 (账号, 类型, 模型):示例号的掐断里有一条带 model,故与不带 model 的分列。
	byKey := map[string]ErrStat{}
	for _, r := range got {
		byKey[r.Account+"|"+r.Kind+"|"+r.Model] = r
	}
	if len(got) != 4 {
		t.Fatalf("聚合行数=%d want 4:%+v", len(got), got)
	}
	// 真故障(connection refused)仍须 bad,且排序上排最前
	if got[0].Kind != "传输失败" || got[0].Sev != sevBad {
		t.Errorf("真传输故障应仍是 bad 且排最前:%+v", got[0])
	}
	for _, k := range []string{
		"示例号(00000002)|客户端中断|",
		"示例号(00000002)|客户端中断|deepseek-v4.1-flash",
		"|客户端中断|",
	} {
		r, ok := byKey[k]
		if !ok {
			t.Fatalf("缺行 %q:%+v", k, got)
		}
		if r.Sev != sevInfo {
			t.Errorf("%q 的掐断应归 info:%+v", k, r)
		}
	}
	if r := byKey["示例号(00000002)|客户端中断|"]; r.Count != 2 {
		t.Errorf("同账号同形掐断应合并计 2 次:%+v", r)
	}
}

// 缓存重算告警必须进汇总(线上 15 条 WARN 曾因无匹配规则被整类静默丢弃)。
func TestAggregateErrorsCacheRecompute(t *testing.T) {
	got := AggregateErrors([]LogLine{{
		Text: `WARN: [server] cache miss: model=deepseek-v4.1-flash 本次大前缀未命中(prompt=52508 miss=52508,此前观测到过命中);上游前缀缓存重算,费用会显著升高`,
		TS:   time.Now(),
	}})
	if len(got) != 1 || got[0].Kind != "缓存重算(费用)" || got[0].Sev != sevWarn || got[0].Model != "deepseek-v4.1-flash" {
		t.Fatalf("缓存告警应归类为 warn:%+v", got)
	}
}

// 正文截断与上游断流各自成类:两者都是「回答没写完」,但原因与处置不同
// (额度用尽 vs 上游链路断了),混进「其他(未归类)」就分不出来。
func TestAggregateErrorsTruncationKinds(t *testing.T) {
	got := AggregateErrors([]LogLine{
		{
			Text: `WARN: [server] stream acct=示例号(00000002) model=deepseek-v4.1-flash: finish_reason=length 正文截断(tok=8192 think=7612 hasTok=true hasThink=true 客户端限额=true)——输出额度用尽,上游在此处切断`,
			TS:   time.Now(),
		},
		{
			Text: `WARN: [server] stream 上游未给终态就结束(无 finish_reason、无 data: [DONE],12394 个有效帧)→ 按截断收尾`,
			TS:   time.Now(),
		},
	})
	byKey := map[string]ErrStat{}
	for _, r := range got {
		byKey[r.Kind] = r
	}
	if r, ok := byKey["正文截断(finish=length)"]; !ok || r.Sev != sevWarn {
		t.Fatalf("正文截断应单独成类:%+v", got)
	}
	if r, ok := byKey["上游断流(已补截断终态)"]; !ok || r.Sev != sevWarn {
		t.Fatalf("上游断流应单独成类:%+v", got)
	}
	for _, r := range got {
		if strings.Contains(r.Kind, "未归类") {
			t.Fatalf("不应落进未归类桶:%+v", r)
		}
	}
}

// 没匹配到规则的 WARN/ERR 归「其他(未归类)」,绝不静默丢弃:新增日志文案时要当场看见,
// 否则汇总看着正常、错的只是它少了一行(最难发现的漏报)。
func TestAggregateErrorsUnclassifiedNotDropped(t *testing.T) {
	got := AggregateErrors([]LogLine{
		{Text: `WARN: [brand-new] acct=示例号(00000002) 某个还没写规则的失败: boom`, TS: time.Now()},
		{Text: `WARN: [brand-new] acct=备用号(aabbccdd) 另一个还没写规则的失败: boom2`, TS: time.Now()},
	})
	if len(got) != 2 {
		t.Fatalf("聚合行数=%d want 2(不同账号不并成一行):%+v", len(got), got)
	}
	for _, r := range got {
		if r.Kind != "其他(未归类)" || r.Sev != sevWarn {
			t.Errorf("未归类行应归入「其他」且为 warn:%+v", r)
		}
		if r.Account == "" {
			t.Errorf("未归类行也要带得出账号:%+v", r)
		}
	}
	// 非 WARN/ERR 行仍不进汇总
	if n := len(AggregateErrors([]LogLine{{Text: `INFO: [x] 随便什么`, TS: time.Now()}})); n != 0 {
		t.Errorf("INFO 行不该进汇总:%d", n)
	}
}

// [continue] 行补上 acct= 之后,汇总里这一族(线上 22 条)必须带得出账号。
func TestAggregateErrorsContinueHasAccount(t *testing.T) {
	got := AggregateErrors([]LogLine{{
		Text: `WARN: [continue] acct=示例号(00000002) 段无 finish 结束(疑似上游断流,按截断终态降级)`,
		TS:   time.Now(),
	}})
	if len(got) != 1 || got[0].Kind != "续写降级" || got[0].Account != "示例号(00000002)" {
		t.Fatalf("续写降级应带账号:%+v", got)
	}
}

// 用本仓真实格式的样本行(取自 server/upstream/pool/continue 的实际 log.Printf 格式),
// 钉住三件事:归类正确、账号/模型/码抽取正确、按严重度+次数排序。
func TestAggregateErrors(t *testing.T) {
	ts := time.Date(2026, 10, 14, 1, 2, 3, 0, time.Local)
	lines := []LogLine{
		// 同账号同类型两行 → 合并计 2 次
		{Text: `WARN: [upstream] chat_stream acct=示例号(00000002): upstream 429 soft_rate body={"code":6004,"msg":"rate limited"}`, TS: ts},
		{Text: `WARN: [upstream] chat_stream acct=示例号(00000002): upstream 429 soft_rate body={"code":6004,"msg":"rate limited"}`, TS: ts.Add(time.Minute)},
		// 另一个账号的传输失败
		{Text: `ERR: [upstream] chat_stream acct=备用号(aabbccdd): transport error: Post "https://x/v2/chat/completions": connection refused`, TS: ts},
		// 非账号级:目录拉取
		{Text: `WARN: [upstream] fetch models: v3/config probe failed (degraded to enterprise endpoint): boom`, TS: ts},
		// 首帧否决(本仓新增流程)
		{Text: `WARN: [server] stream acct=示例号(00000002) model=hy4-preview-f: upstream error frame before first byte kind=soft_rate payload={"error":{"message":"x"}} (rotating)`, TS: ts},
		// INFO 行与无法归类的行不得进聚合
		{Text: `INFO: [server] stream acct=示例号(00000002) model=x: repaired 1 native tool call(s)`, TS: ts},
		{Text: `| #007 | 00:06:45 | cn:hy4-preview-f | sync | 200 | 示例号(00000002) | TTFB=- |`, TS: ts},
	}
	got := AggregateErrors(lines)

	if len(got) != 4 {
		t.Fatalf("聚合行数=%d want 4:%+v", len(got), got)
	}
	// 排序:bad 在前(限流 2 次 > 传输 1 次),随后 warn(首帧否决、目录拉取按账号序)
	if got[0].Kind != "模型限流(6004)" || got[0].Count != 2 {
		t.Errorf("首行应为合并后的 6004 限流×2:%+v", got[0])
	}
	if got[0].Account != "示例号(00000002)" || got[0].Code != "429" {
		t.Errorf("账号/上游状态码抽取错误:%+v", got[0])
	}
	if got[0].Last != "01:03:03" { // 取最近一次(第 2 行)
		t.Errorf("Last 应取最近一次时刻:%+v", got[0])
	}
	if got[1].Kind != "传输失败" || got[1].Sev != sevBad {
		t.Errorf("传输失败应归 bad:%+v", got[1])
	}
	// 两个 warn 各 1 次:账号序兜底(非账号级 "" 排在账号标签前)
	if got[2].Kind != "模型目录拉取异常" || got[2].Account != "" {
		t.Errorf("非账号级错误 Account 应为空:%+v", got[2])
	}
	if got[3].Kind != "首帧否决(换号)" || got[3].Model != "hy4-preview-f" {
		t.Errorf("首帧否决应带模型名:%+v", got[3])
	}
	for _, r := range got {
		if r.Sample == "" {
			t.Errorf("每行都应带样本:%+v", r)
		}
	}
}

// 调度族(scheduler)失败行:账号标签紧跟任务名、无 acct= 前缀,且连续 12153 禁用
// 是账号级终态(bad)而非普通任务失败。
func TestAggregateErrorsSchedulerFamily(t *testing.T) {
	ts := time.Now()
	got := AggregateErrors([]LogLine{
		{Text: `WARN: keepalive 示例号(00000002): 连续 3 次 12153 session dead — 禁用`, TS: ts},
		{Text: `WARN: checkin 备用号(aabbccdd): Post "https://x": connection refused`, TS: ts},
		{Text: `WARN: balance 备用号(aabbccdd): context deadline exceeded`, TS: ts},
		{Text: `checkin 示例号(00000002): 签到成功`, TS: ts}, // 正常流转无前缀 → 不参与
	})
	if len(got) != 3 {
		t.Fatalf("行数=%d want 3:%+v", len(got), got)
	}
	// bad 在前:保活连续 12153 禁用
	if got[0].Kind != "保活失败" || got[0].Sev != sevBad || got[0].Account != "示例号(00000002)" {
		t.Errorf("first=%+v", got[0])
	}
	if got[1].Kind != "签到失败" || got[1].Account != "备用号(aabbccdd)" {
		t.Errorf("second=%+v", got[1])
	}
	if got[2].Kind != "余额查询失败" {
		t.Errorf("third=%+v", got[2])
	}
}

// 模型级限流的解除时刻从上游文案抽取(「将在 … 重置」/ 英文形态都认)。
func TestAggregateErrorsResetUntil(t *testing.T) {
	line := `WARN: [upstream] chat_stream acct=a1b2c3d4: upstream 429 soft_rate body={"code":6004,"msg":"rate limited, will reset at 2026-10-14 02:00:00"}`
	got := AggregateErrors([]LogLine{{Text: line, TS: time.Now()}})
	if len(got) != 1 || got[0].Until != "2026-10-14 02:00:00" {
		t.Fatalf("解除时刻未抽出:%+v", got)
	}
}

// 端点契约:前端读的是 {rows, scanned, updated_at}(renderErrorSummary 直接取这三项)。
func TestErrorSummaryEndpoint(t *testing.T) {
	p := New(Config{})
	p.Logs().Write([]byte("WARN: [upstream] chat_stream acct=a1b2c3d4: upstream 429 soft_rate body={\"code\":6004}\n"))
	rec := httptest.NewRecorder()
	p.errorSummary(rec, httptest.NewRequest("GET", "/panel/api/error_summary", nil))
	var got struct {
		Rows      []ErrStat `json:"rows"`
		Scanned   int       `json:"scanned"`
		UpdatedAt string    `json:"updated_at"`
	}
	if err := json.Unmarshal(rec.Body.Bytes(), &got); err != nil {
		t.Fatalf("响应不是预期 JSON:%v(body=%s)", err, rec.Body.String())
	}
	if got.Scanned != 1 || len(got.Rows) != 1 || got.Rows[0].Kind != "模型限流(6004)" || got.UpdatedAt == "" {
		t.Fatalf("端点输出不合契约:%+v", got)
	}
}

// 截断必须按 rune(中文样本不得切出半截 UTF-8);且样本里换行被压平。
// 另:sample_full 必须比 sample 长且同样 rune 安全——表格正文与 title 悬停看全文
// 是两个字段(issue #61),title 复用已截断的 sample 会让悬停等于没有。
func TestAggregateErrorsSampleIsRuneSafe(t *testing.T) {
	line := "WARN: [upstream] chat_stream acct=a1b2c3d4: upstream 400 content_blocked body={\"msg\":\"" +
		strings.Repeat("您的使用量已超出频率限制,请稍后再试。", 20) + "\"}"
	got := AggregateErrors([]LogLine{{Text: line, TS: time.Now()}})
	if len(got) != 1 {
		t.Fatalf("应聚合成一行:%+v", got)
	}
	for i, r := range got[0].Sample {
		if r == '\uFFFD' {
			t.Fatalf("样本出现非法 UTF-8(第 %d 字节):%q", i, got[0].Sample)
		}
	}
	if len(got[0].SampleFull) <= len(got[0].Sample) {
		t.Fatalf("sample_full 应比 sample 长(悬停才看得到全文):sample=%d full=%d",
			len(got[0].Sample), len(got[0].SampleFull))
	}
	if len(got[0].SampleFull) > sampleFullBytes {
		t.Fatalf("sample_full 超过上限 %d:%d", sampleFullBytes, len(got[0].SampleFull))
	}
	for i, r := range got[0].SampleFull {
		if r == '\uFFFD' {
			t.Fatalf("全文样本出现非法 UTF-8(第 %d 字节):%q", i, got[0].SampleFull)
		}
	}
}

// 续写救援要能在面板里数出来,且**按入口分开**(issue #209 建议 3):
// `[narration]` / `[toolonly]` / `[starved]` 是三条不同的规则,混成一个数字就只能
// 看到「救了多少」,看不出是哪条在反复触发——而定位「停不下来」恰恰需要这个。
func TestAggregateErrorsRescueKinds(t *testing.T) {
	got := AggregateErrors([]LogLine{
		{Text: `2026/11/10 20:31:27 [toolonly] acct=示例号(00000002) model=deepseek-v4.1-flash seg=1 正文只有 1400B 就收尾(末条是工具结果)→ 试续一次,只采纳工具调用`, TS: time.Now()},
		{Text: `2026/11/10 20:31:28 [toolonly] acct=示例号(00000002) model=deepseek-v4.1-flash seg=1 续写段拿到工具调用 → 采纳`, TS: time.Now()},
		{Text: `2026/11/10 20:31:29 [narration] acct=示例号(00000002) model=deepseek-v4.1-flash 结果:共 2 段,工具调用=true,正文合计=343B`, TS: time.Now()},
		{Text: `2026/11/10 20:31:30 [starved] acct=示例号(00000002) model=deepseek-v4.1-flash seg=1 思考吃光预算(正文 0B)→ 同额度关思考重发`, TS: time.Now()},
	})
	want := map[string]int{
		"续写救援(说一句就停)":  2,
		"续写救援(预告句)":    1,
		"续写救援(思考吃光预算)": 1,
	}
	if len(got) != len(want) {
		t.Fatalf("三个入口应各成一类,实际 %d 项:%+v", len(got), got)
	}
	for _, st := range got {
		if st.Sev != sevInfo {
			t.Fatalf("%s 应为 info:%+v", st.Kind, st)
		}
		n, ok := want[st.Kind]
		if !ok {
			t.Fatalf("出现意外的归类 %q", st.Kind)
		}
		if st.Count != n {
			t.Fatalf("%s 计数=%d want %d", st.Kind, st.Count, n)
		}
	}
}