File size: 13,855 Bytes
e48a2d8 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 | package panel
import (
"encoding/json"
"net/http/httptest"
"strings"
"testing"
"time"
)
// 客户端掐断(Stop/掉线)不是故障:它以 context canceled 的形式散在多种文案里
// (transport error / upstream parse failed / 续写失败 / rotate backoff aborted),
// 线上实测 54 条聚合里有 37 条是它——一律归 info,免得把真故障挤出首屏。
func TestAggregateErrorsClientCancelIsInfo(t *testing.T) {
ts := time.Date(2026, 10, 14, 1, 2, 3, 0, time.Local)
lines := []LogLine{
{Text: `ERR: [upstream] chat_stream acct=示例号(00000002): transport error: Post "https://copilot.tencent.com/v2/chat/completions": context canceled`, TS: ts},
{Text: `WARN: [server] sync acct=示例号(00000002) model=deepseek-v4.1-flash: upstream parse failed: context canceled`, TS: ts},
{Text: `WARN: [continue] acct=示例号(00000002) seg=1 续写失败(status=0 err=Post "https://x": context canceled)→ 降级为截断终态`, TS: ts},
{Text: `WARN: [server] rotate backoff aborted: ctx cancelled`, TS: ts},
// 对照:真传输故障(不是掐断)仍须 bad
{Text: `ERR: [upstream] chat_stream acct=备用号(aabbccdd): transport error: Post "https://x/v2/chat/completions": connection refused`, TS: ts},
}
got := AggregateErrors(lines)
// 聚合键是 (账号, 类型, 模型):示例号的掐断里有一条带 model,故与不带 model 的分列。
byKey := map[string]ErrStat{}
for _, r := range got {
byKey[r.Account+"|"+r.Kind+"|"+r.Model] = r
}
if len(got) != 4 {
t.Fatalf("聚合行数=%d want 4:%+v", len(got), got)
}
// 真故障(connection refused)仍须 bad,且排序上排最前
if got[0].Kind != "传输失败" || got[0].Sev != sevBad {
t.Errorf("真传输故障应仍是 bad 且排最前:%+v", got[0])
}
for _, k := range []string{
"示例号(00000002)|客户端中断|",
"示例号(00000002)|客户端中断|deepseek-v4.1-flash",
"|客户端中断|",
} {
r, ok := byKey[k]
if !ok {
t.Fatalf("缺行 %q:%+v", k, got)
}
if r.Sev != sevInfo {
t.Errorf("%q 的掐断应归 info:%+v", k, r)
}
}
if r := byKey["示例号(00000002)|客户端中断|"]; r.Count != 2 {
t.Errorf("同账号同形掐断应合并计 2 次:%+v", r)
}
}
// 缓存重算告警必须进汇总(线上 15 条 WARN 曾因无匹配规则被整类静默丢弃)。
func TestAggregateErrorsCacheRecompute(t *testing.T) {
got := AggregateErrors([]LogLine{{
Text: `WARN: [server] cache miss: model=deepseek-v4.1-flash 本次大前缀未命中(prompt=52508 miss=52508,此前观测到过命中);上游前缀缓存重算,费用会显著升高`,
TS: time.Now(),
}})
if len(got) != 1 || got[0].Kind != "缓存重算(费用)" || got[0].Sev != sevWarn || got[0].Model != "deepseek-v4.1-flash" {
t.Fatalf("缓存告警应归类为 warn:%+v", got)
}
}
// 正文截断与上游断流各自成类:两者都是「回答没写完」,但原因与处置不同
// (额度用尽 vs 上游链路断了),混进「其他(未归类)」就分不出来。
func TestAggregateErrorsTruncationKinds(t *testing.T) {
got := AggregateErrors([]LogLine{
{
Text: `WARN: [server] stream acct=示例号(00000002) model=deepseek-v4.1-flash: finish_reason=length 正文截断(tok=8192 think=7612 hasTok=true hasThink=true 客户端限额=true)——输出额度用尽,上游在此处切断`,
TS: time.Now(),
},
{
Text: `WARN: [server] stream 上游未给终态就结束(无 finish_reason、无 data: [DONE],12394 个有效帧)→ 按截断收尾`,
TS: time.Now(),
},
})
byKey := map[string]ErrStat{}
for _, r := range got {
byKey[r.Kind] = r
}
if r, ok := byKey["正文截断(finish=length)"]; !ok || r.Sev != sevWarn {
t.Fatalf("正文截断应单独成类:%+v", got)
}
if r, ok := byKey["上游断流(已补截断终态)"]; !ok || r.Sev != sevWarn {
t.Fatalf("上游断流应单独成类:%+v", got)
}
for _, r := range got {
if strings.Contains(r.Kind, "未归类") {
t.Fatalf("不应落进未归类桶:%+v", r)
}
}
}
// 没匹配到规则的 WARN/ERR 归「其他(未归类)」,绝不静默丢弃:新增日志文案时要当场看见,
// 否则汇总看着正常、错的只是它少了一行(最难发现的漏报)。
func TestAggregateErrorsUnclassifiedNotDropped(t *testing.T) {
got := AggregateErrors([]LogLine{
{Text: `WARN: [brand-new] acct=示例号(00000002) 某个还没写规则的失败: boom`, TS: time.Now()},
{Text: `WARN: [brand-new] acct=备用号(aabbccdd) 另一个还没写规则的失败: boom2`, TS: time.Now()},
})
if len(got) != 2 {
t.Fatalf("聚合行数=%d want 2(不同账号不并成一行):%+v", len(got), got)
}
for _, r := range got {
if r.Kind != "其他(未归类)" || r.Sev != sevWarn {
t.Errorf("未归类行应归入「其他」且为 warn:%+v", r)
}
if r.Account == "" {
t.Errorf("未归类行也要带得出账号:%+v", r)
}
}
// 非 WARN/ERR 行仍不进汇总
if n := len(AggregateErrors([]LogLine{{Text: `INFO: [x] 随便什么`, TS: time.Now()}})); n != 0 {
t.Errorf("INFO 行不该进汇总:%d", n)
}
}
// [continue] 行补上 acct= 之后,汇总里这一族(线上 22 条)必须带得出账号。
func TestAggregateErrorsContinueHasAccount(t *testing.T) {
got := AggregateErrors([]LogLine{{
Text: `WARN: [continue] acct=示例号(00000002) 段无 finish 结束(疑似上游断流,按截断终态降级)`,
TS: time.Now(),
}})
if len(got) != 1 || got[0].Kind != "续写降级" || got[0].Account != "示例号(00000002)" {
t.Fatalf("续写降级应带账号:%+v", got)
}
}
// 用本仓真实格式的样本行(取自 server/upstream/pool/continue 的实际 log.Printf 格式),
// 钉住三件事:归类正确、账号/模型/码抽取正确、按严重度+次数排序。
func TestAggregateErrors(t *testing.T) {
ts := time.Date(2026, 10, 14, 1, 2, 3, 0, time.Local)
lines := []LogLine{
// 同账号同类型两行 → 合并计 2 次
{Text: `WARN: [upstream] chat_stream acct=示例号(00000002): upstream 429 soft_rate body={"code":6004,"msg":"rate limited"}`, TS: ts},
{Text: `WARN: [upstream] chat_stream acct=示例号(00000002): upstream 429 soft_rate body={"code":6004,"msg":"rate limited"}`, TS: ts.Add(time.Minute)},
// 另一个账号的传输失败
{Text: `ERR: [upstream] chat_stream acct=备用号(aabbccdd): transport error: Post "https://x/v2/chat/completions": connection refused`, TS: ts},
// 非账号级:目录拉取
{Text: `WARN: [upstream] fetch models: v3/config probe failed (degraded to enterprise endpoint): boom`, TS: ts},
// 首帧否决(本仓新增流程)
{Text: `WARN: [server] stream acct=示例号(00000002) model=hy4-preview-f: upstream error frame before first byte kind=soft_rate payload={"error":{"message":"x"}} (rotating)`, TS: ts},
// INFO 行与无法归类的行不得进聚合
{Text: `INFO: [server] stream acct=示例号(00000002) model=x: repaired 1 native tool call(s)`, TS: ts},
{Text: `| #007 | 00:06:45 | cn:hy4-preview-f | sync | 200 | 示例号(00000002) | TTFB=- |`, TS: ts},
}
got := AggregateErrors(lines)
if len(got) != 4 {
t.Fatalf("聚合行数=%d want 4:%+v", len(got), got)
}
// 排序:bad 在前(限流 2 次 > 传输 1 次),随后 warn(首帧否决、目录拉取按账号序)
if got[0].Kind != "模型限流(6004)" || got[0].Count != 2 {
t.Errorf("首行应为合并后的 6004 限流×2:%+v", got[0])
}
if got[0].Account != "示例号(00000002)" || got[0].Code != "429" {
t.Errorf("账号/上游状态码抽取错误:%+v", got[0])
}
if got[0].Last != "01:03:03" { // 取最近一次(第 2 行)
t.Errorf("Last 应取最近一次时刻:%+v", got[0])
}
if got[1].Kind != "传输失败" || got[1].Sev != sevBad {
t.Errorf("传输失败应归 bad:%+v", got[1])
}
// 两个 warn 各 1 次:账号序兜底(非账号级 "" 排在账号标签前)
if got[2].Kind != "模型目录拉取异常" || got[2].Account != "" {
t.Errorf("非账号级错误 Account 应为空:%+v", got[2])
}
if got[3].Kind != "首帧否决(换号)" || got[3].Model != "hy4-preview-f" {
t.Errorf("首帧否决应带模型名:%+v", got[3])
}
for _, r := range got {
if r.Sample == "" {
t.Errorf("每行都应带样本:%+v", r)
}
}
}
// 调度族(scheduler)失败行:账号标签紧跟任务名、无 acct= 前缀,且连续 12153 禁用
// 是账号级终态(bad)而非普通任务失败。
func TestAggregateErrorsSchedulerFamily(t *testing.T) {
ts := time.Now()
got := AggregateErrors([]LogLine{
{Text: `WARN: keepalive 示例号(00000002): 连续 3 次 12153 session dead — 禁用`, TS: ts},
{Text: `WARN: checkin 备用号(aabbccdd): Post "https://x": connection refused`, TS: ts},
{Text: `WARN: balance 备用号(aabbccdd): context deadline exceeded`, TS: ts},
{Text: `checkin 示例号(00000002): 签到成功`, TS: ts}, // 正常流转无前缀 → 不参与
})
if len(got) != 3 {
t.Fatalf("行数=%d want 3:%+v", len(got), got)
}
// bad 在前:保活连续 12153 禁用
if got[0].Kind != "保活失败" || got[0].Sev != sevBad || got[0].Account != "示例号(00000002)" {
t.Errorf("first=%+v", got[0])
}
if got[1].Kind != "签到失败" || got[1].Account != "备用号(aabbccdd)" {
t.Errorf("second=%+v", got[1])
}
if got[2].Kind != "余额查询失败" {
t.Errorf("third=%+v", got[2])
}
}
// 模型级限流的解除时刻从上游文案抽取(「将在 … 重置」/ 英文形态都认)。
func TestAggregateErrorsResetUntil(t *testing.T) {
line := `WARN: [upstream] chat_stream acct=a1b2c3d4: upstream 429 soft_rate body={"code":6004,"msg":"rate limited, will reset at 2026-10-14 02:00:00"}`
got := AggregateErrors([]LogLine{{Text: line, TS: time.Now()}})
if len(got) != 1 || got[0].Until != "2026-10-14 02:00:00" {
t.Fatalf("解除时刻未抽出:%+v", got)
}
}
// 端点契约:前端读的是 {rows, scanned, updated_at}(renderErrorSummary 直接取这三项)。
func TestErrorSummaryEndpoint(t *testing.T) {
p := New(Config{})
p.Logs().Write([]byte("WARN: [upstream] chat_stream acct=a1b2c3d4: upstream 429 soft_rate body={\"code\":6004}\n"))
rec := httptest.NewRecorder()
p.errorSummary(rec, httptest.NewRequest("GET", "/panel/api/error_summary", nil))
var got struct {
Rows []ErrStat `json:"rows"`
Scanned int `json:"scanned"`
UpdatedAt string `json:"updated_at"`
}
if err := json.Unmarshal(rec.Body.Bytes(), &got); err != nil {
t.Fatalf("响应不是预期 JSON:%v(body=%s)", err, rec.Body.String())
}
if got.Scanned != 1 || len(got.Rows) != 1 || got.Rows[0].Kind != "模型限流(6004)" || got.UpdatedAt == "" {
t.Fatalf("端点输出不合契约:%+v", got)
}
}
// 截断必须按 rune(中文样本不得切出半截 UTF-8);且样本里换行被压平。
// 另:sample_full 必须比 sample 长且同样 rune 安全——表格正文与 title 悬停看全文
// 是两个字段(issue #61),title 复用已截断的 sample 会让悬停等于没有。
func TestAggregateErrorsSampleIsRuneSafe(t *testing.T) {
line := "WARN: [upstream] chat_stream acct=a1b2c3d4: upstream 400 content_blocked body={\"msg\":\"" +
strings.Repeat("您的使用量已超出频率限制,请稍后再试。", 20) + "\"}"
got := AggregateErrors([]LogLine{{Text: line, TS: time.Now()}})
if len(got) != 1 {
t.Fatalf("应聚合成一行:%+v", got)
}
for i, r := range got[0].Sample {
if r == '\uFFFD' {
t.Fatalf("样本出现非法 UTF-8(第 %d 字节):%q", i, got[0].Sample)
}
}
if len(got[0].SampleFull) <= len(got[0].Sample) {
t.Fatalf("sample_full 应比 sample 长(悬停才看得到全文):sample=%d full=%d",
len(got[0].Sample), len(got[0].SampleFull))
}
if len(got[0].SampleFull) > sampleFullBytes {
t.Fatalf("sample_full 超过上限 %d:%d", sampleFullBytes, len(got[0].SampleFull))
}
for i, r := range got[0].SampleFull {
if r == '\uFFFD' {
t.Fatalf("全文样本出现非法 UTF-8(第 %d 字节):%q", i, got[0].SampleFull)
}
}
}
// 续写救援要能在面板里数出来,且**按入口分开**(issue #209 建议 3):
// `[narration]` / `[toolonly]` / `[starved]` 是三条不同的规则,混成一个数字就只能
// 看到「救了多少」,看不出是哪条在反复触发——而定位「停不下来」恰恰需要这个。
func TestAggregateErrorsRescueKinds(t *testing.T) {
got := AggregateErrors([]LogLine{
{Text: `2026/11/10 20:31:27 [toolonly] acct=示例号(00000002) model=deepseek-v4.1-flash seg=1 正文只有 1400B 就收尾(末条是工具结果)→ 试续一次,只采纳工具调用`, TS: time.Now()},
{Text: `2026/11/10 20:31:28 [toolonly] acct=示例号(00000002) model=deepseek-v4.1-flash seg=1 续写段拿到工具调用 → 采纳`, TS: time.Now()},
{Text: `2026/11/10 20:31:29 [narration] acct=示例号(00000002) model=deepseek-v4.1-flash 结果:共 2 段,工具调用=true,正文合计=343B`, TS: time.Now()},
{Text: `2026/11/10 20:31:30 [starved] acct=示例号(00000002) model=deepseek-v4.1-flash seg=1 思考吃光预算(正文 0B)→ 同额度关思考重发`, TS: time.Now()},
})
want := map[string]int{
"续写救援(说一句就停)": 2,
"续写救援(预告句)": 1,
"续写救援(思考吃光预算)": 1,
}
if len(got) != len(want) {
t.Fatalf("三个入口应各成一类,实际 %d 项:%+v", len(got), got)
}
for _, st := range got {
if st.Sev != sevInfo {
t.Fatalf("%s 应为 info:%+v", st.Kind, st)
}
n, ok := want[st.Kind]
if !ok {
t.Fatalf("出现意外的归类 %q", st.Kind)
}
if st.Count != n {
t.Fatalf("%s 计数=%d want %d", st.Kind, st.Count, n)
}
}
}
|