File size: 8,987 Bytes
e48a2d8
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
// fetch.go POST /v1/fetch:DeepSeek Fetch API 兼容入口(DSH 的 web-deepseek-api)。
//
// DSH 的 Search / Fetch 共用一份 baseURL(默认 https://api.deepseek.com/v1/tools,
// 追加 /search 与 /fetch)。把 baseURL 指向网关时:
//
//	POST /v1/search  {"query":"...", "count":3}      → 见 search.go
//	POST /v1/fetch   {"url":"https://example.com"}   → 本文件
//
// 期望响应是 JSON {"content":"<markdown>"}(DSH 只校验 content 是 string);
// 上游 agenttool/v1/webfetch 返回 {url,title,content},这里原字段透传,缺
// content 时按 502 报错(DSH 会当成 provider error 展示给模型)。
//
// 取号/失败处置与 /v1/search 同源:单次取号、失败换号上限 3、请求级 400
// fail-fast 不烧全池。realm 解析也一致("model":"cn:x" 前缀或 "realm" 字段,
// 缺省 cn);DSH 不会传,所以默认走 CN。
package server

import (
	"encoding/json"
	"errors"
	"fmt"
	"io"
	"log"
	"net/http"
	"net/url"
	"strconv"
	"strings"

	"github.com/misakano7545/workbuddy2api-panel/internal/logfmt"
	"github.com/misakano7545/workbuddy2api-panel/internal/upstream"
)

type fetchRequest struct {
	URL   string `json:"url"`
	Model string `json:"model"` // 可选,只取 realm 前缀(与 search 同口径)
	Realm string `json:"realm"` // 可选,优先于 model 前缀
}

func (h *Handler) fetch(w http.ResponseWriter, r *http.Request) {
	raw, err := io.ReadAll(io.LimitReader(r.Body, 1<<20))
	if err != nil {
		writeOpenAIError(w, http.StatusBadRequest, "invalid_request", "read body: "+err.Error())
		return
	}
	var req fetchRequest
	if err := json.Unmarshal(raw, &req); err != nil {
		writeOpenAIError(w, http.StatusBadRequest, "invalid_request", "invalid json: "+err.Error())
		return
	}
	target := strings.TrimSpace(req.URL)
	if target == "" {
		writeOpenAIError(w, http.StatusBadRequest, "invalid_request",
			`url is required(例:{"url":"https://example.com"})`)
		return
	}
	// 只接受 http/https:上游 webfetch 对其它 scheme 只会回 400,本地先拦住,
	// 少一次白烧的上游请求。
	if u, perr := url.Parse(target); perr != nil || (u.Scheme != "http" && u.Scheme != "https") {
		writeOpenAIError(w, http.StatusBadRequest, "invalid_request",
			"url must be an absolute http(s) URL")
		return
	}
	realm, _ := resolveModel(req.Model)
	if req.Realm != "" {
		realm = req.Realm
	}
	if realm != "global" {
		realm = "cn"
	}

	tried := map[string]bool{}
	lastErr, handled := h.fetchInRealm(w, r, target, realm, tried)
	if handled {
		return
	}
	// 跨域兜底(2026-10-31 实案):CN 域的 edgebrowser 有域名路由策略,Google 系域名
	// (google.com / *.googlesource.com / developer.android.com / source.android.com
	// 实测全拒)一律回 403 code=15021「domain rejected by via routing policy」,
	// 而 global 域对同一域名正常返回正文。这不是账号问题(换遍全池 CN 号都是同一个
	// 403),只有换域才有救 —— 故仅在「域名被策略拒绝」时改域重试,其他错误不跨域
	// (两域积分/账号互不相通,跨域重试对 5xx/限流无意义)。
	//
	// DSH 不会传 realm,默认走 CN,于是「抓 Google 文档」在默认配置下必失败;这条
	// 兜底让它在用户无感的情况下用 global 账号拿到正文。
	if lastErr != nil && isFetchDomainRejected(lastErr) {
		alt := "global"
		if realm == "global" {
			alt = "cn"
		}
		if h.cfg.Pool.ServableForRealm(alt) {
			log.Printf("fetch realm=%s: 域名被上游路由策略拒绝(15021),改试 %s 域", realm, alt)
			lastErr, handled = h.fetchInRealm(w, r, target, alt, tried)
			if handled {
				return
			}
			realm = alt // 日志/错误口径按最终尝试的域
		}
	}

	status, code := http.StatusBadGateway, "upstream_error"
	var ue *upstream.Error
	switch {
	case len(tried) == 0:
		status, code = http.StatusServiceUnavailable, "no_account"
		lastErr = fmt.Errorf("没有可用的 %s 账号", realm)
	case errors.As(lastErr, &ue) && ue.Status >= 400:
		status = ue.Status
	}
	// 下载类 URL 的专属提示:global 域的浏览器工具对 Content-Disposition/非 HTML
	// 响应直接 422「Browser does not support download functionality」(gitiles 的
	// ?format=TEXT 实测如此)。改域也救不了,只能让调用方换 HTML 页面地址。
	if lastErr != nil && strings.Contains(strings.ToLower(lastErr.Error()), "does not support download") {
		status = http.StatusUnprocessableEntity
		lastErr = fmt.Errorf("上游浏览器不支持下载类 URL(如 gitiles 的 ?format=TEXT);"+
			"请改用该文件的 HTML 页面地址(去掉 ?format=TEXT):%w", lastErr)
	}
	log.Printf("fetch realm=%s: 全部尝试失败(%d 个账号):%v", realm, len(tried), lastErr)
	writeOpenAIError(w, status, code, lastErr.Error())
}

// fetchInRealm 在单个域内轮转取号抓取。
// 返回 (lastErr, handled):handled=true 表示响应已写出(成功 / 上游形状不可用 /
// 请求级错误),调用方应立即返回;否则 lastErr 供调用方决定是否跨域重试。
func (h *Handler) fetchInRealm(w http.ResponseWriter, r *http.Request, target, realm string, tried map[string]bool) (error, bool) {
	var lastErr error
	for attempt := 0; attempt < searchAttempts; attempt++ {
		a := h.cfg.Pool.PickExcludingForRealm(tried, "", realm)
		if a == nil {
			break
		}
		tried[a.UID] = true
		data, ferr := h.cfg.Upstream.WebFetch(r.Context(), a, target)
		if ferr == nil {
			out, perr := normalizeFetchResponse(data, target)
			if perr != nil {
				// 上游 200 但形状不对:改写成 502,别把半成品当成功透传。
				log.Printf("fetch %s realm=%s: 上游响应不可用: %v", logfmt.Label(a.UID, a.Nickname), realm, perr)
				writeOpenAIError(w, http.StatusBadGateway, "upstream_error", perr.Error())
				return nil, true
			}
			w.Header().Set("Content-Type", "application/json")
			_, _ = w.Write(out)
			return nil, true
		}
		lastErr = ferr
		var ue *upstream.Error
		if errors.As(ferr, &ue) {
			// 与 search/images 同一套失败处置(冷却/熔断/模型负缓存/12153 计数)。
			h.applyErrorPolicy(a.UID, ue.Kind, ue.Msg, "", ue)
			// 请求级错误(参数/内容/模型,及 400+ErrClient 的 url 校验失败)换号
			// 必然同样被拒,直接透传上游原文。
			if requestLevelFailFastKind(ue.Kind) ||
				(ue.Status == http.StatusBadRequest && ue.Kind == upstream.ErrClient) {
				status := ue.Status
				if status < 400 {
					status = http.StatusBadRequest
				}
				log.Printf("fetch realm=%s: 请求级错误 kind=%v,不再换号", realm, ue.Kind)
				writeOpenAIError(w, status, "upstream_error", ue.Msg)
				return nil, true
			}
		}
		log.Printf("fetch %s realm=%s attempt=%d: %v", logfmt.Label(a.UID, a.Nickname), realm, attempt+1, ferr)
	}
	if lastErr == nil {
		// 一个号都没选到(本域无账号,或 ServableForRealm 与 pick 之间账号恰好
		// 进入冷却/名额占满的竞态窗口)。必须返回显式错误而非 nil:跨域兜底会把
		// 这里的返回值覆盖到 lastErr 上,nil 会让下方 lastErr.Error() 空指针 panic
		//(回归:fetch 跨域兜底选不到号)。
		return fmt.Errorf("没有可用的 %s 账号", realm), false
	}
	return lastErr, false
}

// isFetchDomainRejected 上游 edgebrowser 的域名路由策略拒绝(业务码 15021)。
// 该错误是**域名级**的(同域所有账号一致),与账号健康无关,换号无效、换域有效。
func isFetchDomainRejected(err error) bool {
	var ue *upstream.Error
	if !errors.As(err, &ue) {
		return false
	}
	return upstream.HasCodeMarker(ue.Msg, "15021")
}

// normalizeFetchResponse 确保响应是 DSH 需要的 {"content": "<markdown>"} 形状。
//
// 上游 agenttool/v1/webfetch 回 {url,title,content}:content 必须是 string,
// 缺 content / content 为 null / 非对象时判失败(502),不伪造空正文——空正文
// 会被 DSH 当成"页面没有可用内容"的成功抓取,掩盖真实故障。
// url 缺失时补请求 URL(DSH 不消费该字段,但上游语义上应回显)。
func normalizeFetchResponse(raw []byte, reqURL string) ([]byte, error) {
	var obj map[string]json.RawMessage
	if err := json.Unmarshal(raw, &obj); err != nil {
		return nil, fmt.Errorf("upstream fetch response is not a JSON object")
	}
	content, ok := obj["content"]
	if !ok || string(content) == "null" {
		return nil, fmt.Errorf("upstream fetch response has no content field")
	}
	var s string
	if err := json.Unmarshal(content, &s); err != nil {
		// json.Unmarshal 对 null 不报错(保持零值),故上面先单独拦 null。
		return nil, fmt.Errorf("upstream fetch content is not a string")
	}
	if _, ok := obj["url"]; !ok {
		obj["url"] = json.RawMessage(strconv.Quote(reqURL))
	}
	out, err := json.Marshal(obj)
	if err != nil {
		return nil, fmt.Errorf("encode fetch response: %w", err)
	}
	return out, nil
}