File size: 8,987 Bytes
e48a2d8 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 | // fetch.go POST /v1/fetch:DeepSeek Fetch API 兼容入口(DSH 的 web-deepseek-api)。
//
// DSH 的 Search / Fetch 共用一份 baseURL(默认 https://api.deepseek.com/v1/tools,
// 追加 /search 与 /fetch)。把 baseURL 指向网关时:
//
// POST /v1/search {"query":"...", "count":3} → 见 search.go
// POST /v1/fetch {"url":"https://example.com"} → 本文件
//
// 期望响应是 JSON {"content":"<markdown>"}(DSH 只校验 content 是 string);
// 上游 agenttool/v1/webfetch 返回 {url,title,content},这里原字段透传,缺
// content 时按 502 报错(DSH 会当成 provider error 展示给模型)。
//
// 取号/失败处置与 /v1/search 同源:单次取号、失败换号上限 3、请求级 400
// fail-fast 不烧全池。realm 解析也一致("model":"cn:x" 前缀或 "realm" 字段,
// 缺省 cn);DSH 不会传,所以默认走 CN。
package server
import (
"encoding/json"
"errors"
"fmt"
"io"
"log"
"net/http"
"net/url"
"strconv"
"strings"
"github.com/misakano7545/workbuddy2api-panel/internal/logfmt"
"github.com/misakano7545/workbuddy2api-panel/internal/upstream"
)
type fetchRequest struct {
URL string `json:"url"`
Model string `json:"model"` // 可选,只取 realm 前缀(与 search 同口径)
Realm string `json:"realm"` // 可选,优先于 model 前缀
}
func (h *Handler) fetch(w http.ResponseWriter, r *http.Request) {
raw, err := io.ReadAll(io.LimitReader(r.Body, 1<<20))
if err != nil {
writeOpenAIError(w, http.StatusBadRequest, "invalid_request", "read body: "+err.Error())
return
}
var req fetchRequest
if err := json.Unmarshal(raw, &req); err != nil {
writeOpenAIError(w, http.StatusBadRequest, "invalid_request", "invalid json: "+err.Error())
return
}
target := strings.TrimSpace(req.URL)
if target == "" {
writeOpenAIError(w, http.StatusBadRequest, "invalid_request",
`url is required(例:{"url":"https://example.com"})`)
return
}
// 只接受 http/https:上游 webfetch 对其它 scheme 只会回 400,本地先拦住,
// 少一次白烧的上游请求。
if u, perr := url.Parse(target); perr != nil || (u.Scheme != "http" && u.Scheme != "https") {
writeOpenAIError(w, http.StatusBadRequest, "invalid_request",
"url must be an absolute http(s) URL")
return
}
realm, _ := resolveModel(req.Model)
if req.Realm != "" {
realm = req.Realm
}
if realm != "global" {
realm = "cn"
}
tried := map[string]bool{}
lastErr, handled := h.fetchInRealm(w, r, target, realm, tried)
if handled {
return
}
// 跨域兜底(2026-10-31 实案):CN 域的 edgebrowser 有域名路由策略,Google 系域名
// (google.com / *.googlesource.com / developer.android.com / source.android.com
// 实测全拒)一律回 403 code=15021「domain rejected by via routing policy」,
// 而 global 域对同一域名正常返回正文。这不是账号问题(换遍全池 CN 号都是同一个
// 403),只有换域才有救 —— 故仅在「域名被策略拒绝」时改域重试,其他错误不跨域
// (两域积分/账号互不相通,跨域重试对 5xx/限流无意义)。
//
// DSH 不会传 realm,默认走 CN,于是「抓 Google 文档」在默认配置下必失败;这条
// 兜底让它在用户无感的情况下用 global 账号拿到正文。
if lastErr != nil && isFetchDomainRejected(lastErr) {
alt := "global"
if realm == "global" {
alt = "cn"
}
if h.cfg.Pool.ServableForRealm(alt) {
log.Printf("fetch realm=%s: 域名被上游路由策略拒绝(15021),改试 %s 域", realm, alt)
lastErr, handled = h.fetchInRealm(w, r, target, alt, tried)
if handled {
return
}
realm = alt // 日志/错误口径按最终尝试的域
}
}
status, code := http.StatusBadGateway, "upstream_error"
var ue *upstream.Error
switch {
case len(tried) == 0:
status, code = http.StatusServiceUnavailable, "no_account"
lastErr = fmt.Errorf("没有可用的 %s 账号", realm)
case errors.As(lastErr, &ue) && ue.Status >= 400:
status = ue.Status
}
// 下载类 URL 的专属提示:global 域的浏览器工具对 Content-Disposition/非 HTML
// 响应直接 422「Browser does not support download functionality」(gitiles 的
// ?format=TEXT 实测如此)。改域也救不了,只能让调用方换 HTML 页面地址。
if lastErr != nil && strings.Contains(strings.ToLower(lastErr.Error()), "does not support download") {
status = http.StatusUnprocessableEntity
lastErr = fmt.Errorf("上游浏览器不支持下载类 URL(如 gitiles 的 ?format=TEXT);"+
"请改用该文件的 HTML 页面地址(去掉 ?format=TEXT):%w", lastErr)
}
log.Printf("fetch realm=%s: 全部尝试失败(%d 个账号):%v", realm, len(tried), lastErr)
writeOpenAIError(w, status, code, lastErr.Error())
}
// fetchInRealm 在单个域内轮转取号抓取。
// 返回 (lastErr, handled):handled=true 表示响应已写出(成功 / 上游形状不可用 /
// 请求级错误),调用方应立即返回;否则 lastErr 供调用方决定是否跨域重试。
func (h *Handler) fetchInRealm(w http.ResponseWriter, r *http.Request, target, realm string, tried map[string]bool) (error, bool) {
var lastErr error
for attempt := 0; attempt < searchAttempts; attempt++ {
a := h.cfg.Pool.PickExcludingForRealm(tried, "", realm)
if a == nil {
break
}
tried[a.UID] = true
data, ferr := h.cfg.Upstream.WebFetch(r.Context(), a, target)
if ferr == nil {
out, perr := normalizeFetchResponse(data, target)
if perr != nil {
// 上游 200 但形状不对:改写成 502,别把半成品当成功透传。
log.Printf("fetch %s realm=%s: 上游响应不可用: %v", logfmt.Label(a.UID, a.Nickname), realm, perr)
writeOpenAIError(w, http.StatusBadGateway, "upstream_error", perr.Error())
return nil, true
}
w.Header().Set("Content-Type", "application/json")
_, _ = w.Write(out)
return nil, true
}
lastErr = ferr
var ue *upstream.Error
if errors.As(ferr, &ue) {
// 与 search/images 同一套失败处置(冷却/熔断/模型负缓存/12153 计数)。
h.applyErrorPolicy(a.UID, ue.Kind, ue.Msg, "", ue)
// 请求级错误(参数/内容/模型,及 400+ErrClient 的 url 校验失败)换号
// 必然同样被拒,直接透传上游原文。
if requestLevelFailFastKind(ue.Kind) ||
(ue.Status == http.StatusBadRequest && ue.Kind == upstream.ErrClient) {
status := ue.Status
if status < 400 {
status = http.StatusBadRequest
}
log.Printf("fetch realm=%s: 请求级错误 kind=%v,不再换号", realm, ue.Kind)
writeOpenAIError(w, status, "upstream_error", ue.Msg)
return nil, true
}
}
log.Printf("fetch %s realm=%s attempt=%d: %v", logfmt.Label(a.UID, a.Nickname), realm, attempt+1, ferr)
}
if lastErr == nil {
// 一个号都没选到(本域无账号,或 ServableForRealm 与 pick 之间账号恰好
// 进入冷却/名额占满的竞态窗口)。必须返回显式错误而非 nil:跨域兜底会把
// 这里的返回值覆盖到 lastErr 上,nil 会让下方 lastErr.Error() 空指针 panic
//(回归:fetch 跨域兜底选不到号)。
return fmt.Errorf("没有可用的 %s 账号", realm), false
}
return lastErr, false
}
// isFetchDomainRejected 上游 edgebrowser 的域名路由策略拒绝(业务码 15021)。
// 该错误是**域名级**的(同域所有账号一致),与账号健康无关,换号无效、换域有效。
func isFetchDomainRejected(err error) bool {
var ue *upstream.Error
if !errors.As(err, &ue) {
return false
}
return upstream.HasCodeMarker(ue.Msg, "15021")
}
// normalizeFetchResponse 确保响应是 DSH 需要的 {"content": "<markdown>"} 形状。
//
// 上游 agenttool/v1/webfetch 回 {url,title,content}:content 必须是 string,
// 缺 content / content 为 null / 非对象时判失败(502),不伪造空正文——空正文
// 会被 DSH 当成"页面没有可用内容"的成功抓取,掩盖真实故障。
// url 缺失时补请求 URL(DSH 不消费该字段,但上游语义上应回显)。
func normalizeFetchResponse(raw []byte, reqURL string) ([]byte, error) {
var obj map[string]json.RawMessage
if err := json.Unmarshal(raw, &obj); err != nil {
return nil, fmt.Errorf("upstream fetch response is not a JSON object")
}
content, ok := obj["content"]
if !ok || string(content) == "null" {
return nil, fmt.Errorf("upstream fetch response has no content field")
}
var s string
if err := json.Unmarshal(content, &s); err != nil {
// json.Unmarshal 对 null 不报错(保持零值),故上面先单独拦 null。
return nil, fmt.Errorf("upstream fetch content is not a string")
}
if _, ok := obj["url"]; !ok {
obj["url"] = json.RawMessage(strconv.Quote(reqURL))
}
out, err := json.Marshal(obj)
if err != nil {
return nil, fmt.Errorf("encode fetch response: %w", err)
}
return out, nil
}
|