website_content / backend /tests /test_webdl.py
titusgiap's picture
Claude Opus 5
fix(down list): trục trặc relay thì dừng ngay, đừng thử 4 site vô ích
bf478ef
Raw History Blame Contribute Delete
14.8 kB
"""Test đường tải qua SITE TẢI HỘ (savetik/tiktokio/…) và tải nhiều link song song.
Không gọi mạng thật: thay `requests` trong module bằng bản giả, để kiểm ĐÚNG
cái mình viết — chọn link to nhất, bóc link gốc trong token snapcdn, đi qua relay
khi có TIKTOK_RELAY_URL, và một link hỏng không kéo sập cả mẻ.
"""
from __future__ import annotations
import base64
import json
import os
import subprocess
import tempfile
import time
from app.services.downloader import webdl, ydl
from tests._util import FFMPEG
class _Resp:
def __init__(self, text="", content=b"", status=200, headers=None):
self.text = text
self.content = content
self.status_code = status
self.headers = headers or {}
def raise_for_status(self):
if self.status_code >= 400:
raise RuntimeError(f"HTTP {self.status_code}")
def iter_content(self, _n=1 << 17):
yield self.content
def __enter__(self):
return self
def __exit__(self, *a):
return False
class _FakeRequests:
"""requests giả — ghi lại mọi lời gọi để test soi được đi đường nào."""
def __init__(self, on_post, on_get):
self.on_post, self.on_get = on_post, on_get
self.posts, self.gets = [], []
def post(self, url, **kw):
self.posts.append((url, kw))
return self.on_post(url, kw)
def get(self, url, **kw):
self.gets.append((url, kw))
return self.on_get(url, kw)
def _install(monkey_requests):
"""Nhét requests giả vào webdl (module import requests bên trong hàm)."""
import sys
sys.modules["requests"] = monkey_requests # type: ignore
return monkey_requests
def _restore():
import importlib
import sys
sys.modules.pop("requests", None)
try:
importlib.import_module("requests")
except Exception:
pass
def _snapcdn_link(origin: str) -> str:
"""Dựng link dl.snapcdn.app/get?token=<JWT> có nhúng link gốc, như savetik trả."""
payload = base64.urlsafe_b64encode(
json.dumps({"url": origin}).encode()).decode().rstrip("=")
return f"https://dl.snapcdn.app/get?token=hdr.{payload}.sig"
def _real_mp4(path: str) -> bytes:
subprocess.run([FFMPEG, "-y", "-v", "error", "-f", "lavfi",
"-i", "color=c=red:s=64x64:d=1:r=10",
"-c:v", "libx264", "-pix_fmt", "yuv420p", path],
check=True, capture_output=True)
return open(path, "rb").read()
def test_snapcdn_origin_boc_duoc_link_goc():
"""Token snapcdn là JWT không mã hoá -> bóc ra link CDN gốc để đo/tải thẳng."""
origin = "https://v3-web.douyinvod.com/abc/video.mp4?a=1&b=2"
assert webdl._snapcdn_origin(_snapcdn_link(origin)) == origin
assert webdl._snapcdn_origin("https://khong-phai-token.mp4") == ""
def test_media_re_khong_cat_cut_token_dai():
"""JWT của snapcdn dài >250 ký tự — regex cắt cụt là âm thầm tụt chất lượng."""
long_token = "https://dl.snapcdn.app/get?token=" + ("a" * 1200)
got = webdl.MEDIA_RE.search(f'html "{long_token}" html')
assert got and got.group(0) == long_token
def test_ask_url_for_doi_douyin_sang_trang_chia_se():
assert webdl._ask_url_for("https://www.douyin.com/video/7123456789012345678") == \
"https://www.iesdouyin.com/share/video/7123456789012345678/"
tt = "https://www.tiktok.com/@a/video/123456789012"
assert webdl._ask_url_for(tt) == tt # tiktok giữ nguyên
def test_download_via_sites_chon_ban_to_nhat():
"""Site trả 2 link; phải ĐO dung lượng thật rồi lấy bản to hơn, không tin nhãn."""
d = tempfile.mkdtemp()
small = "https://v3.douyinvod.com/small.mp4"
big = "https://v3.douyinvod.com/big.mp4"
big_bytes = _real_mp4(os.path.join(d, "src.mp4"))
sizes = {small: 1000, big: 999999}
tai_ve = []
def on_post(url, kw):
# site trả nhãn ngược: "MP4 HD" gán cho link NHỎ (đúng như savetik thật)
return _Resp(text=f'<h3>Clip thu nghiem</h3> "MP4 HD" {small} ... {big} ' + "x" * 300)
def on_get(url, kw):
if kw.get("headers", {}).get("Range"): # đang ĐO dung lượng
return _Resp(headers={"Content-Range": f"bytes 0-0/{sizes.get(url, 0)}"})
tai_ve.append(url)
return _Resp(content=big_bytes)
fake = _FakeRequests(on_post, on_get)
_install(fake)
try:
res = webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d)
finally:
_restore()
assert tai_ve[0] == big, f"phải tải bản to nhất, lại tải {tai_ve[0]}"
assert res["size"] == len(big_bytes) and res["duration"] > 0
assert res["title"] == "Clip thu nghiem" and res["via"] == "savetik"
assert os.path.exists(res["path"]) and not os.path.exists(res["path"] + ".part")
def test_download_via_sites_bo_file_khong_phai_video():
"""Site trả trang HTML/ảnh rác -> phải bỏ, không nhận bừa là video."""
d = tempfile.mkdtemp()
link = "https://v3.douyinvod.com/rac.mp4"
def on_post(url, kw):
return _Resp(text=f'"{link}" ' + "x" * 300)
def on_get(url, kw):
if kw.get("headers", {}).get("Range"):
return _Resp(headers={"Content-Length": "500"})
return _Resp(content=b"<html>khong phai video</html>")
_install(_FakeRequests(on_post, on_get))
try:
err = ""
try:
webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d)
except RuntimeError as e:
err = str(e)
finally:
_restore()
assert "không ra video" in err, err
assert not [f for f in os.listdir(d) if f.endswith((".mp4", ".part"))], os.listdir(d)
def test_di_qua_relay_khi_co_cau_hinh():
"""Có TIKTOK_RELAY_URL -> KHÔNG được gọi thẳng savetik (Space từng bị HF khoá
vì gọi thẳng domain scraper); mọi request phải đi qua Worker."""
d = tempfile.mkdtemp()
link = "https://v3.douyinvod.com/a.mp4"
mp4 = _real_mp4(os.path.join(d, "src.mp4"))
def on_post(url, kw):
return _Resp(text=f'"{link}" ' + "x" * 300)
def on_get(url, kw):
if kw.get("headers", {}).get("Range"):
return _Resp(headers={"Content-Range": "bytes 0-0/123"})
return _Resp(content=mp4)
fake = _FakeRequests(on_post, on_get)
_install(fake)
old = os.environ.get("TIKTOK_RELAY_URL", "")
os.environ["TIKTOK_RELAY_URL"] = "https://relay.example.dev"
try:
webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d)
finally:
os.environ["TIKTOK_RELAY_URL"] = old
_restore()
assert all(u.startswith("https://relay.example.dev") for u, _ in fake.posts), fake.posts
assert all(u.startswith("https://relay.example.dev") for u, _ in fake.gets), fake.gets
# POST phải kèm ?form=<api site> + ?ref=<home> để Worker gắn đúng Referer
params = fake.posts[0][1]["params"]
assert params["form"] == "https://savetik.co/api/ajaxSearch"
assert params["ref"] == "https://savetik.co/vi"
# GET media đi qua ?proxy= và có chuyển tiếp Range khi đo dung lượng
assert fake.gets[0][1]["params"]["proxy"] == link
assert fake.gets[0][1]["headers"].get("Range") == "bytes=0-0"
def test_giu_nhip_hoi_cung_mot_site():
"""Nhiều luồng cùng hỏi 1 site phải xếp hàng theo `gap`, nếu không là 429 hàng loạt."""
site = {"name": "test_gap", "home": "https://x.dev", "api": "https://x.dev/a", "gap": 0.4}
webdl._LAST.pop("test_gap", None)
t0 = time.time()
webdl._wait(site)
webdl._wait(site)
assert time.time() - t0 >= 0.35
def test_download_many_chay_song_song_va_giu_thu_tu():
"""Tải nhiều link cùng lúc; kết quả vẫn theo đúng thứ tự link vào."""
calls = []
def fake_one(url, out_dir, cookies_file=None):
calls.append(url)
time.sleep(0.3) # giả lập chờ mạng
return ydl.DownloadResult(url=url, ok=True, path=f"/tmp/{url[-1]}.mp4")
urls = [f"https://x.dev/v{i}" for i in range(4)]
orig = ydl.download_one
ydl.download_one = fake_one
try:
t0 = time.time()
res = ydl.download_many(urls, "/tmp")
el = time.time() - t0
finally:
ydl.download_one = orig
assert [r.url for r in res] == urls, "phải giữ nguyên thứ tự link vào"
assert el < 0.9, f"4 link x 0.3s mà mất {el:.2f}s -> vẫn đang chạy tuần tự"
def test_download_many_mot_link_hong_khong_giet_ca_me():
def fake_one(url, out_dir, cookies_file=None):
if url.endswith("2"):
raise RuntimeError("link nay hong")
return ydl.DownloadResult(url=url, ok=True)
urls = [f"https://x.dev/v{i}" for i in range(4)]
orig = ydl.download_one
ydl.download_one = fake_one
try:
res = ydl.download_many(urls, "/tmp")
finally:
ydl.download_one = orig
assert len(res) == 4
assert [r.ok for r in res] == [True, True, False, True]
assert "link nay hong" in res[2].error
def test_download_many_bao_tien_do_tung_link():
seen = []
def fake_one(url, out_dir, cookies_file=None):
return ydl.DownloadResult(url=url, ok=True)
orig = ydl.download_one
ydl.download_one = fake_one
try:
ydl.download_many([f"https://x.dev/v{i}" for i in range(3)], "/tmp",
on_item=lambda i, r: seen.append(i))
finally:
ydl.download_one = orig
assert sorted(seen) == [0, 1, 2]
def test_worker_cu_thi_dung_ngay_va_noi_ro_viec_can_lam():
"""Worker chưa deploy bản mới -> không thử vô ích 4 site x 3 lần, báo thẳng."""
d = tempfile.mkdtemp()
def on_post(url, kw):
# đúng phản hồi của Worker bản cũ khi gặp tham số nó không biết
return _Resp(text='{"code":-1,"msg":"thiếu tham số ?url= hoặc ?proxy="}', status=400)
fake = _FakeRequests(on_post, lambda u, k: _Resp())
_install(fake)
old = os.environ.get("TIKTOK_RELAY_URL", "")
os.environ["TIKTOK_RELAY_URL"] = "https://relay.example.dev"
err = ""
t0 = time.time()
try:
webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d)
except RuntimeError as e:
err = str(e)
finally:
os.environ["TIKTOK_RELAY_URL"] = old
_restore()
el = time.time() - t0
assert "?form=" in err and "Deploy" in err, err
assert len(fake.posts) == 1, f"phải dừng sau site đầu, lại hỏi {len(fake.posts)} lần"
assert el < 3, f"mất {el:.1f}s — vẫn đang chờ retry vô ích"
def test_ten_file_giai_ma_thuc_the_html():
"""Site trả tiêu đề dạng HTML; tên file không được dính &#x...; hay &amp;."""
assert "&#x1F60D;" not in webdl._safe_name("Vui&#x1F60D; &amp; khoe", "x")
assert "&" in webdl._safe_name("Vui &amp; khoe", "x")
assert webdl._safe_name("", "du_phong") == "du_phong"
assert "/" not in webdl._safe_name("a/b\c", "x")
def test_api_download_start_tai_song_song():
"""Endpoint /api/download/start phải tải nhiều link CÙNG LÚC.
Trước đây `work()` trong api/download.py có vòng lặp tuần tự RIÊNG, không
dùng download_many — nên tối ưu ở tầng dưới không chạm tới người dùng.
"""
from app.api import download as dlapi
from app.core.jobs import jobs
calls = []
def fake_one(url, out_dir, cookies_file=None):
calls.append(url)
time.sleep(0.4)
p = os.path.join(out_dir, f"{url[-2:]}.mp4")
open(p, "wb").write(b"x")
return ydl.DownloadResult(url=url, ok=True, path=p, title="x", ext="mp4")
urls = [f"https://x.dev/v{i}" for i in range(4)]
orig = dlapi.download_one
dlapi.download_one = fake_one
try:
t0 = time.time()
job = jobs.get(dlapi.start(dlapi.StartReq(urls=urls, zip_output=False))["job_id"])
for _ in range(200):
if job.status in ("done", "error"):
break
time.sleep(0.1)
el = time.time() - t0
finally:
dlapi.download_one = orig
assert job.status == "done", job.error
assert len(calls) == 4
assert el < 1.2, f"4 link x 0.4s mà mất {el:.2f}s -> vẫn tuần tự"
assert job.result["success"] == 4
def test_api_download_start_giu_thu_tu_va_co_lap_loi():
from app.api import download as dlapi
from app.core.jobs import jobs
def fake_one(url, out_dir, cookies_file=None):
if url.endswith("1"):
raise RuntimeError("link hong that")
p = os.path.join(out_dir, f"{url[-2:]}.mp4")
open(p, "wb").write(b"x")
return ydl.DownloadResult(url=url, ok=True, path=p, title=url[-1], ext="mp4")
urls = [f"https://x.dev/v{i}" for i in range(3)]
orig = dlapi.download_one
dlapi.download_one = fake_one
try:
job = jobs.get(dlapi.start(dlapi.StartReq(urls=urls, zip_output=False))["job_id"])
for _ in range(200):
if job.status in ("done", "error"):
break
time.sleep(0.1)
finally:
dlapi.download_one = orig
assert job.status == "done", job.error
assert job.result["success"] == 2
assert len(job.result["failed"]) == 1
assert "link hong that" in job.result["failed"][0]["error"]
assert job.result["failed"][0]["url"] == urls[1]
def test_relay_khong_goi_duoc_thi_dung_ngay():
"""Không tới được Worker -> site nào cũng hỏng y hệt, phải dừng luôn.
Đo thật trên Space: không chặn thì một link Douyin ngồi thử 4 site x 3 lần
mất 228 GIÂY mới chịu báo lỗi.
"""
d = tempfile.mkdtemp()
class _Boom(_FakeRequests):
def post(self, url, **kw):
self.posts.append((url, kw))
raise OSError("Connection to relay timed out")
fake = _Boom(lambda u, k: _Resp(), lambda u, k: _Resp())
_install(fake)
old = os.environ.get("TIKTOK_RELAY_URL", "")
os.environ["TIKTOK_RELAY_URL"] = "https://relay.example.dev"
err = ""
t0 = time.time()
try:
webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d)
except RuntimeError as e:
err = str(e)
finally:
os.environ["TIKTOK_RELAY_URL"] = old
_restore()
assert "không gọi được Worker relay" in err, err
assert "OSError" in err, err # nói rõ hỏng kiểu gì, khỏi đoán
assert len(fake.posts) == 1, f"phải dừng sau lần đầu, lại thử {len(fake.posts)} lần"
assert time.time() - t0 < 3