"""Test đường tải qua SITE TẢI HỘ (savetik/tiktokio/…) và tải nhiều link song song. Không gọi mạng thật: thay `requests` trong module bằng bản giả, để kiểm ĐÚNG cái mình viết — chọn link to nhất, bóc link gốc trong token snapcdn, đi qua relay khi có TIKTOK_RELAY_URL, và một link hỏng không kéo sập cả mẻ. """ from __future__ import annotations import base64 import json import os import subprocess import tempfile import time from app.services.downloader import webdl, ydl from tests._util import FFMPEG class _Resp: def __init__(self, text="", content=b"", status=200, headers=None): self.text = text self.content = content self.status_code = status self.headers = headers or {} def raise_for_status(self): if self.status_code >= 400: raise RuntimeError(f"HTTP {self.status_code}") def iter_content(self, _n=1 << 17): yield self.content def __enter__(self): return self def __exit__(self, *a): return False class _FakeRequests: """requests giả — ghi lại mọi lời gọi để test soi được đi đường nào.""" def __init__(self, on_post, on_get): self.on_post, self.on_get = on_post, on_get self.posts, self.gets = [], [] def post(self, url, **kw): self.posts.append((url, kw)) return self.on_post(url, kw) def get(self, url, **kw): self.gets.append((url, kw)) return self.on_get(url, kw) def _install(monkey_requests): """Nhét requests giả vào webdl (module import requests bên trong hàm).""" import sys sys.modules["requests"] = monkey_requests # type: ignore return monkey_requests def _restore(): import importlib import sys sys.modules.pop("requests", None) try: importlib.import_module("requests") except Exception: pass def _snapcdn_link(origin: str) -> str: """Dựng link dl.snapcdn.app/get?token= có nhúng link gốc, như savetik trả.""" payload = base64.urlsafe_b64encode( json.dumps({"url": origin}).encode()).decode().rstrip("=") return f"https://dl.snapcdn.app/get?token=hdr.{payload}.sig" def _real_mp4(path: str) -> bytes: subprocess.run([FFMPEG, "-y", "-v", "error", "-f", "lavfi", "-i", "color=c=red:s=64x64:d=1:r=10", "-c:v", "libx264", "-pix_fmt", "yuv420p", path], check=True, capture_output=True) return open(path, "rb").read() def test_snapcdn_origin_boc_duoc_link_goc(): """Token snapcdn là JWT không mã hoá -> bóc ra link CDN gốc để đo/tải thẳng.""" origin = "https://v3-web.douyinvod.com/abc/video.mp4?a=1&b=2" assert webdl._snapcdn_origin(_snapcdn_link(origin)) == origin assert webdl._snapcdn_origin("https://khong-phai-token.mp4") == "" def test_media_re_khong_cat_cut_token_dai(): """JWT của snapcdn dài >250 ký tự — regex cắt cụt là âm thầm tụt chất lượng.""" long_token = "https://dl.snapcdn.app/get?token=" + ("a" * 1200) got = webdl.MEDIA_RE.search(f'html "{long_token}" html') assert got and got.group(0) == long_token def test_ask_url_for_doi_douyin_sang_trang_chia_se(): assert webdl._ask_url_for("https://www.douyin.com/video/7123456789012345678") == \ "https://www.iesdouyin.com/share/video/7123456789012345678/" tt = "https://www.tiktok.com/@a/video/123456789012" assert webdl._ask_url_for(tt) == tt # tiktok giữ nguyên def test_download_via_sites_chon_ban_to_nhat(): """Site trả 2 link; phải ĐO dung lượng thật rồi lấy bản to hơn, không tin nhãn.""" d = tempfile.mkdtemp() small = "https://v3.douyinvod.com/small.mp4" big = "https://v3.douyinvod.com/big.mp4" big_bytes = _real_mp4(os.path.join(d, "src.mp4")) sizes = {small: 1000, big: 999999} tai_ve = [] def on_post(url, kw): # site trả nhãn ngược: "MP4 HD" gán cho link NHỎ (đúng như savetik thật) return _Resp(text=f'

Clip thu nghiem

"MP4 HD" {small} ... {big} ' + "x" * 300) def on_get(url, kw): if kw.get("headers", {}).get("Range"): # đang ĐO dung lượng return _Resp(headers={"Content-Range": f"bytes 0-0/{sizes.get(url, 0)}"}) tai_ve.append(url) return _Resp(content=big_bytes) fake = _FakeRequests(on_post, on_get) _install(fake) try: res = webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d) finally: _restore() assert tai_ve[0] == big, f"phải tải bản to nhất, lại tải {tai_ve[0]}" assert res["size"] == len(big_bytes) and res["duration"] > 0 assert res["title"] == "Clip thu nghiem" and res["via"] == "savetik" assert os.path.exists(res["path"]) and not os.path.exists(res["path"] + ".part") def test_download_via_sites_bo_file_khong_phai_video(): """Site trả trang HTML/ảnh rác -> phải bỏ, không nhận bừa là video.""" d = tempfile.mkdtemp() link = "https://v3.douyinvod.com/rac.mp4" def on_post(url, kw): return _Resp(text=f'"{link}" ' + "x" * 300) def on_get(url, kw): if kw.get("headers", {}).get("Range"): return _Resp(headers={"Content-Length": "500"}) return _Resp(content=b"khong phai video") _install(_FakeRequests(on_post, on_get)) try: err = "" try: webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d) except RuntimeError as e: err = str(e) finally: _restore() assert "không ra video" in err, err assert not [f for f in os.listdir(d) if f.endswith((".mp4", ".part"))], os.listdir(d) def test_di_qua_relay_khi_co_cau_hinh(): """Có TIKTOK_RELAY_URL -> KHÔNG được gọi thẳng savetik (Space từng bị HF khoá vì gọi thẳng domain scraper); mọi request phải đi qua Worker.""" d = tempfile.mkdtemp() link = "https://v3.douyinvod.com/a.mp4" mp4 = _real_mp4(os.path.join(d, "src.mp4")) def on_post(url, kw): return _Resp(text=f'"{link}" ' + "x" * 300) def on_get(url, kw): if kw.get("headers", {}).get("Range"): return _Resp(headers={"Content-Range": "bytes 0-0/123"}) return _Resp(content=mp4) fake = _FakeRequests(on_post, on_get) _install(fake) old = os.environ.get("TIKTOK_RELAY_URL", "") os.environ["TIKTOK_RELAY_URL"] = "https://relay.example.dev" try: webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d) finally: os.environ["TIKTOK_RELAY_URL"] = old _restore() assert all(u.startswith("https://relay.example.dev") for u, _ in fake.posts), fake.posts assert all(u.startswith("https://relay.example.dev") for u, _ in fake.gets), fake.gets # POST phải kèm ?form= + ?ref= để Worker gắn đúng Referer params = fake.posts[0][1]["params"] assert params["form"] == "https://savetik.co/api/ajaxSearch" assert params["ref"] == "https://savetik.co/vi" # GET media đi qua ?proxy= và có chuyển tiếp Range khi đo dung lượng assert fake.gets[0][1]["params"]["proxy"] == link assert fake.gets[0][1]["headers"].get("Range") == "bytes=0-0" def test_giu_nhip_hoi_cung_mot_site(): """Nhiều luồng cùng hỏi 1 site phải xếp hàng theo `gap`, nếu không là 429 hàng loạt.""" site = {"name": "test_gap", "home": "https://x.dev", "api": "https://x.dev/a", "gap": 0.4} webdl._LAST.pop("test_gap", None) t0 = time.time() webdl._wait(site) webdl._wait(site) assert time.time() - t0 >= 0.35 def test_download_many_chay_song_song_va_giu_thu_tu(): """Tải nhiều link cùng lúc; kết quả vẫn theo đúng thứ tự link vào.""" calls = [] def fake_one(url, out_dir, cookies_file=None): calls.append(url) time.sleep(0.3) # giả lập chờ mạng return ydl.DownloadResult(url=url, ok=True, path=f"/tmp/{url[-1]}.mp4") urls = [f"https://x.dev/v{i}" for i in range(4)] orig = ydl.download_one ydl.download_one = fake_one try: t0 = time.time() res = ydl.download_many(urls, "/tmp") el = time.time() - t0 finally: ydl.download_one = orig assert [r.url for r in res] == urls, "phải giữ nguyên thứ tự link vào" assert el < 0.9, f"4 link x 0.3s mà mất {el:.2f}s -> vẫn đang chạy tuần tự" def test_download_many_mot_link_hong_khong_giet_ca_me(): def fake_one(url, out_dir, cookies_file=None): if url.endswith("2"): raise RuntimeError("link nay hong") return ydl.DownloadResult(url=url, ok=True) urls = [f"https://x.dev/v{i}" for i in range(4)] orig = ydl.download_one ydl.download_one = fake_one try: res = ydl.download_many(urls, "/tmp") finally: ydl.download_one = orig assert len(res) == 4 assert [r.ok for r in res] == [True, True, False, True] assert "link nay hong" in res[2].error def test_download_many_bao_tien_do_tung_link(): seen = [] def fake_one(url, out_dir, cookies_file=None): return ydl.DownloadResult(url=url, ok=True) orig = ydl.download_one ydl.download_one = fake_one try: ydl.download_many([f"https://x.dev/v{i}" for i in range(3)], "/tmp", on_item=lambda i, r: seen.append(i)) finally: ydl.download_one = orig assert sorted(seen) == [0, 1, 2] def test_worker_cu_thi_dung_ngay_va_noi_ro_viec_can_lam(): """Worker chưa deploy bản mới -> không thử vô ích 4 site x 3 lần, báo thẳng.""" d = tempfile.mkdtemp() def on_post(url, kw): # đúng phản hồi của Worker bản cũ khi gặp tham số nó không biết return _Resp(text='{"code":-1,"msg":"thiếu tham số ?url= hoặc ?proxy="}', status=400) fake = _FakeRequests(on_post, lambda u, k: _Resp()) _install(fake) old = os.environ.get("TIKTOK_RELAY_URL", "") os.environ["TIKTOK_RELAY_URL"] = "https://relay.example.dev" err = "" t0 = time.time() try: webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d) except RuntimeError as e: err = str(e) finally: os.environ["TIKTOK_RELAY_URL"] = old _restore() el = time.time() - t0 assert "?form=" in err and "Deploy" in err, err assert len(fake.posts) == 1, f"phải dừng sau site đầu, lại hỏi {len(fake.posts)} lần" assert el < 3, f"mất {el:.1f}s — vẫn đang chờ retry vô ích" def test_ten_file_giai_ma_thuc_the_html(): """Site trả tiêu đề dạng HTML; tên file không được dính &#x...; hay &.""" assert "😍" not in webdl._safe_name("Vui😍 & khoe", "x") assert "&" in webdl._safe_name("Vui & khoe", "x") assert webdl._safe_name("", "du_phong") == "du_phong" assert "/" not in webdl._safe_name("a/b\c", "x") def test_api_download_start_tai_song_song(): """Endpoint /api/download/start phải tải nhiều link CÙNG LÚC. Trước đây `work()` trong api/download.py có vòng lặp tuần tự RIÊNG, không dùng download_many — nên tối ưu ở tầng dưới không chạm tới người dùng. """ from app.api import download as dlapi from app.core.jobs import jobs calls = [] def fake_one(url, out_dir, cookies_file=None): calls.append(url) time.sleep(0.4) p = os.path.join(out_dir, f"{url[-2:]}.mp4") open(p, "wb").write(b"x") return ydl.DownloadResult(url=url, ok=True, path=p, title="x", ext="mp4") urls = [f"https://x.dev/v{i}" for i in range(4)] orig = dlapi.download_one dlapi.download_one = fake_one try: t0 = time.time() job = jobs.get(dlapi.start(dlapi.StartReq(urls=urls, zip_output=False))["job_id"]) for _ in range(200): if job.status in ("done", "error"): break time.sleep(0.1) el = time.time() - t0 finally: dlapi.download_one = orig assert job.status == "done", job.error assert len(calls) == 4 assert el < 1.2, f"4 link x 0.4s mà mất {el:.2f}s -> vẫn tuần tự" assert job.result["success"] == 4 def test_api_download_start_giu_thu_tu_va_co_lap_loi(): from app.api import download as dlapi from app.core.jobs import jobs def fake_one(url, out_dir, cookies_file=None): if url.endswith("1"): raise RuntimeError("link hong that") p = os.path.join(out_dir, f"{url[-2:]}.mp4") open(p, "wb").write(b"x") return ydl.DownloadResult(url=url, ok=True, path=p, title=url[-1], ext="mp4") urls = [f"https://x.dev/v{i}" for i in range(3)] orig = dlapi.download_one dlapi.download_one = fake_one try: job = jobs.get(dlapi.start(dlapi.StartReq(urls=urls, zip_output=False))["job_id"]) for _ in range(200): if job.status in ("done", "error"): break time.sleep(0.1) finally: dlapi.download_one = orig assert job.status == "done", job.error assert job.result["success"] == 2 assert len(job.result["failed"]) == 1 assert "link hong that" in job.result["failed"][0]["error"] assert job.result["failed"][0]["url"] == urls[1] def test_relay_khong_goi_duoc_thi_dung_ngay(): """Không tới được Worker -> site nào cũng hỏng y hệt, phải dừng luôn. Đo thật trên Space: không chặn thì một link Douyin ngồi thử 4 site x 3 lần mất 228 GIÂY mới chịu báo lỗi. """ d = tempfile.mkdtemp() class _Boom(_FakeRequests): def post(self, url, **kw): self.posts.append((url, kw)) raise OSError("Connection to relay timed out") fake = _Boom(lambda u, k: _Resp(), lambda u, k: _Resp()) _install(fake) old = os.environ.get("TIKTOK_RELAY_URL", "") os.environ["TIKTOK_RELAY_URL"] = "https://relay.example.dev" err = "" t0 = time.time() try: webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d) except RuntimeError as e: err = str(e) finally: os.environ["TIKTOK_RELAY_URL"] = old _restore() assert "không gọi được Worker relay" in err, err assert "OSError" in err, err # nói rõ hỏng kiểu gì, khỏi đoán assert len(fake.posts) == 1, f"phải dừng sau lần đầu, lại thử {len(fake.posts)} lần" assert time.time() - t0 < 3