Spaces:
Running
Running
Download backend/tests/test_webdl.py from tntgroup/website_content: direct link, hf CLI and curl.
- Browser
- Download file 14.8 kB
-
https://huggingface.co/spaces/tntgroup/website_content/resolve/main/backend/tests/test_webdl.py
- Command line
-
hf download hf://spaces/tntgroup/website_content/backend/tests/test_webdl.py
-
curl -L -o test_webdl.py https://huggingface.co/spaces/tntgroup/website_content/resolve/main/backend/tests/test_webdl.py
14.8 kB
| """Test đường tải qua SITE TẢI HỘ (savetik/tiktokio/…) và tải nhiều link song song. | |
| Không gọi mạng thật: thay `requests` trong module bằng bản giả, để kiểm ĐÚNG | |
| cái mình viết — chọn link to nhất, bóc link gốc trong token snapcdn, đi qua relay | |
| khi có TIKTOK_RELAY_URL, và một link hỏng không kéo sập cả mẻ. | |
| """ | |
| from __future__ import annotations | |
| import base64 | |
| import json | |
| import os | |
| import subprocess | |
| import tempfile | |
| import time | |
| from app.services.downloader import webdl, ydl | |
| from tests._util import FFMPEG | |
| class _Resp: | |
| def __init__(self, text="", content=b"", status=200, headers=None): | |
| self.text = text | |
| self.content = content | |
| self.status_code = status | |
| self.headers = headers or {} | |
| def raise_for_status(self): | |
| if self.status_code >= 400: | |
| raise RuntimeError(f"HTTP {self.status_code}") | |
| def iter_content(self, _n=1 << 17): | |
| yield self.content | |
| def __enter__(self): | |
| return self | |
| def __exit__(self, *a): | |
| return False | |
| class _FakeRequests: | |
| """requests giả — ghi lại mọi lời gọi để test soi được đi đường nào.""" | |
| def __init__(self, on_post, on_get): | |
| self.on_post, self.on_get = on_post, on_get | |
| self.posts, self.gets = [], [] | |
| def post(self, url, **kw): | |
| self.posts.append((url, kw)) | |
| return self.on_post(url, kw) | |
| def get(self, url, **kw): | |
| self.gets.append((url, kw)) | |
| return self.on_get(url, kw) | |
| def _install(monkey_requests): | |
| """Nhét requests giả vào webdl (module import requests bên trong hàm).""" | |
| import sys | |
| sys.modules["requests"] = monkey_requests # type: ignore | |
| return monkey_requests | |
| def _restore(): | |
| import importlib | |
| import sys | |
| sys.modules.pop("requests", None) | |
| try: | |
| importlib.import_module("requests") | |
| except Exception: | |
| pass | |
| def _snapcdn_link(origin: str) -> str: | |
| """Dựng link dl.snapcdn.app/get?token=<JWT> có nhúng link gốc, như savetik trả.""" | |
| payload = base64.urlsafe_b64encode( | |
| json.dumps({"url": origin}).encode()).decode().rstrip("=") | |
| return f"https://dl.snapcdn.app/get?token=hdr.{payload}.sig" | |
| def _real_mp4(path: str) -> bytes: | |
| subprocess.run([FFMPEG, "-y", "-v", "error", "-f", "lavfi", | |
| "-i", "color=c=red:s=64x64:d=1:r=10", | |
| "-c:v", "libx264", "-pix_fmt", "yuv420p", path], | |
| check=True, capture_output=True) | |
| return open(path, "rb").read() | |
| def test_snapcdn_origin_boc_duoc_link_goc(): | |
| """Token snapcdn là JWT không mã hoá -> bóc ra link CDN gốc để đo/tải thẳng.""" | |
| origin = "https://v3-web.douyinvod.com/abc/video.mp4?a=1&b=2" | |
| assert webdl._snapcdn_origin(_snapcdn_link(origin)) == origin | |
| assert webdl._snapcdn_origin("https://khong-phai-token.mp4") == "" | |
| def test_media_re_khong_cat_cut_token_dai(): | |
| """JWT của snapcdn dài >250 ký tự — regex cắt cụt là âm thầm tụt chất lượng.""" | |
| long_token = "https://dl.snapcdn.app/get?token=" + ("a" * 1200) | |
| got = webdl.MEDIA_RE.search(f'html "{long_token}" html') | |
| assert got and got.group(0) == long_token | |
| def test_ask_url_for_doi_douyin_sang_trang_chia_se(): | |
| assert webdl._ask_url_for("https://www.douyin.com/video/7123456789012345678") == \ | |
| "https://www.iesdouyin.com/share/video/7123456789012345678/" | |
| tt = "https://www.tiktok.com/@a/video/123456789012" | |
| assert webdl._ask_url_for(tt) == tt # tiktok giữ nguyên | |
| def test_download_via_sites_chon_ban_to_nhat(): | |
| """Site trả 2 link; phải ĐO dung lượng thật rồi lấy bản to hơn, không tin nhãn.""" | |
| d = tempfile.mkdtemp() | |
| small = "https://v3.douyinvod.com/small.mp4" | |
| big = "https://v3.douyinvod.com/big.mp4" | |
| big_bytes = _real_mp4(os.path.join(d, "src.mp4")) | |
| sizes = {small: 1000, big: 999999} | |
| tai_ve = [] | |
| def on_post(url, kw): | |
| # site trả nhãn ngược: "MP4 HD" gán cho link NHỎ (đúng như savetik thật) | |
| return _Resp(text=f'<h3>Clip thu nghiem</h3> "MP4 HD" {small} ... {big} ' + "x" * 300) | |
| def on_get(url, kw): | |
| if kw.get("headers", {}).get("Range"): # đang ĐO dung lượng | |
| return _Resp(headers={"Content-Range": f"bytes 0-0/{sizes.get(url, 0)}"}) | |
| tai_ve.append(url) | |
| return _Resp(content=big_bytes) | |
| fake = _FakeRequests(on_post, on_get) | |
| _install(fake) | |
| try: | |
| res = webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d) | |
| finally: | |
| _restore() | |
| assert tai_ve[0] == big, f"phải tải bản to nhất, lại tải {tai_ve[0]}" | |
| assert res["size"] == len(big_bytes) and res["duration"] > 0 | |
| assert res["title"] == "Clip thu nghiem" and res["via"] == "savetik" | |
| assert os.path.exists(res["path"]) and not os.path.exists(res["path"] + ".part") | |
| def test_download_via_sites_bo_file_khong_phai_video(): | |
| """Site trả trang HTML/ảnh rác -> phải bỏ, không nhận bừa là video.""" | |
| d = tempfile.mkdtemp() | |
| link = "https://v3.douyinvod.com/rac.mp4" | |
| def on_post(url, kw): | |
| return _Resp(text=f'"{link}" ' + "x" * 300) | |
| def on_get(url, kw): | |
| if kw.get("headers", {}).get("Range"): | |
| return _Resp(headers={"Content-Length": "500"}) | |
| return _Resp(content=b"<html>khong phai video</html>") | |
| _install(_FakeRequests(on_post, on_get)) | |
| try: | |
| err = "" | |
| try: | |
| webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d) | |
| except RuntimeError as e: | |
| err = str(e) | |
| finally: | |
| _restore() | |
| assert "không ra video" in err, err | |
| assert not [f for f in os.listdir(d) if f.endswith((".mp4", ".part"))], os.listdir(d) | |
| def test_di_qua_relay_khi_co_cau_hinh(): | |
| """Có TIKTOK_RELAY_URL -> KHÔNG được gọi thẳng savetik (Space từng bị HF khoá | |
| vì gọi thẳng domain scraper); mọi request phải đi qua Worker.""" | |
| d = tempfile.mkdtemp() | |
| link = "https://v3.douyinvod.com/a.mp4" | |
| mp4 = _real_mp4(os.path.join(d, "src.mp4")) | |
| def on_post(url, kw): | |
| return _Resp(text=f'"{link}" ' + "x" * 300) | |
| def on_get(url, kw): | |
| if kw.get("headers", {}).get("Range"): | |
| return _Resp(headers={"Content-Range": "bytes 0-0/123"}) | |
| return _Resp(content=mp4) | |
| fake = _FakeRequests(on_post, on_get) | |
| _install(fake) | |
| old = os.environ.get("TIKTOK_RELAY_URL", "") | |
| os.environ["TIKTOK_RELAY_URL"] = "https://relay.example.dev" | |
| try: | |
| webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d) | |
| finally: | |
| os.environ["TIKTOK_RELAY_URL"] = old | |
| _restore() | |
| assert all(u.startswith("https://relay.example.dev") for u, _ in fake.posts), fake.posts | |
| assert all(u.startswith("https://relay.example.dev") for u, _ in fake.gets), fake.gets | |
| # POST phải kèm ?form=<api site> + ?ref=<home> để Worker gắn đúng Referer | |
| params = fake.posts[0][1]["params"] | |
| assert params["form"] == "https://savetik.co/api/ajaxSearch" | |
| assert params["ref"] == "https://savetik.co/vi" | |
| # GET media đi qua ?proxy= và có chuyển tiếp Range khi đo dung lượng | |
| assert fake.gets[0][1]["params"]["proxy"] == link | |
| assert fake.gets[0][1]["headers"].get("Range") == "bytes=0-0" | |
| def test_giu_nhip_hoi_cung_mot_site(): | |
| """Nhiều luồng cùng hỏi 1 site phải xếp hàng theo `gap`, nếu không là 429 hàng loạt.""" | |
| site = {"name": "test_gap", "home": "https://x.dev", "api": "https://x.dev/a", "gap": 0.4} | |
| webdl._LAST.pop("test_gap", None) | |
| t0 = time.time() | |
| webdl._wait(site) | |
| webdl._wait(site) | |
| assert time.time() - t0 >= 0.35 | |
| def test_download_many_chay_song_song_va_giu_thu_tu(): | |
| """Tải nhiều link cùng lúc; kết quả vẫn theo đúng thứ tự link vào.""" | |
| calls = [] | |
| def fake_one(url, out_dir, cookies_file=None): | |
| calls.append(url) | |
| time.sleep(0.3) # giả lập chờ mạng | |
| return ydl.DownloadResult(url=url, ok=True, path=f"/tmp/{url[-1]}.mp4") | |
| urls = [f"https://x.dev/v{i}" for i in range(4)] | |
| orig = ydl.download_one | |
| ydl.download_one = fake_one | |
| try: | |
| t0 = time.time() | |
| res = ydl.download_many(urls, "/tmp") | |
| el = time.time() - t0 | |
| finally: | |
| ydl.download_one = orig | |
| assert [r.url for r in res] == urls, "phải giữ nguyên thứ tự link vào" | |
| assert el < 0.9, f"4 link x 0.3s mà mất {el:.2f}s -> vẫn đang chạy tuần tự" | |
| def test_download_many_mot_link_hong_khong_giet_ca_me(): | |
| def fake_one(url, out_dir, cookies_file=None): | |
| if url.endswith("2"): | |
| raise RuntimeError("link nay hong") | |
| return ydl.DownloadResult(url=url, ok=True) | |
| urls = [f"https://x.dev/v{i}" for i in range(4)] | |
| orig = ydl.download_one | |
| ydl.download_one = fake_one | |
| try: | |
| res = ydl.download_many(urls, "/tmp") | |
| finally: | |
| ydl.download_one = orig | |
| assert len(res) == 4 | |
| assert [r.ok for r in res] == [True, True, False, True] | |
| assert "link nay hong" in res[2].error | |
| def test_download_many_bao_tien_do_tung_link(): | |
| seen = [] | |
| def fake_one(url, out_dir, cookies_file=None): | |
| return ydl.DownloadResult(url=url, ok=True) | |
| orig = ydl.download_one | |
| ydl.download_one = fake_one | |
| try: | |
| ydl.download_many([f"https://x.dev/v{i}" for i in range(3)], "/tmp", | |
| on_item=lambda i, r: seen.append(i)) | |
| finally: | |
| ydl.download_one = orig | |
| assert sorted(seen) == [0, 1, 2] | |
| def test_worker_cu_thi_dung_ngay_va_noi_ro_viec_can_lam(): | |
| """Worker chưa deploy bản mới -> không thử vô ích 4 site x 3 lần, báo thẳng.""" | |
| d = tempfile.mkdtemp() | |
| def on_post(url, kw): | |
| # đúng phản hồi của Worker bản cũ khi gặp tham số nó không biết | |
| return _Resp(text='{"code":-1,"msg":"thiếu tham số ?url= hoặc ?proxy="}', status=400) | |
| fake = _FakeRequests(on_post, lambda u, k: _Resp()) | |
| _install(fake) | |
| old = os.environ.get("TIKTOK_RELAY_URL", "") | |
| os.environ["TIKTOK_RELAY_URL"] = "https://relay.example.dev" | |
| err = "" | |
| t0 = time.time() | |
| try: | |
| webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d) | |
| except RuntimeError as e: | |
| err = str(e) | |
| finally: | |
| os.environ["TIKTOK_RELAY_URL"] = old | |
| _restore() | |
| el = time.time() - t0 | |
| assert "?form=" in err and "Deploy" in err, err | |
| assert len(fake.posts) == 1, f"phải dừng sau site đầu, lại hỏi {len(fake.posts)} lần" | |
| assert el < 3, f"mất {el:.1f}s — vẫn đang chờ retry vô ích" | |
| def test_ten_file_giai_ma_thuc_the_html(): | |
| """Site trả tiêu đề dạng HTML; tên file không được dính &#x...; hay &.""" | |
| assert "😍" not in webdl._safe_name("Vui😍 & khoe", "x") | |
| assert "&" in webdl._safe_name("Vui & khoe", "x") | |
| assert webdl._safe_name("", "du_phong") == "du_phong" | |
| assert "/" not in webdl._safe_name("a/b\c", "x") | |
| def test_api_download_start_tai_song_song(): | |
| """Endpoint /api/download/start phải tải nhiều link CÙNG LÚC. | |
| Trước đây `work()` trong api/download.py có vòng lặp tuần tự RIÊNG, không | |
| dùng download_many — nên tối ưu ở tầng dưới không chạm tới người dùng. | |
| """ | |
| from app.api import download as dlapi | |
| from app.core.jobs import jobs | |
| calls = [] | |
| def fake_one(url, out_dir, cookies_file=None): | |
| calls.append(url) | |
| time.sleep(0.4) | |
| p = os.path.join(out_dir, f"{url[-2:]}.mp4") | |
| open(p, "wb").write(b"x") | |
| return ydl.DownloadResult(url=url, ok=True, path=p, title="x", ext="mp4") | |
| urls = [f"https://x.dev/v{i}" for i in range(4)] | |
| orig = dlapi.download_one | |
| dlapi.download_one = fake_one | |
| try: | |
| t0 = time.time() | |
| job = jobs.get(dlapi.start(dlapi.StartReq(urls=urls, zip_output=False))["job_id"]) | |
| for _ in range(200): | |
| if job.status in ("done", "error"): | |
| break | |
| time.sleep(0.1) | |
| el = time.time() - t0 | |
| finally: | |
| dlapi.download_one = orig | |
| assert job.status == "done", job.error | |
| assert len(calls) == 4 | |
| assert el < 1.2, f"4 link x 0.4s mà mất {el:.2f}s -> vẫn tuần tự" | |
| assert job.result["success"] == 4 | |
| def test_api_download_start_giu_thu_tu_va_co_lap_loi(): | |
| from app.api import download as dlapi | |
| from app.core.jobs import jobs | |
| def fake_one(url, out_dir, cookies_file=None): | |
| if url.endswith("1"): | |
| raise RuntimeError("link hong that") | |
| p = os.path.join(out_dir, f"{url[-2:]}.mp4") | |
| open(p, "wb").write(b"x") | |
| return ydl.DownloadResult(url=url, ok=True, path=p, title=url[-1], ext="mp4") | |
| urls = [f"https://x.dev/v{i}" for i in range(3)] | |
| orig = dlapi.download_one | |
| dlapi.download_one = fake_one | |
| try: | |
| job = jobs.get(dlapi.start(dlapi.StartReq(urls=urls, zip_output=False))["job_id"]) | |
| for _ in range(200): | |
| if job.status in ("done", "error"): | |
| break | |
| time.sleep(0.1) | |
| finally: | |
| dlapi.download_one = orig | |
| assert job.status == "done", job.error | |
| assert job.result["success"] == 2 | |
| assert len(job.result["failed"]) == 1 | |
| assert "link hong that" in job.result["failed"][0]["error"] | |
| assert job.result["failed"][0]["url"] == urls[1] | |
| def test_relay_khong_goi_duoc_thi_dung_ngay(): | |
| """Không tới được Worker -> site nào cũng hỏng y hệt, phải dừng luôn. | |
| Đo thật trên Space: không chặn thì một link Douyin ngồi thử 4 site x 3 lần | |
| mất 228 GIÂY mới chịu báo lỗi. | |
| """ | |
| d = tempfile.mkdtemp() | |
| class _Boom(_FakeRequests): | |
| def post(self, url, **kw): | |
| self.posts.append((url, kw)) | |
| raise OSError("Connection to relay timed out") | |
| fake = _Boom(lambda u, k: _Resp(), lambda u, k: _Resp()) | |
| _install(fake) | |
| old = os.environ.get("TIKTOK_RELAY_URL", "") | |
| os.environ["TIKTOK_RELAY_URL"] = "https://relay.example.dev" | |
| err = "" | |
| t0 = time.time() | |
| try: | |
| webdl.download_via_sites("https://www.douyin.com/video/7123456789012345678", d) | |
| except RuntimeError as e: | |
| err = str(e) | |
| finally: | |
| os.environ["TIKTOK_RELAY_URL"] = old | |
| _restore() | |
| assert "không gọi được Worker relay" in err, err | |
| assert "OSError" in err, err # nói rõ hỏng kiểu gì, khỏi đoán | |
| assert len(fake.posts) == 1, f"phải dừng sau lần đầu, lại thử {len(fake.posts)} lần" | |
| assert time.time() - t0 < 3 | |