Spaces:
Running
Running
fix(down list): /api/download/start tải song song — chỗ người dùng thật sự chạm
Browse filesCommit trước song song hoá `download_many`, nhưng api/download.py KHÔNG gọi hàm
đó: nó có vòng lặp tuần tự riêng. Nên tối ưu không chạm tới người dùng.
Nay `work()` tải nhiều link cùng lúc (trần 4, đổi bằng DOWNLOAD_WORKERS). Giữ
nguyên: thứ tự kết quả theo thứ tự link nhập, huỷ giữa chừng, log/tiến độ từng
link; thêm: 1 link ném exception không còn giết cả mẻ.
Test mới bắt đúng lỗi này (4 link x 0.4s phải xong dưới 1.2s). 119/119 PASS.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
- backend/app/api/download.py +40 -8
- backend/tests/test_webdl.py +68 -0
backend/app/api/download.py
CHANGED
|
@@ -12,7 +12,9 @@ from pydantic import BaseModel
|
|
| 12 |
from ..config import settings
|
| 13 |
from ..core.files import new_session, rel_path, session_dir, sub_dir, zip_paths
|
| 14 |
from ..core.jobs import DONE, ERROR, RUNNING, jobs, submit_for_session
|
| 15 |
-
from ..services.downloader.ydl import
|
|
|
|
|
|
|
| 16 |
from ..services.history.auto_save import auto_save_result
|
| 17 |
|
| 18 |
router = APIRouter(prefix="/api/download", tags=["download"])
|
|
@@ -46,18 +48,33 @@ def start(req: StartReq):
|
|
| 46 |
job = jobs.create("download")
|
| 47 |
|
| 48 |
def work(h):
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 49 |
items = [h.add_item(u, item_id=str(i)) for i, u in enumerate(req.urls)]
|
| 50 |
-
done_paths, failed = [], []
|
| 51 |
n = len(req.urls)
|
| 52 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 53 |
if h.cancelled():
|
| 54 |
-
|
| 55 |
it = items[i]
|
| 56 |
h.item_status(it, RUNNING, detail="đang tải")
|
| 57 |
h.log(f"[{i+1}/{n}] tải {url}")
|
| 58 |
-
|
|
|
|
|
|
|
|
|
|
| 59 |
if res.ok:
|
| 60 |
-
|
| 61 |
rel = rel_path(res.path, sid)
|
| 62 |
h.item_status(it, DONE, detail=res.title, result={
|
| 63 |
"path": rel,
|
|
@@ -70,10 +87,25 @@ def start(req: StartReq):
|
|
| 70 |
})
|
| 71 |
h.log(f" ✔ {res.title} ({res.size} bytes)")
|
| 72 |
else:
|
| 73 |
-
|
| 74 |
h.item_status(it, ERROR, error=res.error)
|
| 75 |
h.log(f" ✗ LỖI: {res.error}", level="error")
|
| 76 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 77 |
|
| 78 |
zip_rel = None
|
| 79 |
if req.zip_output and done_paths:
|
|
|
|
| 12 |
from ..config import settings
|
| 13 |
from ..core.files import new_session, rel_path, session_dir, sub_dir, zip_paths
|
| 14 |
from ..core.jobs import DONE, ERROR, RUNNING, jobs, submit_for_session
|
| 15 |
+
from ..services.downloader.ydl import (DownloadResult, clean_error, detect_source,
|
| 16 |
+
download_one, parse_links)
|
| 17 |
+
from ..services.downloader.ydl import _dl_workers as dl_workers
|
| 18 |
from ..services.history.auto_save import auto_save_result
|
| 19 |
|
| 20 |
router = APIRouter(prefix="/api/download", tags=["download"])
|
|
|
|
| 48 |
job = jobs.create("download")
|
| 49 |
|
| 50 |
def work(h):
|
| 51 |
+
# Tải NHIỀU LINK CÙNG LÚC. Trước đây vòng lặp này chạy tuần tự: 20 link
|
| 52 |
+
# mỗi link 5s = 100s, trong khi gần như toàn bộ thời gian chỉ ngồi CHỜ
|
| 53 |
+
# MẠNG chứ không ăn CPU. Vẫn giữ thứ tự kết quả theo thứ tự link nhập,
|
| 54 |
+
# vẫn dừng được giữa chừng, và 1 link hỏng không kéo sập cả mẻ.
|
| 55 |
+
from concurrent.futures import ThreadPoolExecutor
|
| 56 |
+
import threading
|
| 57 |
+
|
| 58 |
items = [h.add_item(u, item_id=str(i)) for i, u in enumerate(req.urls)]
|
|
|
|
| 59 |
n = len(req.urls)
|
| 60 |
+
oks: list = [None] * n # giữ chỗ theo chỉ số -> thứ tự không đổi
|
| 61 |
+
failed_by_i: list = [None] * n
|
| 62 |
+
lock = threading.Lock()
|
| 63 |
+
counter = {"done": 0}
|
| 64 |
+
|
| 65 |
+
def one(i: int):
|
| 66 |
+
url = req.urls[i]
|
| 67 |
if h.cancelled():
|
| 68 |
+
return
|
| 69 |
it = items[i]
|
| 70 |
h.item_status(it, RUNNING, detail="đang tải")
|
| 71 |
h.log(f"[{i+1}/{n}] tải {url}")
|
| 72 |
+
try:
|
| 73 |
+
res = download_one(url, out_dir, req.cookies_file)
|
| 74 |
+
except Exception as e: # không để 1 link giết cả mẻ
|
| 75 |
+
res = DownloadResult(url=url, ok=False, error=clean_error(e))
|
| 76 |
if res.ok:
|
| 77 |
+
oks[i] = res.path
|
| 78 |
rel = rel_path(res.path, sid)
|
| 79 |
h.item_status(it, DONE, detail=res.title, result={
|
| 80 |
"path": rel,
|
|
|
|
| 87 |
})
|
| 88 |
h.log(f" ✔ {res.title} ({res.size} bytes)")
|
| 89 |
else:
|
| 90 |
+
failed_by_i[i] = {"url": url, "error": res.error}
|
| 91 |
h.item_status(it, ERROR, error=res.error)
|
| 92 |
h.log(f" ✗ LỖI: {res.error}", level="error")
|
| 93 |
+
with lock:
|
| 94 |
+
counter["done"] += 1
|
| 95 |
+
h.set_progress(counter["done"] / max(1, n))
|
| 96 |
+
|
| 97 |
+
workers = dl_workers(n)
|
| 98 |
+
if workers <= 1 or n <= 1:
|
| 99 |
+
for i in range(n):
|
| 100 |
+
if h.cancelled():
|
| 101 |
+
break
|
| 102 |
+
one(i)
|
| 103 |
+
else:
|
| 104 |
+
with ThreadPoolExecutor(max_workers=workers) as ex:
|
| 105 |
+
list(ex.map(one, range(n)))
|
| 106 |
+
|
| 107 |
+
done_paths = [p for p in oks if p]
|
| 108 |
+
failed = [f for f in failed_by_i if f]
|
| 109 |
|
| 110 |
zip_rel = None
|
| 111 |
if req.zip_output and done_paths:
|
backend/tests/test_webdl.py
CHANGED
|
@@ -303,3 +303,71 @@ def test_ten_file_giai_ma_thuc_the_html():
|
|
| 303 |
assert "&" in webdl._safe_name("Vui & khoe", "x")
|
| 304 |
assert webdl._safe_name("", "du_phong") == "du_phong"
|
| 305 |
assert "/" not in webdl._safe_name("a/b\c", "x")
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 303 |
assert "&" in webdl._safe_name("Vui & khoe", "x")
|
| 304 |
assert webdl._safe_name("", "du_phong") == "du_phong"
|
| 305 |
assert "/" not in webdl._safe_name("a/b\c", "x")
|
| 306 |
+
|
| 307 |
+
|
| 308 |
+
def test_api_download_start_tai_song_song():
|
| 309 |
+
"""Endpoint /api/download/start phải tải nhiều link CÙNG LÚC.
|
| 310 |
+
|
| 311 |
+
Trước đây `work()` trong api/download.py có vòng lặp tuần tự RIÊNG, không
|
| 312 |
+
dùng download_many — nên tối ưu ở tầng dưới không chạm tới người dùng.
|
| 313 |
+
"""
|
| 314 |
+
from app.api import download as dlapi
|
| 315 |
+
from app.core.jobs import jobs
|
| 316 |
+
|
| 317 |
+
calls = []
|
| 318 |
+
|
| 319 |
+
def fake_one(url, out_dir, cookies_file=None):
|
| 320 |
+
calls.append(url)
|
| 321 |
+
time.sleep(0.4)
|
| 322 |
+
p = os.path.join(out_dir, f"{url[-2:]}.mp4")
|
| 323 |
+
open(p, "wb").write(b"x")
|
| 324 |
+
return ydl.DownloadResult(url=url, ok=True, path=p, title="x", ext="mp4")
|
| 325 |
+
|
| 326 |
+
urls = [f"https://x.dev/v{i}" for i in range(4)]
|
| 327 |
+
orig = dlapi.download_one
|
| 328 |
+
dlapi.download_one = fake_one
|
| 329 |
+
try:
|
| 330 |
+
t0 = time.time()
|
| 331 |
+
job = jobs.get(dlapi.start(dlapi.StartReq(urls=urls, zip_output=False))["job_id"])
|
| 332 |
+
for _ in range(200):
|
| 333 |
+
if job.status in ("done", "error"):
|
| 334 |
+
break
|
| 335 |
+
time.sleep(0.1)
|
| 336 |
+
el = time.time() - t0
|
| 337 |
+
finally:
|
| 338 |
+
dlapi.download_one = orig
|
| 339 |
+
|
| 340 |
+
assert job.status == "done", job.error
|
| 341 |
+
assert len(calls) == 4
|
| 342 |
+
assert el < 1.2, f"4 link x 0.4s mà mất {el:.2f}s -> vẫn tuần tự"
|
| 343 |
+
assert job.result["success"] == 4
|
| 344 |
+
|
| 345 |
+
|
| 346 |
+
def test_api_download_start_giu_thu_tu_va_co_lap_loi():
|
| 347 |
+
from app.api import download as dlapi
|
| 348 |
+
from app.core.jobs import jobs
|
| 349 |
+
|
| 350 |
+
def fake_one(url, out_dir, cookies_file=None):
|
| 351 |
+
if url.endswith("1"):
|
| 352 |
+
raise RuntimeError("link hong that")
|
| 353 |
+
p = os.path.join(out_dir, f"{url[-2:]}.mp4")
|
| 354 |
+
open(p, "wb").write(b"x")
|
| 355 |
+
return ydl.DownloadResult(url=url, ok=True, path=p, title=url[-1], ext="mp4")
|
| 356 |
+
|
| 357 |
+
urls = [f"https://x.dev/v{i}" for i in range(3)]
|
| 358 |
+
orig = dlapi.download_one
|
| 359 |
+
dlapi.download_one = fake_one
|
| 360 |
+
try:
|
| 361 |
+
job = jobs.get(dlapi.start(dlapi.StartReq(urls=urls, zip_output=False))["job_id"])
|
| 362 |
+
for _ in range(200):
|
| 363 |
+
if job.status in ("done", "error"):
|
| 364 |
+
break
|
| 365 |
+
time.sleep(0.1)
|
| 366 |
+
finally:
|
| 367 |
+
dlapi.download_one = orig
|
| 368 |
+
|
| 369 |
+
assert job.status == "done", job.error
|
| 370 |
+
assert job.result["success"] == 2
|
| 371 |
+
assert len(job.result["failed"]) == 1
|
| 372 |
+
assert "link hong that" in job.result["failed"][0]["error"]
|
| 373 |
+
assert job.result["failed"][0]["url"] == urls[1]
|