titusgiap Claude Opus 5 commited on
Commit
8ae4ca6
·
1 Parent(s): 7196abe

fix(down list): /api/download/start tải song song — chỗ người dùng thật sự chạm

Browse files

Commit trước song song hoá `download_many`, nhưng api/download.py KHÔNG gọi hàm
đó: nó có vòng lặp tuần tự riêng. Nên tối ưu không chạm tới người dùng.

Nay `work()` tải nhiều link cùng lúc (trần 4, đổi bằng DOWNLOAD_WORKERS). Giữ
nguyên: thứ tự kết quả theo thứ tự link nhập, huỷ giữa chừng, log/tiến độ từng
link; thêm: 1 link ném exception không còn giết cả mẻ.

Test mới bắt đúng lỗi này (4 link x 0.4s phải xong dưới 1.2s). 119/119 PASS.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

backend/app/api/download.py CHANGED
@@ -12,7 +12,9 @@ from pydantic import BaseModel
12
  from ..config import settings
13
  from ..core.files import new_session, rel_path, session_dir, sub_dir, zip_paths
14
  from ..core.jobs import DONE, ERROR, RUNNING, jobs, submit_for_session
15
- from ..services.downloader.ydl import detect_source, download_one, parse_links
 
 
16
  from ..services.history.auto_save import auto_save_result
17
 
18
  router = APIRouter(prefix="/api/download", tags=["download"])
@@ -46,18 +48,33 @@ def start(req: StartReq):
46
  job = jobs.create("download")
47
 
48
  def work(h):
 
 
 
 
 
 
 
49
  items = [h.add_item(u, item_id=str(i)) for i, u in enumerate(req.urls)]
50
- done_paths, failed = [], []
51
  n = len(req.urls)
52
- for i, url in enumerate(req.urls):
 
 
 
 
 
 
53
  if h.cancelled():
54
- break
55
  it = items[i]
56
  h.item_status(it, RUNNING, detail="đang tải")
57
  h.log(f"[{i+1}/{n}] tải {url}")
58
- res = download_one(url, out_dir, req.cookies_file)
 
 
 
59
  if res.ok:
60
- done_paths.append(res.path)
61
  rel = rel_path(res.path, sid)
62
  h.item_status(it, DONE, detail=res.title, result={
63
  "path": rel,
@@ -70,10 +87,25 @@ def start(req: StartReq):
70
  })
71
  h.log(f" ✔ {res.title} ({res.size} bytes)")
72
  else:
73
- failed.append({"url": url, "error": res.error})
74
  h.item_status(it, ERROR, error=res.error)
75
  h.log(f" ✗ LỖI: {res.error}", level="error")
76
- h.set_progress((i + 1) / max(1, n))
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
77
 
78
  zip_rel = None
79
  if req.zip_output and done_paths:
 
12
  from ..config import settings
13
  from ..core.files import new_session, rel_path, session_dir, sub_dir, zip_paths
14
  from ..core.jobs import DONE, ERROR, RUNNING, jobs, submit_for_session
15
+ from ..services.downloader.ydl import (DownloadResult, clean_error, detect_source,
16
+ download_one, parse_links)
17
+ from ..services.downloader.ydl import _dl_workers as dl_workers
18
  from ..services.history.auto_save import auto_save_result
19
 
20
  router = APIRouter(prefix="/api/download", tags=["download"])
 
48
  job = jobs.create("download")
49
 
50
  def work(h):
51
+ # Tải NHIỀU LINK CÙNG LÚC. Trước đây vòng lặp này chạy tuần tự: 20 link
52
+ # mỗi link 5s = 100s, trong khi gần như toàn bộ thời gian chỉ ngồi CHỜ
53
+ # MẠNG chứ không ăn CPU. Vẫn giữ thứ tự kết quả theo thứ tự link nhập,
54
+ # vẫn dừng được giữa chừng, và 1 link hỏng không kéo sập cả mẻ.
55
+ from concurrent.futures import ThreadPoolExecutor
56
+ import threading
57
+
58
  items = [h.add_item(u, item_id=str(i)) for i, u in enumerate(req.urls)]
 
59
  n = len(req.urls)
60
+ oks: list = [None] * n # giữ chỗ theo chỉ số -> thứ tự không đổi
61
+ failed_by_i: list = [None] * n
62
+ lock = threading.Lock()
63
+ counter = {"done": 0}
64
+
65
+ def one(i: int):
66
+ url = req.urls[i]
67
  if h.cancelled():
68
+ return
69
  it = items[i]
70
  h.item_status(it, RUNNING, detail="đang tải")
71
  h.log(f"[{i+1}/{n}] tải {url}")
72
+ try:
73
+ res = download_one(url, out_dir, req.cookies_file)
74
+ except Exception as e: # không để 1 link giết cả mẻ
75
+ res = DownloadResult(url=url, ok=False, error=clean_error(e))
76
  if res.ok:
77
+ oks[i] = res.path
78
  rel = rel_path(res.path, sid)
79
  h.item_status(it, DONE, detail=res.title, result={
80
  "path": rel,
 
87
  })
88
  h.log(f" ✔ {res.title} ({res.size} bytes)")
89
  else:
90
+ failed_by_i[i] = {"url": url, "error": res.error}
91
  h.item_status(it, ERROR, error=res.error)
92
  h.log(f" ✗ LỖI: {res.error}", level="error")
93
+ with lock:
94
+ counter["done"] += 1
95
+ h.set_progress(counter["done"] / max(1, n))
96
+
97
+ workers = dl_workers(n)
98
+ if workers <= 1 or n <= 1:
99
+ for i in range(n):
100
+ if h.cancelled():
101
+ break
102
+ one(i)
103
+ else:
104
+ with ThreadPoolExecutor(max_workers=workers) as ex:
105
+ list(ex.map(one, range(n)))
106
+
107
+ done_paths = [p for p in oks if p]
108
+ failed = [f for f in failed_by_i if f]
109
 
110
  zip_rel = None
111
  if req.zip_output and done_paths:
backend/tests/test_webdl.py CHANGED
@@ -303,3 +303,71 @@ def test_ten_file_giai_ma_thuc_the_html():
303
  assert "&" in webdl._safe_name("Vui &amp; khoe", "x")
304
  assert webdl._safe_name("", "du_phong") == "du_phong"
305
  assert "/" not in webdl._safe_name("a/b\c", "x")
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
303
  assert "&" in webdl._safe_name("Vui &amp; khoe", "x")
304
  assert webdl._safe_name("", "du_phong") == "du_phong"
305
  assert "/" not in webdl._safe_name("a/b\c", "x")
306
+
307
+
308
+ def test_api_download_start_tai_song_song():
309
+ """Endpoint /api/download/start phải tải nhiều link CÙNG LÚC.
310
+
311
+ Trước đây `work()` trong api/download.py có vòng lặp tuần tự RIÊNG, không
312
+ dùng download_many — nên tối ưu ở tầng dưới không chạm tới người dùng.
313
+ """
314
+ from app.api import download as dlapi
315
+ from app.core.jobs import jobs
316
+
317
+ calls = []
318
+
319
+ def fake_one(url, out_dir, cookies_file=None):
320
+ calls.append(url)
321
+ time.sleep(0.4)
322
+ p = os.path.join(out_dir, f"{url[-2:]}.mp4")
323
+ open(p, "wb").write(b"x")
324
+ return ydl.DownloadResult(url=url, ok=True, path=p, title="x", ext="mp4")
325
+
326
+ urls = [f"https://x.dev/v{i}" for i in range(4)]
327
+ orig = dlapi.download_one
328
+ dlapi.download_one = fake_one
329
+ try:
330
+ t0 = time.time()
331
+ job = jobs.get(dlapi.start(dlapi.StartReq(urls=urls, zip_output=False))["job_id"])
332
+ for _ in range(200):
333
+ if job.status in ("done", "error"):
334
+ break
335
+ time.sleep(0.1)
336
+ el = time.time() - t0
337
+ finally:
338
+ dlapi.download_one = orig
339
+
340
+ assert job.status == "done", job.error
341
+ assert len(calls) == 4
342
+ assert el < 1.2, f"4 link x 0.4s mà mất {el:.2f}s -> vẫn tuần tự"
343
+ assert job.result["success"] == 4
344
+
345
+
346
+ def test_api_download_start_giu_thu_tu_va_co_lap_loi():
347
+ from app.api import download as dlapi
348
+ from app.core.jobs import jobs
349
+
350
+ def fake_one(url, out_dir, cookies_file=None):
351
+ if url.endswith("1"):
352
+ raise RuntimeError("link hong that")
353
+ p = os.path.join(out_dir, f"{url[-2:]}.mp4")
354
+ open(p, "wb").write(b"x")
355
+ return ydl.DownloadResult(url=url, ok=True, path=p, title=url[-1], ext="mp4")
356
+
357
+ urls = [f"https://x.dev/v{i}" for i in range(3)]
358
+ orig = dlapi.download_one
359
+ dlapi.download_one = fake_one
360
+ try:
361
+ job = jobs.get(dlapi.start(dlapi.StartReq(urls=urls, zip_output=False))["job_id"])
362
+ for _ in range(200):
363
+ if job.status in ("done", "error"):
364
+ break
365
+ time.sleep(0.1)
366
+ finally:
367
+ dlapi.download_one = orig
368
+
369
+ assert job.status == "done", job.error
370
+ assert job.result["success"] == 2
371
+ assert len(job.result["failed"]) == 1
372
+ assert "link hong that" in job.result["failed"][0]["error"]
373
+ assert job.result["failed"][0]["url"] == urls[1]