File size: 3,784 Bytes
3e1cbf3
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
"""Lấy án lệ/bản án lao động từ HF tmquan/anle-toaan-gov-vn, nạp vào Postgres (M6b).

Lọc các bản án liên quan lao động (nhắc 'lao động' hoặc viện dẫn BLLĐ), giới hạn số
lượng cho MVP. Tải parquet 'documents' về cache rồi query bằng duckdb.
"""

from __future__ import annotations

import json
from datetime import date, datetime
from pathlib import Path

import httpx
from loguru import logger

from app.db.base import Base, SessionLocal, engine
from app.db.models import Precedent
from app.rag.embeddings import embed

OUT = Path("data/raw")
CACHE = OUT / "_anle.parquet"
LIMIT = 150


def _parquet_urls() -> list[str]:
    r = httpx.get(
        "https://datasets-server.huggingface.co/parquet",
        params={"dataset": "tmquan/anle-toaan-gov-vn", "config": "documents"},
        timeout=60,
    )
    r.raise_for_status()
    return [f["url"] for f in r.json()["parquet_files"]]


def _ensure_cache() -> None:
    if CACHE.exists() and CACHE.stat().st_size > 1_000_000:
        logger.info("Dùng parquet án lệ đã tải: {}", CACHE)
        return
    url = _parquet_urls()[0]
    logger.info("Tải parquet án lệ...")
    with httpx.stream("GET", url, timeout=None, follow_redirects=True) as r:
        r.raise_for_status()
        with open(CACHE, "wb") as f:
            for c in r.iter_bytes(1 << 20):
                f.write(c)
    logger.info("  {:.1f} MB", CACHE.stat().st_size / 1e6)


def _as_date(v) -> date | None:
    if not v:
        return None
    if isinstance(v, (date, datetime)):
        return v.date() if isinstance(v, datetime) else v
    try:
        return date.fromisoformat(str(v)[:10])
    except ValueError:
        return None


def main() -> None:
    import duckdb

    OUT.mkdir(parents=True, exist_ok=True)
    _ensure_cache()
    Base.metadata.create_all(bind=engine)

    con = duckdb.connect()
    q = f"""
        SELECT doc_name, court, court_level, precedent_number, is_precedent, category,
               issued_date, to_json(citations_law) AS citations_law, web_url, markdown
        FROM read_parquet('{CACHE}')
        WHERE (lower(markdown) LIKE '%lao động%' OR lower(category) LIKE '%lao động%')
          AND markdown IS NOT NULL AND length(markdown) > 500
        ORDER BY is_precedent DESC NULLS LAST, issued_date DESC
        LIMIT {LIMIT}
    """
    rows = con.execute(q).fetchall()
    cols = [d[0] for d in con.description]
    logger.info("Lọc được {} bản án lao động.", len(rows))

    db = SessionLocal()
    db.query(Precedent).delete()
    db.commit()

    recs = [dict(zip(cols, r)) for r in rows]
    # Nhúng theo đoạn đầu bản án (tình huống + nhận định) cho gọn.
    summaries = [ (r["markdown"] or "")[:2000] for r in recs ]
    vecs = embed(summaries)
    for r, v in zip(recs, vecs):
        cl = r.get("citations_law")
        if not isinstance(cl, str):
            cl = json.dumps(cl, ensure_ascii=False) if cl is not None else None
        db.merge(
            Precedent(
                doc_name=r["doc_name"],
                title=r.get("doc_name"),
                court=r.get("court"),
                court_level=r.get("court_level"),
                precedent_number=r.get("precedent_number"),
                is_precedent=bool(r.get("is_precedent")),
                category=r.get("category"),
                issued_date=_as_date(r.get("issued_date")),
                citations_law=cl,
                source_url=r.get("web_url"),
                text=r["markdown"],
                embedding=v,
            )
        )
    db.commit()
    n = db.query(Precedent).count()
    db.close()
    logger.info("Đã nạp {} án lệ/bản án lao động.", n)


if __name__ == "__main__":
    main()