Spaces:
Running
Running
Commit History
-
Create svg html English presentation for this system
Verified signature# 🎯 HỆ THỐNG XỬ LÝ TÀI LIỆU VỚI KHÔI PHỤC NGỮ CẢNH SECTION ## 📌 TỔNG QUAN HỆ THỐNG ### Mục đích Hệ thống xử lý và lưu trữ tài liệu markdown với khả năng: - Tách tài liệu thành các **sections** có cấu trúc - Chunking thông minh dựa trên token - **Khôi phục ngữ cảnh đầy đủ** của section gốc khi search - Tìm kiếm hybrid (Vector + BM25) hiệu suất cao ### Kiến trúc tổng quan ``` ┌─────────────────┐ │ FastAPI App │ ← API endpoints │ (main.py) │ └────────┬────────┘ │ ┌────▼─────────────────────────────┐ │ Celery Worker (worker.py) │ │ - Xử lý bất đồng bộ │ │ - Quản lý job queue │ └────┬─────────────────────────────┘ │ ┌────▼──────────────────────────────┐ │ ProcessPipeline │ │ - Điều phối workflow │ └────┬──────────────────────────────┘ │ ┌────▼──────────────────────────────┐ │ MarkdownProcessor │ │ - TextCleaner (split sect…c602e04