| --- |
| license: apache-2.0 |
| language: |
| - en |
| - vi |
| tags: |
| - vision-language |
| - document-ai |
| - vlm |
| - ocr |
| pipeline_tag: image-to-text |
| --- |
| |
| # Doc2Bit-VL-7B |
|
|
| Doc2Bit-VL-7B is a vision-language model fine-tuned for document understanding. |
|
|
| # 📄 Document Information Extraction VLM |
|
|
| A Vision-Language Model (VLM) specialized in **document understanding and information extraction**, supporting both **unstructured information** and **structured data (tables)** from document images. |
|
|
| This model is optimized for production usage via **vLLM serving** with an **OpenAI-compatible API**. |
|
|
| --- |
| ## 🚀 Features |
| - Vision-Language Model for document images |
| - Extracts **unstructured key–value information** |
| - Extracts **structured table data**, including **column-wise extraction** |
| - Handles complex layouts (forms, invoices, reports, product tables) |
| - Strict output formatting (no hallucination) |
| - Compatible with **vLLM OpenAI-style API** |
| - Prompting optimized for **Vietnamese instructions** |
| --- |
|
|
| ## 📌 Supported Data Types |
| ### 1. Unstructured Information |
|
|
| Extract specific fields defined by the user, such as: |
| - Invoice number |
| - Date |
| - Company name |
| - Address |
| - Total amount |
| - Custom document attributes |
|
|
| --- |
| ### 2. Structured Table Data |
|
|
| Designed for extracting **individual columns** from tables, especially product tables. |
| Capabilities: |
| - Column-level extraction |
| - Ignore non-product rows |
| - Markdown-formatted output |
| - Clean and deterministic structure |
|
|
| --- |
|
|
| ## 🔧 Deployment (vLLM) |
| This model is intended to be deployed using **vLLM** with an OpenAI-compatible interface. |
| Example: |
| ```bash |
| vllm serve <model-path-or-name> \ |
| --served-model-name document-vlm \ |
| --port 8000 |
| ``` |
| ## Prompt Usage |
| Unstructured Data Extraction Prompt Example |
|
|
| ```bash |
| prompt = f"""QUERY Trích xuất thông tin: {field_names}. |
| INSTRUCTION: |
| - Bắt buộc dữ liệu trả về theo format <index>. <key>:<value>, trong đó <index> là số thứ tự (1, 2, 3, 4, ...) |
| - key lấy chính xác từ trong QUERY của tôi |
| - không tự bịa dữ liệu và coi đó là điều hiển nhiên |
| - nếu không thể trích xuất thì hãy trả lời: tôi không thể tìm thấy dữ liệu này |
| """ |
| ``` |
| Expected Output |
| ```bash |
| 1. Số hóa đơn: INV-001 |
| 2. Ngày phát hành: 12/03/2024 |
| 3. Tổng tiền: 1.250.000 VND |
| ``` |
| If data cannot be extracted: |
| ```bash |
| tôi không thể tìm thấy dữ liệu này |
| ``` |
| Structured Table (Column-wise) Extraction Prompt Example |
|
|
| ```bash |
| prompt = ( |
| f"trích xuất thông tin tương ứng với sản phẩm của cột {col_name} trong bảng sản phẩm.\n" |
| "INSTRUCTION:\n" |
| "Xuất kết quả dưới dạng markdown một cột.\n" |
| "Bỏ qua những hàng không phải sản phẩm.\n" |
| f"Yêu cầu tiêu đề cột là |{col_name}|.\n" |
| ) |
| ``` |
| Expected Output |
| ```bash |
| |Tên sản phẩm| |
| |------------| |
| |Sản phẩm A| |
| |Sản phẩm B| |
| |Sản phẩm C| |
| ``` |
|
|
