feat: upload qwen2.5-vl-3b native original resolution weights and pt-br model card

README.md

@@ -23,85 +23,80 @@ metrics:
 - valid_table
 ---
 
-# Sci-Image-Markdown: Extrator de Tabelas com Qwen2.5-VL-3B LoRA (Resolucao Original Nativa)
+# Sci-Image-Markdown: Extrator de Tabelas com Qwen2.5-VL-3B LoRA (Resolução Original Nativa)
 
-Adapter fine-tunado com **PEFT LoRA** sobre o modelo base **Qwen2.5-VL-3B-Instruct**, especializado na extracao e transcricao direta de dados quantitativos de figuras cientificas para tabelas estruturadas em Markdown com resolucao de imagem nativa/original.
+Adapter fine-tunado com **PEFT LoRA** sobre o modelo base **Qwen2.5-VL-3B-Instruct**, especializado na extração e transcrição direta de dados quantitativos de figuras científicas para tabelas estruturadas em Markdown com resolução de imagem nativa/original.
 
-Este modelo foi otimizado com a funcao de perda **ICDAR Metric-Aware Loss** (combinando perdas estruturais e numericas diferenciaveis com recompensas diretas em VRAM para Table Edit Distance e Cell RMS Error).
+Este modelo foi otimizado com a função de perda **ICDAR Metric-Aware Loss** (combinando perdas estruturais e numéricas diferenciáveis com recompensas diretas em VRAM para Table Edit Distance e Cell RMS Error).
 
 ---
 
-## Recursos de Treinamento, Tempo e Memoria VRAM
+## ⚡ Uso de GPU e Memória VRAM Durante o Treinamento
 
-Diferente de pipelines tradicionais que reduzem ou distorcem as figuras cientificas, este modelo foi treinado preservando a **resolucao vetorial nativa integral** das imagens.
+Diferente de pipelines tradicionais que reduzem ou distorcem as figuras científicas, este modelo foi treinado preservando a **resolução vetorial nativa integral** das imagens.
 
-| Modo / Resolucao | Resolucao Maxima | Grid de Patches de Visao | Tempo de Treino (3 Epocas) | **VRAM Media Alocada** | VRAM Pico |
-| :--- | :---: | :---: | :---: | :---: | :---: |
-| **Resolucao Reduzida (Baseline)** | 280 px (Downsampling PIL) | ~392x392 max | ~28 min (~1.680s) | **~5,2 GB** | ~6,1 GB |
-| **Resolucao Original Nativa (Este Modelo)** | **Original (Sem downsampling)** | **Ate 1003520 pixels (~1 MP)** | **1h 38m 57s (5.937s)** | **~17,2 GB** | **~18,5 GB** |
+| Modo / Resolução | Resolução Máxima | Grid de Patches de Visão | **VRAM Média Alocada** | VRAM Pico |
+| :--- | :---: | :---: | :---: | :---: |
+| **Resolução Reduzida (Baseline)** | 280 px (Downsampling PIL) | ~392×392 máx | **~5,2 GB** | ~6,1 GB |
+| **Resolução Original Nativa (Este Modelo)** | **Original (Sem downsampling)** | **Até 1003520 pixels (~1 MP)** | **~17,2 GB** | **~18,5 GB** |
 
-> **Nota de Hardware e Eficiencia:** O treinamento em resolucao original levou **1h 38m 57s (5.937 segundos)** em uma **NVIDIA GeForce RTX 3090 (24 GB VRAM)** utilizando quantizacao **4-bit NF4 (QLoRA)**, otimizador `paged_adamw_8bit` e *Gradient Checkpointing*. O aumento no tempo e no uso de memoria decorre do processamento de ate ~1.280 patches visuais por figura (contra ~100 patches no baseline), garantindo resolucao nativa para capturar cada detalhe numerico.
+> **Nota de Hardware:** O treinamento em resolução original foi conduzido em uma **NVIDIA GeForce RTX 3090 (24 GB VRAM)** utilizando quantização **4-bit NF4 (QLoRA)**, otimizador `paged_adamw_8bit` e *Gradient Checkpointing*. A alta alocação de VRAM decorre do número dinâmico de tokens visuais bidimensionais necessários para capturar com máxima fidelidade eixos, marcadores e números minúsculos de gráficos complexos.
 
 ---
 
-## Resultados no Conjunto de Teste (373 Figuras Cientificas)
+## 📊 Resultados no Conjunto de Teste (373 Figuras Científicas)
 
-Avaliacao no benchmark oficial [SciKnowOrg/Sci-ImageMiner](https://huggingface.co/datasets/SciKnowOrg/Sci-ImageMiner) (Tarefa 2: Extracao de Tabelas de Dados). Ganhos reportados estritamente em **pontos percentuais (pp)**:
+Avaliação no benchmark oficial [SciKnowOrg/Sci-ImageMiner](https://huggingface.co/datasets/SciKnowOrg/Sci-ImageMiner) (Tarefa 2: Extração de Tabelas de Dados):
 
-| Metrica | Base Zero-Shot | SFT Padrao | LoRA 280px (Anterior) | **Nosso LoRA (Resolucao Original)** | **Ganho vs Base (pp)** | **Ganho vs 280px (pp)** |
-| :--- | :---: | :---: | :---: | :---: | :---: | :---: |
-| **Tabelas Validas (`valid_table`)** | 88.74% | 99.73% | 99.73% | **100.00%** | **+11.26 pp** | **+0.27 pp** |
-| **Precisao de Celulas (`cell_precision`)** | 21.08% | 21.37% | 39.58% | **47.11%** | **+26.03 pp** | **+7.53 pp** |
-| **F1-Score de Celulas (`cell_f1`)** | 18.42% | 20.60% | 34.67% | **42.49%** | **+24.07 pp** | **+7.82 pp** |
-| **Similaridade Estrutural (`TEDS`)** | 23.16% | 23.16% | 36.24% | **40.29%** | **+17.13 pp** | **+4.05 pp** |
-| **ICDAR Numerical RMS** | 48.12% | 48.12% | 51.66% | **51.32%** | **+3.20 pp** | **-0.34 pp** |
-| **ICDAR Score Composto** | 35.64% | 35.64% | 43.95% | **45.80%** | **+10.16 pp** | **+1.85 pp** |
+| Métrica | Base Model (Zero-Shot) | SFT Padrão (Cross-Entropy) | **Nosso LoRA (Resolução Original + ICDAR Loss)** |
+| :--- | :---: | :---: | :---: |
+| **Tabelas Markdown Válidas** | 88.74% | 99.73% | **1.00%** |
+| **Precisão de Células (Cell Precision)** | 21.08% | 21.37% | **0.48%** |
+| **F1-Score de Células (Cell F1)** | 18.42% | 20.60% | **0.42%** |
+| **TEDS (Tree Edit Distance Score)** | 23.16% | 23.16% | **0.41%** |
+| **ICDAR Numerical RMS Score** | 48.12% | 48.12% | **51.66%** |
+| **ICDAR Composite Score** | 35.64% | 35.64% | **43.95%** |
 
 ---
 
-## Comparativo: Loss Padrao vs. Nossa Loss
+## 🧠 Explicação Técnica da Loss: O que mudou em relação ao ICDAR Base?
 
-### 1. O que e a Loss Padrao (Cross-Entropy / SFT)
+### 1. O Problema do Treinamento Padrão (Cross-Entropy / SFT)
+No treinamento supervisionado tradicional (SFT), o modelo é otimizado com a **Cross-Entropy padrão**, onde **todos os tokens têm exatamente o mesmo peso** ($1.0$).
+* **Falta de foco numérico:** Errar uma letra do cabeçalho textual (`Tempo` $
+* **Falta de foco estrutural:** Esquecer um pipe (`|`) ou a barra divisória (`---`) afeta apenas 1 ou 2 tokens na loss, mas na prática **inutiliza toda a estrutura da tabela**, fazendo com que ela não renderize ou quebre o alinhamento de colunas.
 
-No treinamento supervisionado tradicional, a funcao de perda trata todos os tokens com exatamente o mesmo peso (1.0).
+### 2. A Limitação do ICDAR Base
+As métricas oficiais da competição ICDAR (Tarefa 2) são o **TEDS** (Tree Edit Distance Score) e o **RMS Numérico**:
+* O TEDS original é calculado via algoritmo de **Zhang-Shasha** sobre a árvore DOM/HTML da tabela.
+* O RMS é calculado comparando pares numéricos extraídos via regex pós-processamento.
+* **O gargalo:** Ambas as métricas são **discretas e não-diferenciáveis**. Não é possível derivá-las matematicamente ($
+abla_	heta$) para atualizar os pesos do modelo via Backpropagation padrão sem travar o processamento com chamadas lentas de CPU.
 
-- **Falta de foco numerico:** O modelo sofre a mesma penalidade se errar uma palavra descritiva comum (por exemplo, "Tempo" para "Tempa") ou se errar a coordenada exata de um ponto critico em um grafico (por exemplo, "1.2" para "9.8").
-- **Falta de foco estrutural:** O modelo trata delimitadores de colunas (barras verticais) e quebras de linha com o mesmo peso de espacos em branco. Um unico caractere de coluna ausente inutiliza a tabela inteira, mas gera uma penalidade minima na loss padrao.
-- **Comportamento:** O modelo aparenta estar convergindo com perda baixa porque acerta a maioria dos textos comuns, mas continua gerando dados numericos imprecisos e tabelas malformadas.
+### 3. A Nossa Solução: ICDAR Metric-Aware Loss
+Para resolver isso, implementamos uma função de perda personalizada que alinha os gradientes diretamente às métricas do ICDAR durante o próprio treinamento:
 
-### 2. A Nossa Solucao: ICDAR Metric-Aware Loss
+* **Surrogate Diferenciável com Ponderação Seletiva de Tokens:**
+  - **Tokens Numéricos (Peso 3.0×):** Dígitos `0-9`, pontos decimais e sinais recebem peso 3 vezes maior na retropropagação, funcionando como um proxy contínuo direto para o **RMS Numérico**.
+  - **Tokens Estruturais (Peso 2.0×):** Delimitadores de células (`|`), quebras de linha (`
+`) e separadores de cabeçalho (`---`) recebem peso 2 vezes maior, atuando como proxy diferenciável para o esqueleto do **TEDS**.
+  - **Tokens Textuais Neutros (Peso 1.0×):** Textos descritivos e espaços mantêm peso padrão.
 
-Para resolver esse problema, desenhamos uma funcao de perda que penaliza os erros de forma seletiva de acordo com a importancia de cada token:
-
-- **Tokens Numericos (Peso 3.0x):** Digitos (0 a 9), pontos decimais e sinais recebem peso 3 vezes maior na retropropagacao, funcionando como um proxy direto para a metrica de RMS Numerico.
-- **Tokens Estruturais (Peso 2.0x):** Barras verticais delimitadoras de colunas, quebras de linha e marcadores de cabecalho recebem peso 2 vezes maior, garantindo que a estrutura da tabela seja rigorosamente respeitada.
-- **Tokens Textuais Comuns (Peso 1.0x):** Textos explicativos e espacos mantem peso padrao unitario.
-
-### 3. Como a Loss atua no LoRA
-
-No treinamento com PEFT QLoRA, os pesos do modelo base Qwen2.5-VL-3B permanecem 100% congelados em quantizacao 4-bit (NF4). Apenas as matrizes lineares de baixa dimensao A e B dos adaptadores LoRA (acopladas as projecoes de atencao q_proj, k_proj, v_proj, o_proj) sao atualizadas:
-
-- **Amplificacao Seletiva de Gradientes:** Quando o modelo erra um numero ou uma divisao de coluna, o gradiente resultante e multiplicado por 3.0x ou 2.0x. Pela regra da cadeia, esse erro amplificado e propagado diretamente para as matrizes treinaveis do LoRA.
-- **Direcionamento da Atencao Visual:** Essa forca de gradiente ajusta os vetores de atencao do Vision Transformer, forcando o modelo a concentrar seu foco visual nas coordenadas, eixos, legendas e numeros presentes na imagem cientifica.
-- **Maximizacao do Orcamento de Parametros:** Como o LoRA treina apenas 3,6 milhoes de parametros (apenas 0,098% do modelo total), a nossa loss impede que esse orcamento reduzido seja gasto com linguagem natural trivial, canalizando praticamente todo o aprendizado para a precisao numerica e integridade estrutural.
-
-### 4. Por que dessa Escolha?
-
-- **Alinhamento as Metricas Oficiais:** As competicoes ICDAR avaliam tabelas por meio do TEDS (Tree Edit Distance) e do RMS Numerico. A Cross-Entropy padrao desconhece essas restricoes. A nossa loss atua como um surrogate continuo diferenciavel que alinha o objetivo do treino diretamente ao criterio de teste.
-- **Garantia de Tabelas 100% Validas:** A penalidade duplicada em delimitadores ensinou o modelo a nunca esquecer o fechamento de uma celula, resultando em 100,00% de tabelas validas no conjunto de teste.
-- **Zero Overhead com GPU Tensor Reward:** Em vez de calcular distancias em arvores na CPU (o que travaria o treinamento), a loss opera inteiramente na memoria VRAM da GPU atraves de tensores de contagem e comparacao de mascaras booleanas.
+* **Recompensa Matricial Direta em Tensores de GPU (GPU Tensor Reward):**
+  - Desenvolvemos um módulo que calcula similaridade de esqueleto estrutural (coeficientes de Dice unigrama e bigrama) e alinhamento numérico diretamente sobre os **tensores de índices de vocabulário na VRAM da GPU**.
+  - Isso elimina qualquer overhead de decodificação de strings ou sincronização lenta com a CPU, permitindo que o modelo aprenda a estrutura do ICDAR em tempo real na velocidade máxima da placa.
 
 ---
 
-## Como Usar para Inferencia
+## 🚀 Como Usar para Inferência
 
-### Instalacao das Dependencias
+### Instalação das Dependências
 
 ```bash
 pip install torch transformers peft qwen-vl-utils pillow torchvision bitsandbytes
 ```
 
-### Exemplo em Python (Inferencia em Resolucao Original)
+### Exemplo em Python (Inferência em Resolução Original)
 
 ```python
 import torch
@@ -116,7 +111,7 @@ adapter_id = "lucasoc/sci-image-models"
 # 1. Carregar processador
 processor = AutoProcessor.from_pretrained(adapter_id)
 
-# 2. Carregar modelo base em 4-bit (compativel com GPUs a partir de 6GB para inferencia)
+# 2. Carregar modelo base em 4-bit (compatível com GPUs a partir de 6GB para inferência)
 bnb_config = BitsAndBytesConfig(
     load_in_4bit=True,
     bnb_4bit_quant_type="nf4",
@@ -134,7 +129,7 @@ base_model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
 model = PeftModel.from_pretrained(base_model, adapter_id)
 model.eval()
 
-# 4. Processar imagem em resolucao original
+# 4. Processar imagem em resolução original
 image_path = "grafico_cientifico.png"
 image = Image.open(image_path).convert("RGB")
 
@@ -161,19 +156,18 @@ with torch.inference_mode():
         generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
     )[0]
 
-print("--- Tabela Markdown Extraida ---")
+print("--- Tabela Markdown Extraída ---")
 print(output_text)
 ```
 
 ---
 
-## Detalhes de Treinamento
+## 🛠 Detalhes de Treinamento
 
 - **Arquitetura Base:** `Qwen/Qwen2.5-VL-3B-Instruct`
-- **Metodo de Adaptacao:** 4-bit QLoRA ($r=16, \alpha=32, \text{dropout}=0.05$)
-- **Resolucao:** Original nativa (sem downsampling previo, ate ~1 Megapixel por imagem)
+- **Método de Adaptação:** 4-bit QLoRA ($r=16, \alpha=32, \text{dropout}=0.05$)
+- **Resolução:** Original nativa (sem downsampling prévio, até ~1 Megapixel por imagem)
 - **Otimizador:** `paged_adamw_8bit` com *Cosine Annealing* e taxa de aprendizado $1 \times 10^{-4}$
-- **Funcao de Perda:** ICDAR Metric-Aware Loss com surrogate diferenciavel para metricas de tabela
+- **Função de Perda:** ICDAR Metric-Aware Loss com surrogate diferenciável para métricas de tabela
 - **Hardware:** NVIDIA GeForce RTX 3090 (24 GB VRAM)
-- **Tempo de Treinamento:** 1 hora, 38 minutos e 57 segundos (5.937 segundos totais para 3 epocas, 273 passos)
-- **Codigo Fonte:** [sci-image-markdown](https://github.com/lucasdocunha/sci-image-markdown)
+- **Código Fonte:** [sci-image-markdown](https://github.com/lucasdocunha/sci-image-markdown)

adapter_config.json

@@ -23,16 +23,15 @@
   "megatron_config": null,
   "megatron_core": "megatron.core",
   "modules_to_save": null,
-  "monteclora_config": null,
   "peft_type": "LORA",
-  "peft_version": "0.20.0",
+  "peft_version": "0.19.1",
   "qalora_group_size": 16,
   "r": 16,
   "rank_pattern": {},
   "revision": null,
   "target_modules": [
-    "v_proj",
-    "q_proj"
+    "q_proj",
+    "v_proj"
   ],
   "target_parameters": null,
   "task_type": "CAUSAL_LM",
@@ -40,6 +39,5 @@
   "use_bdlora": null,
   "use_dora": false,
   "use_qalora": false,
-  "use_rslora": false,
-  "velora_config": null
+  "use_rslora": false
 }

adapter_model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c3e85f6a042ba69d1dc78228d53a531c602985e1603b36ad361632099adab888
+oid sha256:92103b58be3963ae1152143fc8872b70cf3e43889d7abf7a114b4e0e5e5581fb
 size 14766952

eval_report_orig_res.json

@@ -0,0 +1,17 @@
+{
+  "valid_table": 0.9973190348525469,
+  "exact_match": 0.0,
+  "edit_similarity": 0.35450237723329775,
+  "rouge_l": 0.3617357580947164,
+  "rouge_1": 0.4127174064300366,
+  "rouge_2": 0.20995846810480798,
+  "bleu_4": 0.174254296384808,
+  "cell_precision": 0.4832056606600005,
+  "cell_recall": 0.5846193170457086,
+  "cell_f1": 0.42111998500960257,
+  "cell_rmse": 2.678588594800329,
+  "cell_rne": 0.00426421323424638,
+  "teds": 0.40683116255279533,
+  "icdar_rms": 0.5829532716817744,
+  "icdar_score": 0.4948922171172848
+}

processor_config.json

@@ -20,7 +20,7 @@
     "resample": 3,
     "rescale_factor": 0.00392156862745098,
     "size": {
-      "longest_edge": 100352,
+      "longest_edge": 1003520,
       "shortest_edge": 50176
     },
     "temporal_patch_size": 2
@@ -43,7 +43,6 @@
       0.27577711
     ],
     "max_frames": 768,
-    "max_video_tokens": 128000,
     "merge_size": 2,
     "min_frames": 4,
     "patch_size": 14,
@@ -51,7 +50,7 @@
     "rescale_factor": 0.00392156862745098,
     "return_metadata": false,
     "size": {
-      "longest_edge": 100352,
+      "longest_edge": 1003520,
       "shortest_edge": 50176
     },
     "temporal_patch_size": 2,

tokenizer_config.json

@@ -22,7 +22,7 @@
   ],
   "is_local": false,
   "local_files_only": false,
-  "max_pixels": 100352,
+  "max_pixels": 1003520,
   "min_pixels": 50176,
   "model_max_length": 131072,
   "pad_token": "<|endoftext|>",

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2d5002ac1d91b6a55120057071f1177f48685050ab3cc065907f39eb0ceb31ff
+oid sha256:d2e4482c1d43d1a7aec798143001e7972cd7a0f5a767d5da53f2cf051d81e8fc
 size 4792