Image-to-Text
PEFT
Safetensors
Portuguese
English
vision-language
table-extraction
scientific-figures
markdown-table
lightonocr
qwen2.5-vl
qwen3-vl
lora
icdar-metric-loss
Instructions to use lucasoc/sci-image-models with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- PEFT
How to use lucasoc/sci-image-models with PEFT:
from peft import PeftModel from transformers import AutoModelForCausalLM base_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-VL-3B-Instruct") model = PeftModel.from_pretrained(base_model, "lucasoc/sci-image-models") - Notebooks
- Google Colab
- Kaggle
docs: adiciona tempo de treinamento e hardware a tabela comparativa
Browse files
README.md
CHANGED
|
@@ -31,16 +31,16 @@ Este modelo foi otimizado com a funcao de perda **ICDAR Metric-Aware Loss** (com
|
|
| 31 |
|
| 32 |
---
|
| 33 |
|
| 34 |
-
##
|
| 35 |
|
| 36 |
Diferente de pipelines tradicionais que reduzem ou distorcem as figuras cientificas, este modelo foi treinado preservando a **resolucao vetorial nativa integral** das imagens.
|
| 37 |
|
| 38 |
-
| Modo / Resolucao | Resolucao Maxima | Grid de Patches de Visao | **VRAM Media Alocada** | VRAM Pico |
|
| 39 |
-
| :--- | :---: | :---: | :---: | :---: |
|
| 40 |
-
| **Resolucao Reduzida (Baseline)** | 280 px (Downsampling PIL) | ~392x392 max | **~5,2 GB** | ~6,1 GB |
|
| 41 |
-
| **Resolucao Original Nativa (Este Modelo)** | **Original (Sem downsampling)** | **Ate 1003520 pixels (~1 MP)** | **~17,2 GB** | **~18,5 GB** |
|
| 42 |
|
| 43 |
-
> **Nota de Hardware:** O treinamento em resolucao original
|
| 44 |
|
| 45 |
---
|
| 46 |
|
|
@@ -175,4 +175,5 @@ print(output_text)
|
|
| 175 |
- **Otimizador:** `paged_adamw_8bit` com *Cosine Annealing* e taxa de aprendizado $1 \times 10^{-4}$
|
| 176 |
- **Funcao de Perda:** ICDAR Metric-Aware Loss com surrogate diferenciavel para metricas de tabela
|
| 177 |
- **Hardware:** NVIDIA GeForce RTX 3090 (24 GB VRAM)
|
|
|
|
| 178 |
- **Codigo Fonte:** [sci-image-markdown](https://github.com/lucasdocunha/sci-image-markdown)
|
|
|
|
| 31 |
|
| 32 |
---
|
| 33 |
|
| 34 |
+
## Recursos de Treinamento, Tempo e Memoria VRAM
|
| 35 |
|
| 36 |
Diferente de pipelines tradicionais que reduzem ou distorcem as figuras cientificas, este modelo foi treinado preservando a **resolucao vetorial nativa integral** das imagens.
|
| 37 |
|
| 38 |
+
| Modo / Resolucao | Resolucao Maxima | Grid de Patches de Visao | Tempo de Treino (3 Epocas) | **VRAM Media Alocada** | VRAM Pico |
|
| 39 |
+
| :--- | :---: | :---: | :---: | :---: | :---: |
|
| 40 |
+
| **Resolucao Reduzida (Baseline)** | 280 px (Downsampling PIL) | ~392x392 max | ~28 min (~1.680s) | **~5,2 GB** | ~6,1 GB |
|
| 41 |
+
| **Resolucao Original Nativa (Este Modelo)** | **Original (Sem downsampling)** | **Ate 1003520 pixels (~1 MP)** | **1h 38m 57s (5.937s)** | **~17,2 GB** | **~18,5 GB** |
|
| 42 |
|
| 43 |
+
> **Nota de Hardware e Eficiencia:** O treinamento em resolucao original levou **1h 38m 57s (5.937 segundos)** em uma **NVIDIA GeForce RTX 3090 (24 GB VRAM)** utilizando quantizacao **4-bit NF4 (QLoRA)**, otimizador `paged_adamw_8bit` e *Gradient Checkpointing*. O aumento no tempo e no uso de memoria decorre do processamento de ate ~1.280 patches visuais por figura (contra ~100 patches no baseline), garantindo resolucao nativa para capturar cada detalhe numerico.
|
| 44 |
|
| 45 |
---
|
| 46 |
|
|
|
|
| 175 |
- **Otimizador:** `paged_adamw_8bit` com *Cosine Annealing* e taxa de aprendizado $1 \times 10^{-4}$
|
| 176 |
- **Funcao de Perda:** ICDAR Metric-Aware Loss com surrogate diferenciavel para metricas de tabela
|
| 177 |
- **Hardware:** NVIDIA GeForce RTX 3090 (24 GB VRAM)
|
| 178 |
+
- **Tempo de Treinamento:** 1 hora, 38 minutos e 57 segundos (5.937 segundos totais para 3 epocas, 273 passos)
|
| 179 |
- **Codigo Fonte:** [sci-image-markdown](https://github.com/lucasdocunha/sci-image-markdown)
|