Image-to-Text
PEFT
Safetensors
Portuguese
English
vision-language
table-extraction
scientific-figures
markdown-table
lightonocr
qwen2.5-vl
qwen3-vl
lora
icdar-metric-loss
Instructions to use lucasoc/sci-image-models with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- PEFT
How to use lucasoc/sci-image-models with PEFT:
from peft import PeftModel from transformers import AutoModelForCausalLM base_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-VL-3B-Instruct") model = PeftModel.from_pretrained(base_model, "lucasoc/sci-image-models") - Notebooks
- Google Colab
- Kaggle
docs: add comprehensive failure analysis and error diagnostics for 7B model
Browse files- docs/DIAGNOSTICO_ERROS_7B.md +151 -0
docs/DIAGNOSTICO_ERROS_7B.md
ADDED
|
@@ -0,0 +1,151 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# Diagnóstico Detalhado das Piores Falhas do Modelo (Qwen2.5-VL-7B)
|
| 2 |
+
|
| 3 |
+
> **Documento de Engenharia e Análise de Erros**
|
| 4 |
+
> **Benchmark:** [SciKnowOrg/Sci-ImageMiner](https://huggingface.co/datasets/SciKnowOrg/Sci-ImageMiner) — Tarefa 2: Extração de Tabelas Científicas
|
| 5 |
+
> **Conjunto de Teste:** 373 figuras científicas independentes
|
| 6 |
+
> **Modelo Analisado:** `Qwen2.5-VL-7B-Instruct` com LoRA + ICDAR Metric-Aware Loss
|
| 7 |
+
|
| 8 |
+
---
|
| 9 |
+
|
| 10 |
+
## 1. Visão Geral da Distribuição de Erros
|
| 11 |
+
|
| 12 |
+
A análise empírica sobre as 373 predições revelou que o modelo possui alta consistência sintática (**99,73% de tabelas válidas**), mas suas falhas residuais concentram-se em **5 modos principais**:
|
| 13 |
+
|
| 14 |
+
```mermaid
|
| 15 |
+
pie title Distribuição das Fontes de Falha no Conjunto de Teste
|
| 16 |
+
"Divergência de Séries/Colunas (Déficit/Excesso)" : 44.8
|
| 17 |
+
"Amostragem de Linhas (Over/Under-sampling)" : 37.0
|
| 18 |
+
"Desalinhamento Semântico de Cabeçalhos" : 33.2
|
| 19 |
+
"Escala e Ordens de Magnitude (x10³, %)" : 16.1
|
| 20 |
+
"Picos Físicos vs Grade Regular" : 12.5
|
| 21 |
+
"Figuras de Simulação / Texto no GT" : 5.9
|
| 22 |
+
```
|
| 23 |
+
|
| 24 |
+
---
|
| 25 |
+
|
| 26 |
+
## 2. Análise Caso a Caso: Os Piores Exemplos
|
| 27 |
+
|
| 28 |
+
---
|
| 29 |
+
|
| 30 |
+
### Caso 1: Alucinação de Grade Linear vs. Picos Físicos (Maior Erro Numérico)
|
| 31 |
+
|
| 32 |
+
* **Amostra:** `Amostra 66`
|
| 33 |
+
* **Imagem:** `sci_imageminer__atomic_layer_deposition__experimental_usecase__3__figure_2.jpg`
|
| 34 |
+
* **Métricas do Caso:** `ICDAR Score: 0.3107` | `Cell RMSE: 37.19` | `Recall: 50.0%` | `Colunas: 2 vs 3`
|
| 35 |
+
|
| 36 |
+
#### Comparativo Ground Truth vs. Predição:
|
| 37 |
+
|
| 38 |
+
| Ground Truth (Referência) | Predição do Modelo (Qwen2.5-VL-7B) |
|
| 39 |
+
| :--- | :--- |
|
| 40 |
+
| ```markdown<br>\| Energy (MeV) \| Counts \| Assignment \|<br>\|---|---|---|<br>\| 0 \| 0 \| - \|<br>\| 0.098 \| 1273 \| Carbon Substrate \|<br>\| 0.46 \| 443 \| Carbon Substrate \|<br>\| 0.7 \| 318 \| Oxygen \|<br>\| 1.65 \| 3987 \| Zirconium \|<br>\| 2 \| 0 \| - \|<br>``` | ```markdown<br>\| Energy (MeV) \| Counts \|<br>\|---|---|<br>\| 0.1 \| 500 \|<br>\| 0.2 \| 700 \|<br>\| 0.3 \| 900 \|<br>\| 0.4 \| 1100 \|<br>\| 0.5 \| 1300 \|<br>\| 0.6 \| 1500 \|<br>\| ... \| ... \|<br>\| 1.3 \| 2900 \|<br>``` |
|
| 41 |
+
|
| 42 |
+
#### 🔍 Diagnóstico e Causa Raiz:
|
| 43 |
+
1. **Espectro de Retroespalhamento (RBS):** O gráfico exibe um espectro contínuo com picos finos característicos de cada elemento químico ($C, O, Zr$).
|
| 44 |
+
2. **Falha do Modelo:** Em vez de realizar *Peak-Picking* (localizar a coordenada do pico em $1.65\text{ MeV} \rightarrow 3987\text{ counts}$), o modelo **alucinou uma interpolação linear perfeitamente regular** ($0.1, 0.2, 0.3...$ e $500, 700, 900...$).
|
| 45 |
+
3. **Omissão:** Perdeu a coluna qualitativa `| Assignment |` que identificava os elementos químicos.
|
| 46 |
+
|
| 47 |
+
---
|
| 48 |
+
|
| 49 |
+
### Caso 2: Colapso de Séries em Espectro Raman Multi-Amostras
|
| 50 |
+
|
| 51 |
+
* **Amostra:** `Amostra 176`
|
| 52 |
+
* **Imagem:** `sci_imageminer__atomic_layer_deposition__simulation_usecase__33__figure_6.jpg`
|
| 53 |
+
* **Métricas do Caso:** `ICDAR Score: 0.3476` | `Cell RMSE: 50.99` | `Recall: 20.0%` | `Linhas: 3 vs 4`
|
| 54 |
+
|
| 55 |
+
#### Comparativo Ground Truth vs. Predição:
|
| 56 |
+
|
| 57 |
+
| Ground Truth (Referência) | Predição do Modelo (Qwen2.5-VL-7B) |
|
| 58 |
+
| :--- | :--- |
|
| 59 |
+
| ```markdown<br>\| Raman Shift, cm⁻¹ \| Peak \| Pristine \| H₂ Plasma \| 200°C Anneal \| 400°C Anneal \|<br>\|---|---|---|---|---|---|<br>\| 1350 \| D \| 0.05 \| 0.15 \| 0.12 \| 0.08 \|<br>\| 1580 \| G \| 0.55 \| 0.70 \| 0.75 \| 0.80 \|<br>\| 2450 \| D+D' \| 0.05 \| 0.08 \| 0.06 \| 0.05 \|<br>\| 2700 \| 2D \| 1.00 \| 0.45 \| 0.50 \| 0.55 \|<br>``` | ```markdown<br>\| Raman Shift (cm⁻¹) \| Pristine \| H₂ Plasma \| 200°C Anneal \| 400°C Anneal \|<br>\|---|---|---|---|---|<br>\| 1200 \| 0.0 \| 0.0 \| 0.0 \| 0.0 \|<br>\| 1600 \| 0.0 \| 0.5 \| 1.0 \| 1.5 \|<br>\| 2800 \| 0.0 \| 0.0 \| 0.0 \| 2.5 \|<br>``` |
|
| 60 |
+
|
| 61 |
+
#### 🔍 Diagnóstico e Causa Raiz:
|
| 62 |
+
1. **Leitura de Ticks em vez de Bandas Espectrais:** O modelo leu as marcas de grade de 400 em 400 cm⁻¹ ($1200, 1600, 2800$) em vez das posições físicas clássicas do grafeno ($1350\text{ cm}^{-1}$ Banda D, $1580\text{ cm}^{-1}$ Banda G, $2700\text{ cm}^{-1}$ Banda 2D).
|
| 63 |
+
2. **Escala Hallucinada:** Em $2800\text{ cm}^{-1}$, o modelo estimou a intensidade em `2.5`, enquanto a escala normalizada da figura ia apenas até `1.0`.
|
| 64 |
+
|
| 65 |
+
---
|
| 66 |
+
|
| 67 |
+
### Caso 3: Inversão de Formato (Pivotação Long vs. Wide) e Notação com Til (`~`)
|
| 68 |
+
|
| 69 |
+
* **Amostra:** `Amostra 37`
|
| 70 |
+
* **Imagem:** `sci_imageminer__atomic_layer_deposition__experimental_usecase__20__fig_6.jpg`
|
| 71 |
+
* **Métricas do Caso:** `ICDAR Score: 0.0430` | `TEDS: 0.0518` | `Recall: 3.3%`
|
| 72 |
+
|
| 73 |
+
#### Comparativo Ground Truth vs. Predição:
|
| 74 |
+
|
| 75 |
+
| Ground Truth (Tabela Longa / Tidy) | Predição do Modelo (Tabela Larga / Pivotada) |
|
| 76 |
+
| :--- | :--- |
|
| 77 |
+
| ```markdown<br>\| Species \| Pulse time (s) \| Depth (nm) \| Intensity (counts/second) \|<br>\|---|---|---|---|<br>\| La-138 \| 12 \| 2.85 \| 240 \|<br>\| La-138 \| 12 \| 20.4 \| 369 \|<br>\| La-138 \| 12 \| 95.1 \| 376 \|<br>\| La-138 \| 8 \| 2.85 \| 241 \|<br>\| La-138 \| 8 \| 18.9 \| 362 \|<br>... (50 linhas no total)<br>``` | ```markdown<br>\| Depth (nm) \| 12 s \| 8 s \| 2 s \|<br>\|---|---|---|---|<br>\| 0 \| ~10^7 \| ~10^6 \| ~10^5 \|<br>\| 20 \| ~10^7 \| ~10^6 \| ~10^5 \|<br>\| 40 \| ~10^7 \| ~10^6 \| ~10^5 \|<br>\| 60 \| ~10^7 \| ~10^6 \| ~10^5 \|<br>\| 80 \| ~10^7 \| ~10^6 \| ~10^5 \|<br>\| 100 \| ~10^7 \| ~10^6 \| ~10^5 \|<br>``` |
|
| 78 |
+
|
| 79 |
+
#### 🔍 Diagnóstico e Causa Raiz:
|
| 80 |
+
1. **Divergência de Paradigma de Tabela:** O modelo realizou uma **pivotação inteligente** (transformou cada tempo de pulso `12 s, 8 s, 2 s` em uma coluna). Cientificamente, isso é perfeitamente legível, mas para o avaliador ICDAR (que compara célula a célula no formato longo), o casamento foi destruído (TEDS caiu para 5%).
|
| 81 |
+
2. **Uso de Caracteres Qualitativos (`~` e `10^n`):** O modelo inseriu tildes (`~10^7`) para indicar estimativa visual. O parser numérico não conseguiu converter a string `~10^7` para float puro, zerando o recall numérico.
|
| 82 |
+
|
| 83 |
+
---
|
| 84 |
+
|
| 85 |
+
### Caso 4: Negligência de Multi-Painéis (Subplots Separados)
|
| 86 |
+
|
| 87 |
+
* **Amostra:** `Amostra 105`
|
| 88 |
+
* **Imagem:** `sci_imageminer__atomic_layer_deposition__experimental_usecase__62__fig_4.jpg`
|
| 89 |
+
* **Métricas do Caso:** `ICDAR Score: 0.3528` | `Recall: 50.0%` | `Colunas: 2 vs 5`
|
| 90 |
+
|
| 91 |
+
#### Comparativo Ground Truth vs. Predição:
|
| 92 |
+
|
| 93 |
+
| Ground Truth (2 Tabelas: Painel A e Painel B) | Predição do Modelo (Apenas Painel A) |
|
| 94 |
+
| :--- | :--- |
|
| 95 |
+
| **Tabela 1 (Espectro OES):**<br>```markdown<br>\| Wavelength (nm) \| Intensity O2 \| Intensity O2 ALD \|<br>\| 360-400 \| - \| CN range \|<br>\| 780 \| O peak \| O peak \|<br>```<br><br>**Tabela 2 (Evolução Temporal):**<br>```markdown<br>\| Time (s) \| Intensity O \| Intensity H \| Intensity CO \|<br>\| 0 \| 0 \| 0 \| 0 \|<br>\| 1 \| 200 \| 200 \| 100 \|<br>\| 2 \| 260 \| 80 \| 50 \|<br>``` | ```markdown<br>\| Wavelength (nm) \| Intensity (a.u.) \|<br>\|---|---|<br>\| 300 \| 0 \|<br>\| 400 \| 100 \|<br>\| 500 \| 200 \|<br>\| 600 \| 300 \|<br>\| 700 \| 400 \|<br>\| 800 \| 500 \|<br>``` |
|
| 96 |
+
|
| 97 |
+
#### 🔍 Diagnóstico e Causa Raiz:
|
| 98 |
+
1. **Ignorou o Painel (b):** A figura científica continha dois subplots lado a lado. O Ground Truth possui duas tabelas Markdown separadas por quebra dupla de linha.
|
| 99 |
+
2. **Early Stopping:** O modelo parou a geração após completar a primeira tabela, omitindo integralmente toda a segunda tabela de evolução temporal.
|
| 100 |
+
|
| 101 |
+
---
|
| 102 |
+
|
| 103 |
+
### Caso 5: Sub-amostragem Brutal em Curvas Experimentais Densas
|
| 104 |
+
|
| 105 |
+
* **Amostra:** `Amostra 8`
|
| 106 |
+
* **Imagem:** `sci_imageminer__atomic_layer_deposition__experimental_usecase__1__figure_8.jpg`
|
| 107 |
+
* **Métricas do Caso:** `ICDAR Score: 0.0108` | `TEDS: 0.0143` | `Linhas: 6 vs 274` | `Colunas: 2 vs 4`
|
| 108 |
+
|
| 109 |
+
#### Comparativo Ground Truth vs. Predição:
|
| 110 |
+
|
| 111 |
+
| Ground Truth (Difratograma Contínuo com 274 pontos) | Predição do Modelo (Resumo em 6 pontos) |
|
| 112 |
+
| :--- | :--- |
|
| 113 |
+
| ```markdown<br>\| Temperature (°C) \| Source \| θ (degrees) \| Intensity (a.u.) \|<br>\|---|---|---|---|<br>\| 33 \| Experimental \| 0.05 \| 27685.57 \|<br>\| 33 \| Experimental \| 0.21 \| 118369.40 \|<br>\| 33 \| Experimental \| 0.27 \| 7090.95 \|<br>... (274 linhas de varredura angular contínua)<br>``` | ```markdown<br>\| Temperature (°C) \| Intensity (a.u.) \|<br>\|---|---|<br>\| 33 \| ~0.5 \|<br>\| 58 \| ~0.4 \|<br>\| 80 \| ~0.3 \|<br>\| 102 \| ~0.25 \|<br>\| 125 \| ~0.2 \|<br>\| 177 \| ~0.15 \|<br>``` |
|
| 114 |
+
|
| 115 |
+
#### 🔍 Diagnóstico e Causa Raiz:
|
| 116 |
+
1. **Confusão de Grandezas:** O gráfico exibia curvas de difração de raios-X em função do ângulo $\theta$ para diferentes temperaturas ($33^\circ\text{C}, 58^\circ\text{C}, 80^\circ\text{C}$). O modelo usou a temperatura como se fosse o eixo X em vez do ângulo $\theta$!
|
| 117 |
+
2. **Colapso de Resolução:** Gerou apenas 6 linhas em vez de digitalizar a curva contínua.
|
| 118 |
+
|
| 119 |
+
---
|
| 120 |
+
|
| 121 |
+
## 3. Plano de Ação: O que Podemos Melhorar
|
| 122 |
+
|
| 123 |
+
Abaixo está o roteiro de melhorias práticas com base no diagnóstico:
|
| 124 |
+
|
| 125 |
+
```mermaid
|
| 126 |
+
graph TD
|
| 127 |
+
A["Falhas Identificadas no 7B"] --> B["1. Engenharia de Prompt"]
|
| 128 |
+
A --> C["2. Pós-Processamento e Sanitização"]
|
| 129 |
+
A --> D["3. Refinamento de Dados e Treinamento"]
|
| 130 |
+
|
| 131 |
+
B --> B1["Instruir busca de Picos Físicos<br/>em vez de ticks regulares"]
|
| 132 |
+
B --> B2["Instruir extração exaustiva de<br/>Multi-painéis (Painel a, b, c)"]
|
| 133 |
+
B --> B3["Proibir símbolos de aproximação (~, aprox)"]
|
| 134 |
+
|
| 135 |
+
C --> C1["Strip de caracteres não numéricos (~, 10^x)"]
|
| 136 |
+
C --> C2["Auto-detecção de potências nos cabeçalhos"]
|
| 137 |
+
|
| 138 |
+
D --> D1["Aumento de dados com Espectros Raman e RBS"]
|
| 139 |
+
D --> D2["Loss penalizando tabelas únicas<br/>quando houver múltiplos subplots"]
|
| 140 |
+
```
|
| 141 |
+
|
| 142 |
+
### Ações Imediatas Recomendadas:
|
| 143 |
+
|
| 144 |
+
1. **Higienização do Prompt do Sistema (`system_prompt`):**
|
| 145 |
+
* *Adicionar:* `"Extract all panels if the figure contains multiple subplots. Do not sample arbitrary regular intervals on continuous spectra; locate and extract labeled physical peaks and extrema. Output raw numeric values only without approximate symbols (~, approx)."`
|
| 146 |
+
2. **Sanitizador Numérico no Pipeline de Avaliação:**
|
| 147 |
+
* Tratar strings como `~0.5` $\rightarrow$ converter automaticamente para `0.5`.
|
| 148 |
+
* Tratar notações como `10^6` $\rightarrow$ converter para `1000000.0`.
|
| 149 |
+
* Essa simples limpeza deve resgatar até **+3 a +5 pp** de Cell Recall imediatamente.
|
| 150 |
+
3. **Detecção e Multiplicação de Potências de Escala:**
|
| 151 |
+
* Se o cabeçalho contiver `(x 10^3)` ou `(10³)`, aplicar multiplicação no pós-processamento antes de comparar com o Ground Truth.
|