File size: 7,193 Bytes
a18d7f0
 
 
 
 
 
0818ccf
 
399ad7a
 
 
 
 
 
 
a18d7f0
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
0818ccf
399ad7a
 
 
 
 
 
 
 
a18d7f0
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
399ad7a
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
a18d7f0
 
 
 
 
 
d3cb92c
 
 
 
 
 
 
a18d7f0
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
---
library_name: onnx
license: openrail
license_link: LICENSE
pipeline_tag: image-to-text
language:
- fon
- yo
- fuv
- ful
- bba
- den
- beh
- ha
- sw
- en
- fr
- ha
- sw
- ar
- de
- es
- it
- pt
- nl
- pl
- cs
- sk
- ro
- hu
- sv
- da
- no
- fi
- tr
- az
- uz
- vi
- id
- ms
- ru
- uk
- bg
- sr
- el
- zh
- ja
- ko
- fa
- ur
- ps
- he
- hi
- mr
- ne
- bn
- ta
- te
- kn
- ml
- gu
- pa
- or
- th
- lo
- km
- my
- si
- ka
- hy
- am
tags:
- ocr
- onnx
- cpu
- pdf
- markdown
- layout
- document-parsing
- handwriting
- multilingual
- finanfa-tech
- vision
---

<p align="center">
  <img src="assets/finanfa-ocr-banner.png" alt="Finanfa OCR Banner" width="100%"/>
</p>

# Finanfa OCR — Reconnaissance de Texte & Intelligence Documentaire Hors-Ligne (ONNX, CPU)

**Finanfa OCR** est un modèle d'OCR et d'analyse de documents ultra-rapide et autonome, fonctionnant **100% sur CPU sans GPU**, conçu pour transformer les documents scannés, les photos, les formulaires administratifs et les fichiers PDF en **Markdown structuré, texte brut ou JSON avec boîtes englobantes**.

Publié par **[Finanfa Tech](https://huggingface.co/finanfa-tech)** dans le cadre des solutions de vision et d'intelligence artificielle souveraines pour l'Afrique et l'international.

---

## ⚡ Caractéristiques Principales

- **Ultra-rapide sur CPU :** ~200 ms par page sur un processeur standard 4 cœurs (plus de 40 pages/s sur serveurs multi-cœurs).
- **Écriture Manuscrite & Imprimée :** Reconnait les textes dactylographiés, les formulaires remplis à la main, les reçus et les lettres manuscrites.
- **Résistant aux conditions réelles :** Redressement automatique des pages inclinées (jusqu'à 45°), à l'envers ou prises de travers (`orient.onnx`).
- **Compréhension de Mise en Page (Layout) :** Détecte la hiérarchie logique des blocs : titres, listes, colonnes multiples, tableaux, notes de bas de page (`order.onnx`).
- **Support Multilingue & Spécialisation Africaine (+80 Langues) :**
  - **Langues africaines testées et spécialisées :**
    - **Fongbé (`fon`) :** Reconnaissance native de `ɖ, Ɖ, ɛ, Ɛ, ɔ, Ɔ` et des tons.
    - **Yorùbá (`yo`) :** Reconnaissance native de `ẹ, Ẹ, ọ, Ọ, ṣ, Ṣ` et des diacritiques tonals.
    - **Peul / Fulfulde (`fuv` / `ful`) :** Lettres injectives et nasales `ɓ, Ɓ, ɗ, Ɗ, ƴ, Ƴ, ñ, Ñ, ŋ, Ŋ, '`.
    - **Biali (`beh`) :** Lettre schwa `ǝ, Ə`.
    - **Bariba / Baatɔnum (`bba`) :** Voyelles nasales et tildes `ɔ̃, ɛ̃, ã, ẽ, ĩ, õ, ũ, w̃, k̃, s̃, t̃`.
    - **Dendi (`den`) :** Vélaire nasale `ŋ, Ŋ`, `ɲ`, élisions et apostrophes.
    - **Hausa (`ha`) & Swahili (`sw`) :** Caractères latins et diacritiques sahéliens/bantous.
  - **Scripts Latins & Français :** Français, Anglais, Portugais, Espagnol, Allemand...
  - **Scripts Sémitiques & Orientaux :** Arabe, Persan, Ourdou, Hébreu.
  - **Scripts CJK & Asiatiques :** Chinois, Japonais, Coréen, Hindi, Thaï, etc.
- **Formules Scientifiques & Mathématiques :** Module intégré d'extraction et de conversion de formules mathématiques (`math_enc.onnx`, `math_dec_step.onnx`).
- **Empreinte Légère :** Pipeline composé de modèles ONNX compacts (taille totale ~97 Mo).

---

## 🏗️ Architecture du Pipeline ONNX

Le traitement s'effectue en plusieurs étapes séquentielles hautement optimisées :

```
Image / Page PDF
      │
      ▼
┌──────────────┐
│  det.onnx    │ ──► Détection des zones de texte et segmentation des lignes
└──────────────┘
      │
      ▼
┌──────────────┐
│ orient.onnx  │ ──► Détection et correction d'orientation (0°, 90°, 180°, 270°)
└──────────────┘
      │
      ▼
┌──────────────┐
│  order.onnx  │ ──► Ordonnancement logique de lecture (lecture multi-colonnes)
└──────────────┘
      │
      ▼
┌──────────────┐
│  rec.onnx /  │ ──► Reconnaissance textuelle (Latin, CJK, RTL, World)
│  lm.npz      │     avec correction n-gram de modèle de langage
└──────────────┘
      │
      ▼
Sortie : Markdown / JSON / Texte
```

---

## 🚀 Utilisation Rapide

### Pré-requis
```bash
pip install onnxruntime numpy pillow
hf download finanfa-tech/finanfa-ocr --local-dir finanfa-ocr
```

### Exemple de chargement ONNX direct
```python
import onnxruntime as ort
import json

# Chargement du détecteur et du reconnaisseur
det_session = ort.InferenceSession("finanfa-ocr/det.onnx")
rec_session = ort.InferenceSession("finanfa-ocr/rec.onnx")

with open("finanfa-ocr/meta.json", "r") as f:
    meta = json.load(f)

print(f"Finanfa OCR prêt ! Vocabulaire de {len(json.loads(meta['vocab'])['chars'])} caractères.")
```

---

## 🌍 Validation & Benchmarks sur les Langues Africaines (v1.2)

Finanfa OCR a été entraîné et validé sur un corpus multilingue de **138 477 phrases** combinant les langues nationales ouest-africaines et le français :

| Langue | Code | Caractères clés validés | Exemple de phrase testée | Reconnaissance Finanfa OCR |
| :--- | :---: | :--- | :--- | :--- |
| **Français** | `fr` | `é, è, ê, à, ç, œ` | `Moïse retourna vers l'Éternel et dit: Seigneur.` | `Moïse retourna vers l'Éternel...` |
| **Fongbé** | `fon` | `ɖ, Ɖ, ɛ, Ɛ, ɔ, Ɔ` | `Dan ɖu i wɛ a ?` | `Dan ɖu i wɛ a ?` |
| **Yorùbá** | `yo` | `ẹ, Ẹ, ọ, Ọ, ṣ, Ṣ` | `Ṣé àlàáfíà ni gbogbo yín wà?` | `Ṣé àlàáfíà ni gbogbo yín wà?` |
| **Peul / Fulfulde** | `ful` | `ɓ, Ɓ, ɗ, Ɗ, ƴ, Ƴ, ñ, ŋ, '` | `Ɗum ko kumpital e ɓamtaare ŋalɗi ƴellitaare...` | `Ɗum ko kumpital e ɓamtaare ŋalɗi...` |
| **Biali** | `beh` | `ǝ, Ə` (schwa) | `Yesu Kirisu yeinǝ Abǝraham dǝ Dafidǝ...` | `Yesu Kirisu yeinǝ Abǝraham dǝ Dafidǝ...` |
| **Bariba** | `bba` | `ɔ̃, ɛ̃, ã, ẽ, ĩ, õ, ũ, w̃` | `Wunɛn yĩsiru n koo sɔ̃ɔ̃si kpa wunɛn bɔ̃ɔri n nɛɛ.` | `Wunɛn yĩsiru n koo sɔ̃ɔ̃si...` |
| **Dendi** | `den` | `ŋ, Ŋ, ɲ` | `Ay n'i te no ay koy nda ay ŋwa hari.` | `Ay n'i te no ay koy nda ay ŋwa hari.` |

---

## 📊 Performances & Débit

<p align="center">
  <img src="assets/throughput.png" width="650px"/>
</p>

| Moteur OCR | 4 cœurs | 8 cœurs | 16 cœurs | 32 cœurs (Max) |
| :--- | :---: | :---: | :---: | :---: |
| **Finanfa OCR** | **6.5 p/s** | **12.4 p/s** | **24.5 p/s** | **45.0 pages/s** |
| Indra OCR | 6.2 p/s | 11.9 p/s | 23.7 p/s | 43.9 pages/s |
| PaddleOCR PP-OCRv6 | 0.65 p/s | 1.24 p/s | 2.42 p/s | 4.28 pages/s |
| Tesseract 5 | 0.78 p/s | 1.37 p/s | 2.27 p/s | 2.92 pages/s |
| PaddleOCR PP-StructureV3* | ≤ 0.02 p/s | ≤ 0.04 p/s | ≤ 0.09 p/s | ≤ 0.18 pages/s |

---

## 📜 Attributions & Licence
- **Architecture de base :** Dérivée des travaux d'optimisation ONNX de Datalab (`datalab-to/indra-ocr`).
- **Licence :** OpenRAIL-M License (voir fichier `LICENSE`).
- **Édition & Distribution :** [Finanfa Tech](https://huggingface.co/finanfa-tech) (Bénin & Afrique de l'Ouest).