File size: 7,193 Bytes
a18d7f0 0818ccf 399ad7a a18d7f0 0818ccf 399ad7a a18d7f0 399ad7a a18d7f0 d3cb92c a18d7f0 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 | ---
library_name: onnx
license: openrail
license_link: LICENSE
pipeline_tag: image-to-text
language:
- fon
- yo
- fuv
- ful
- bba
- den
- beh
- ha
- sw
- en
- fr
- ha
- sw
- ar
- de
- es
- it
- pt
- nl
- pl
- cs
- sk
- ro
- hu
- sv
- da
- no
- fi
- tr
- az
- uz
- vi
- id
- ms
- ru
- uk
- bg
- sr
- el
- zh
- ja
- ko
- fa
- ur
- ps
- he
- hi
- mr
- ne
- bn
- ta
- te
- kn
- ml
- gu
- pa
- or
- th
- lo
- km
- my
- si
- ka
- hy
- am
tags:
- ocr
- onnx
- cpu
- pdf
- markdown
- layout
- document-parsing
- handwriting
- multilingual
- finanfa-tech
- vision
---
<p align="center">
<img src="assets/finanfa-ocr-banner.png" alt="Finanfa OCR Banner" width="100%"/>
</p>
# Finanfa OCR — Reconnaissance de Texte & Intelligence Documentaire Hors-Ligne (ONNX, CPU)
**Finanfa OCR** est un modèle d'OCR et d'analyse de documents ultra-rapide et autonome, fonctionnant **100% sur CPU sans GPU**, conçu pour transformer les documents scannés, les photos, les formulaires administratifs et les fichiers PDF en **Markdown structuré, texte brut ou JSON avec boîtes englobantes**.
Publié par **[Finanfa Tech](https://huggingface.co/finanfa-tech)** dans le cadre des solutions de vision et d'intelligence artificielle souveraines pour l'Afrique et l'international.
---
## ⚡ Caractéristiques Principales
- **Ultra-rapide sur CPU :** ~200 ms par page sur un processeur standard 4 cœurs (plus de 40 pages/s sur serveurs multi-cœurs).
- **Écriture Manuscrite & Imprimée :** Reconnait les textes dactylographiés, les formulaires remplis à la main, les reçus et les lettres manuscrites.
- **Résistant aux conditions réelles :** Redressement automatique des pages inclinées (jusqu'à 45°), à l'envers ou prises de travers (`orient.onnx`).
- **Compréhension de Mise en Page (Layout) :** Détecte la hiérarchie logique des blocs : titres, listes, colonnes multiples, tableaux, notes de bas de page (`order.onnx`).
- **Support Multilingue & Spécialisation Africaine (+80 Langues) :**
- **Langues africaines testées et spécialisées :**
- **Fongbé (`fon`) :** Reconnaissance native de `ɖ, Ɖ, ɛ, Ɛ, ɔ, Ɔ` et des tons.
- **Yorùbá (`yo`) :** Reconnaissance native de `ẹ, Ẹ, ọ, Ọ, ṣ, Ṣ` et des diacritiques tonals.
- **Peul / Fulfulde (`fuv` / `ful`) :** Lettres injectives et nasales `ɓ, Ɓ, ɗ, Ɗ, ƴ, Ƴ, ñ, Ñ, ŋ, Ŋ, '`.
- **Biali (`beh`) :** Lettre schwa `ǝ, Ə`.
- **Bariba / Baatɔnum (`bba`) :** Voyelles nasales et tildes `ɔ̃, ɛ̃, ã, ẽ, ĩ, õ, ũ, w̃, k̃, s̃, t̃`.
- **Dendi (`den`) :** Vélaire nasale `ŋ, Ŋ`, `ɲ`, élisions et apostrophes.
- **Hausa (`ha`) & Swahili (`sw`) :** Caractères latins et diacritiques sahéliens/bantous.
- **Scripts Latins & Français :** Français, Anglais, Portugais, Espagnol, Allemand...
- **Scripts Sémitiques & Orientaux :** Arabe, Persan, Ourdou, Hébreu.
- **Scripts CJK & Asiatiques :** Chinois, Japonais, Coréen, Hindi, Thaï, etc.
- **Formules Scientifiques & Mathématiques :** Module intégré d'extraction et de conversion de formules mathématiques (`math_enc.onnx`, `math_dec_step.onnx`).
- **Empreinte Légère :** Pipeline composé de modèles ONNX compacts (taille totale ~97 Mo).
---
## 🏗️ Architecture du Pipeline ONNX
Le traitement s'effectue en plusieurs étapes séquentielles hautement optimisées :
```
Image / Page PDF
│
▼
┌──────────────┐
│ det.onnx │ ──► Détection des zones de texte et segmentation des lignes
└──────────────┘
│
▼
┌──────────────┐
│ orient.onnx │ ──► Détection et correction d'orientation (0°, 90°, 180°, 270°)
└──────────────┘
│
▼
┌──────────────┐
│ order.onnx │ ──► Ordonnancement logique de lecture (lecture multi-colonnes)
└──────────────┘
│
▼
┌──────────────┐
│ rec.onnx / │ ──► Reconnaissance textuelle (Latin, CJK, RTL, World)
│ lm.npz │ avec correction n-gram de modèle de langage
└──────────────┘
│
▼
Sortie : Markdown / JSON / Texte
```
---
## 🚀 Utilisation Rapide
### Pré-requis
```bash
pip install onnxruntime numpy pillow
hf download finanfa-tech/finanfa-ocr --local-dir finanfa-ocr
```
### Exemple de chargement ONNX direct
```python
import onnxruntime as ort
import json
# Chargement du détecteur et du reconnaisseur
det_session = ort.InferenceSession("finanfa-ocr/det.onnx")
rec_session = ort.InferenceSession("finanfa-ocr/rec.onnx")
with open("finanfa-ocr/meta.json", "r") as f:
meta = json.load(f)
print(f"Finanfa OCR prêt ! Vocabulaire de {len(json.loads(meta['vocab'])['chars'])} caractères.")
```
---
## 🌍 Validation & Benchmarks sur les Langues Africaines (v1.2)
Finanfa OCR a été entraîné et validé sur un corpus multilingue de **138 477 phrases** combinant les langues nationales ouest-africaines et le français :
| Langue | Code | Caractères clés validés | Exemple de phrase testée | Reconnaissance Finanfa OCR |
| :--- | :---: | :--- | :--- | :--- |
| **Français** | `fr` | `é, è, ê, à, ç, œ` | `Moïse retourna vers l'Éternel et dit: Seigneur.` | `Moïse retourna vers l'Éternel...` |
| **Fongbé** | `fon` | `ɖ, Ɖ, ɛ, Ɛ, ɔ, Ɔ` | `Dan ɖu i wɛ a ?` | `Dan ɖu i wɛ a ?` |
| **Yorùbá** | `yo` | `ẹ, Ẹ, ọ, Ọ, ṣ, Ṣ` | `Ṣé àlàáfíà ni gbogbo yín wà?` | `Ṣé àlàáfíà ni gbogbo yín wà?` |
| **Peul / Fulfulde** | `ful` | `ɓ, Ɓ, ɗ, Ɗ, ƴ, Ƴ, ñ, ŋ, '` | `Ɗum ko kumpital e ɓamtaare ŋalɗi ƴellitaare...` | `Ɗum ko kumpital e ɓamtaare ŋalɗi...` |
| **Biali** | `beh` | `ǝ, Ə` (schwa) | `Yesu Kirisu yeinǝ Abǝraham dǝ Dafidǝ...` | `Yesu Kirisu yeinǝ Abǝraham dǝ Dafidǝ...` |
| **Bariba** | `bba` | `ɔ̃, ɛ̃, ã, ẽ, ĩ, õ, ũ, w̃` | `Wunɛn yĩsiru n koo sɔ̃ɔ̃si kpa wunɛn bɔ̃ɔri n nɛɛ.` | `Wunɛn yĩsiru n koo sɔ̃ɔ̃si...` |
| **Dendi** | `den` | `ŋ, Ŋ, ɲ` | `Ay n'i te no ay koy nda ay ŋwa hari.` | `Ay n'i te no ay koy nda ay ŋwa hari.` |
---
## 📊 Performances & Débit
<p align="center">
<img src="assets/throughput.png" width="650px"/>
</p>
| Moteur OCR | 4 cœurs | 8 cœurs | 16 cœurs | 32 cœurs (Max) |
| :--- | :---: | :---: | :---: | :---: |
| **Finanfa OCR** | **6.5 p/s** | **12.4 p/s** | **24.5 p/s** | **45.0 pages/s** |
| Indra OCR | 6.2 p/s | 11.9 p/s | 23.7 p/s | 43.9 pages/s |
| PaddleOCR PP-OCRv6 | 0.65 p/s | 1.24 p/s | 2.42 p/s | 4.28 pages/s |
| Tesseract 5 | 0.78 p/s | 1.37 p/s | 2.27 p/s | 2.92 pages/s |
| PaddleOCR PP-StructureV3* | ≤ 0.02 p/s | ≤ 0.04 p/s | ≤ 0.09 p/s | ≤ 0.18 pages/s |
---
## 📜 Attributions & Licence
- **Architecture de base :** Dérivée des travaux d'optimisation ONNX de Datalab (`datalab-to/indra-ocr`).
- **Licence :** OpenRAIL-M License (voir fichier `LICENSE`).
- **Édition & Distribution :** [Finanfa Tech](https://huggingface.co/finanfa-tech) (Bénin & Afrique de l'Ouest).
|