File size: 3,364 Bytes
1f36883
 
 
 
 
 
655be6a
1f36883
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
655be6a
1f36883
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
655be6a
1f36883
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
---
title: Servico de Extracao e Transcricao
emoji: 📄
colorFrom: blue
colorTo: indigo
sdk: docker
app_port: 
pinned: false
---
## Introdução

API em FastAPI com dois endpoints:

- `POST /extract-text` — recebe PDF, JPG ou PNG e devolve o texto contido (cru, sem tratamento).
- `POST /transcribe` — recebe audio (ogg/opus do WhatsApp, mp3, m4a, wav...) e devolve a transcricao em PT-BR.

A inferencia fica isolada atras de uma interface, entao rodar local hoje e na nuvem depois e questao de deploy e configuracao, nao de reescrita.

## Estrutura

app/
  main.py                  # monta o FastAPI, carrega os modelos no boot
  config.py                # configuracao por env (flags das decisoes adiadas)
  api/
    deps.py                # injecao de dependencia
    routes_text.py         # /extract-text
    routes_audio.py        # /transcribe
  domain/
    transcriber.py         # interface Transcriber (o contrato)
    extractor.py           # interface TextExtractor (o contrato)
  infra/
    factory.py             # escolhe a implementacao pela config
    local_transcriber.py   # faster-whisper (hoje)
    local_extractor.py     # Tesseract + PyMuPDF (hoje)
  services/
    files.py               # upload -> arquivo temporario, limpeza
    detect.py              # tipo do arquivo por magic bytes
    audio_utils.py         # ffmpeg: normaliza audio -> wav 16k mono
    pdf_utils.py           # camada de texto vs. OCR, pagina a pagina
    ocr.py                 # Tesseract


## Rodando local

Pre-requisitos de sistema: `ffmpeg` e `tesseract-ocr` com o idioma portugues (`tesseract-ocr-por`).


# Ubuntu/Debian
sudo apt install ffmpeg tesseract-ocr tesseract-ocr-por

python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
cp .env.example .env

uvicorn app.main:app --reload

Testando:

curl -F "file=@documento.pdf"  http://localhost:8000/extract-text
curl -F "file=@audio.opus"     http://localhost:8000/transcribe

Docs interativas em `http://localhost:8000/docs`.

## Docker


docker build -t extracao-transcricao .
docker run -p 8000:8000 extracao-transcricao

## As duas decisoes que ficaram para depois

Nenhuma exige tocar nas rotas ou na logica de upload.

**Self-managed vs. gerenciado** — campo `APP_ASR_BACKEND` / `APP_OCR_BACKEND`. Hoje e `local`. Para migrar, escreva uma classe adaptadora nova em `infra/` que implemente o mesmo metodo (`transcribe` ou `extract`), registre-a na `factory.py` e troque a env var.

**GPU vs. CPU** — campo `APP_DEVICE` (`cpu` ou `cuda`). Em GPU, ajuste tambem `APP_ASR_COMPUTE_TYPE` para `float16`. O codigo e o mesmo; muda so a config e o alvo de deploy.

## Notas para producao

- **Pesos do modelo:** evite baixar do HF Hub em runtime. Descomente a linha de pre-download no `Dockerfile` para embuti-los na imagem (cold start menor, sem chamada de saida).
- **Perfis de compute distintos:** o OCR e leve (CPU) e a transcricao e pesada (pode querer GPU). Da para separar os dois em deployments independentes e escalar cada um sozinho.
- **Carga:** para volume alto ou arquivos grandes, processe a inferencia em fila/worker em vez de inline na requisicao.
- **Pinagem:** troque os `>=` do `requirements.txt` por versoes exatas quando fechar o ambiente.
- **Manter o pipeline `transformers` atual:** crie um adaptador com o mesmo metodo e aponte a factory para ele.