File size: 4,868 Bytes
f12d393
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
---
language:
- pt
license: mit
library_name: transformers
pipeline_tag: text-classification
base_model: MoritzLaurer/mDeBERTa-v3-base-mnli-xnli
datasets:
- enzoferracini/patchdedup-synthetic-ptbr
tags:
- patchdedup
- experimental
- nli
---
# PatchDedup PT-BR mDeBERTa — pipeline experimental

# PatchDedup v03 — transferência de NLI e seleção por grupos

Resultado da política selecionada no teste reservado de 40 pares
em 20 cenários: **AP 0.965,
F1 0.927, macro-F1 0.925**.
A base mDeBERTa de NLI sem ajuste teve AP 0.984
e F1 0.909 no mesmo teste, com política fixada no desenvolvimento.
Não confundir o ganho sobre embeddings antigos com o ganho sobre essa base forte.

A seleção de scores avaliou 210 grafos em três folds
por cenário. A macro-F1 cross-fitted selecionada foi 0.946.
A seleção de épocas também usou desenvolvimento; cross-fitting não elimina todo
viés de seleção adaptativa. O teste só foi aberto após congelar modelo, grafo e calibração.

## Confiança e limitações

Cobertura fora de review: 0.725; precisão seletiva:
0.9230769230769231.
A calibração reservada tem somente 20 pares de dez grupos. A cobertura marginal
conformal observada no teste foi 0.700; sua
interpretação requer exchangeability e não garante precisão ou proteção a domain shift.
Os dados foram escritos e revisados pela mesma IA, sem revisão humana ou CVs reais.
Resultados são de um piloto sintético, não evidência de prontidão para produção.

## Candidatos e técnicas

| Candidato | AP desenvolvimento | F1 desenvolvimento |
|---|---:|---:|
| distilled_minilm | 0.861 | 0.840 |
| domain_adapted_minilm | 0.866 | 0.833 |
| hpo_1 | 0.967 | 0.931 |
| hpo_2 | 0.851 | 0.837 |
| hpo_4 | 0.976 | 0.947 |
| hpo_5 | 0.979 | 0.947 |
| hpo_5_quantized | 0.464 | 0.609 |
| hpo_6 | 0.933 | 0.891 |
| hpo_7 | 0.881 | 0.862 |
| lora_deberta | 0.925 | 0.891 |
| multitask_deberta | 0.945 | 0.914 |
| multitask_minilm | 0.860 | 0.831 |
| nli_deberta | 0.921 | 0.891 |
| nli_minilm | 0.804 | 0.803 |
| pseudo_distilled_minilm | 0.862 | 0.844 |
| seed137_minilm | 0.864 | 0.837 |

Foram avaliados transferência multilíngue de NLI, supervisão direcional multitarefa,
BCE ponderada, congelamento, learning rates por camada, AdamW, warmup/cosseno,
clipping/acumulação, BF16, checkpointing, label smoothing, R-Drop, EMA, LoRA,
distillation, pseudo-rótulos por consenso, mineração ponderada de negativos,
adaptação de linguagem mascarada, múltiplas seeds, HPO TPE/Hyperband, agregações,
calibração, ensembles/stacking, conformal e int8 CPU. Cada técnica tem sua evidência
nos JSONs; nenhuma deve ser declarada benéfica só por ter sido executada.
O queue de active learning aguarda revisão humana; não houve adjudicação humana.

A adaptação de linguagem usou um corpus sintético pequeno e uma cabeça MLM nova;
não foi pré-treino de larga escala. ASSIN2 não foi incorporado por licença não
confirmada no levantamento. RAG, DPO/RLHF, multimodalidade e MoE não pertencem à
tarefa discriminativa/dados disponíveis. Métodos de embeddings anteriores ficaram
preservados como baselines, sem trocar o objetivo principal de NLI.

## Reproduzir e inspecionar

`configs/experiment-v03.json` contém o protocolo. `selection.json`, `calibration.json`
e `test.json` preservam as escolhas e métricas; `test-predictions.json` e
`selected-errors.json` mostram as previsões reais. Pesos/checkpoints ficam fora
do Git; a publicação usa safetensors e manifesto. Execute a CLI com o bundle local
ou Docker CPU offline. Nenhum serviço de treino/inferência pago foi habilitado.

## Carregamento e significado das saídas

Os pesos na raiz são do componente NLI principal. AutoModelForSequenceClassification
retorna logits NLI (entailment/neutral/contradiction), não a decisão final de
redundância. A CLI PatchDedup carrega score_graph.json, combina as orientações e
componentes, aplica calibração e retorna conjuntos conformais. O cosseno opcional
vem do encoder separado em embeddings/ e não é probabilidade de redundância.

Baixe a revisão fixa registrada em configs/release.json no GitHub e execute:
`patchdedup compare --model artifacts/model --text-a 'A' --text-b 'B'`.
A inferência é local, sem APIs. Scores não verificam fatos. Não apagar bullets,
avaliar candidatos ou classificar competência. O uso validado é somente pesquisa
neste conjunto sintético em português. Não há inglês validado ou impacto medido.

Pesos NLI/derivados: MIT, com atribuição a Moritz Laurer e autores das bases.
O encoder de embeddings separado deriva de Sentence Transformers sob Apache-2.0.
Dados: CC BY 4.0. Código: MIT. Preservar LICENSE, NOTICE e os cards de origem.
Autoria do projeto: Enzo Ferracini Patti com Codex, sem afiliação ao iFood.
Código e evidências: https://github.com/octopus-synapse/patch-dedup