Text Generation
PEFT
Safetensors
Portuguese
text-classification
community-notes
portuguese
reranker
lora
misinformation
Instructions to use histlearn/community-notes-reranker-ptbr with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- PEFT
How to use histlearn/community-notes-reranker-ptbr with PEFT:
Task type is invalid.
- Notebooks
- Google Colab
- Kaggle
docs: troca diagrama ASCII bi/cross por tabela comparativa (renderiza confiavel)
Browse files
README.md
CHANGED
|
@@ -28,21 +28,13 @@ A família Qwen3 dedicada a recuperação tem dois ramos com arquiteturas difere
|
|
| 28 |
- **Qwen3-Embedding** é um *bi-encoder*: codifica tweet e nota em vetores separados e mede similaridade vetorial. Captura "falam do mesmo assunto", mas perde nuance lógica — não percebe quando uma frase específica da nota desmente uma afirmação específica do tweet.
|
| 29 |
- **Qwen3-Reranker** é um *cross-encoder*: lê o par `(tweet, nota)` concatenado num único contexto, com atenção cruzada em todas as camadas. Cada token da nota pode atender a cada token do tweet ao longo de toda a rede.
|
| 30 |
|
| 31 |
-
|
| 32 |
-
|
| 33 |
-
|
| 34 |
-
|
| 35 |
-
|
| 36 |
-
|
| 37 |
-
|
| 38 |
-
│ │ │ │ │ (atenção cruzada em │
|
| 39 |
-
│ [Vetor 1] [Vetor 2] │ │ todas as camadas) │
|
| 40 |
-
│ └──────┬──────┘ │ │ │ │
|
| 41 |
-
│ [similaridade] │ │ [classificador] │
|
| 42 |
-
│ │ │ │ │ │
|
| 43 |
-
│ Utilidade │ │ Utilidade │
|
| 44 |
-
└───────────────────────────┘ └───────────────────────────┘
|
| 45 |
-
```
|
| 46 |
|
| 47 |
O Qwen3-Reranker é treinado nativamente como julgador de pares: emite `yes` ou `no` em resposta a uma instrução. Aqui mantemos esse protocolo literal e re-orientamos o `yes` para significar *nota útil*, com loss binária `BCEWithLogitsLoss` sobre `logit("yes") − logit("no")`. O tamanho `0.6B` viabiliza fine-tune fold-a-fold sob `StratifiedGroupKFold(5)` no mesmo regime dos baselines lexicais e bi-encoder, mantendo a comparação justa.
|
| 48 |
|
|
|
|
| 28 |
- **Qwen3-Embedding** é um *bi-encoder*: codifica tweet e nota em vetores separados e mede similaridade vetorial. Captura "falam do mesmo assunto", mas perde nuance lógica — não percebe quando uma frase específica da nota desmente uma afirmação específica do tweet.
|
| 29 |
- **Qwen3-Reranker** é um *cross-encoder*: lê o par `(tweet, nota)` concatenado num único contexto, com atenção cruzada em todas as camadas. Cada token da nota pode atender a cada token do tweet ao longo de toda a rede.
|
| 30 |
|
| 31 |
+
| Aspecto | Bi-Encoder (Embedding) | Cross-Encoder (Reranker) |
|
| 32 |
+
|---|---|---|
|
| 33 |
+
| Entrada | tweet e nota processados **separadamente** | par `(tweet, nota)` **concatenado** |
|
| 34 |
+
| Encoder | um encoder por texto | um encoder único que vê os dois |
|
| 35 |
+
| Onde os textos se comparam | **depois** da codificação (similaridade vetorial) | **durante** a codificação (atenção cruzada em todas as camadas) |
|
| 36 |
+
| Saída | dois vetores + similaridade | logit conjunto |
|
| 37 |
+
| Captura bem | "falam do mesmo assunto" | "esta frase da nota desmente esta afirmação do tweet" |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 38 |
|
| 39 |
O Qwen3-Reranker é treinado nativamente como julgador de pares: emite `yes` ou `no` em resposta a uma instrução. Aqui mantemos esse protocolo literal e re-orientamos o `yes` para significar *nota útil*, com loss binária `BCEWithLogitsLoss` sobre `logit("yes") − logit("no")`. O tamanho `0.6B` viabiliza fine-tune fold-a-fold sob `StratifiedGroupKFold(5)` no mesmo regime dos baselines lexicais e bi-encoder, mantendo a comparação justa.
|
| 40 |
|