| --- |
| license: other |
| license_name: mangaba-ai-proprietaria |
| license_link: https://github.com/Mangaba-ai/brier/blob/main/LICENSE |
| language: [pt] |
| base_model: mlx-community/Qwen3-4B-Instruct-2507-4bit |
| tags: [classification, decision, calibration, lora, portuguese, brier, distillation] |
| extra_gated_heading: "Acesso ao Brier-0 (licença comercial da Mangaba AI)" |
| extra_gated_prompt: "O Brier-0 é distribuído sob a licença proprietária da Mangaba AI. O download é liberado para clientes e avaliações autorizadas. Planos e licenciamento: https://brier.mangaba.ia.br/pt#planos" |
| extra_gated_fields: |
| Empresa: text |
| Uso pretendido: text |
| Concordo com a licença proprietária da Mangaba AI: checkbox |
| --- |
| # Brier-0 |
|
|
| > **English:** Brier-0 is the Brier v5 decision model (LoRA over Qwen3-4B-Instruct-2507, 4-bit) further distilled from |
| > mangaba-titan (Qwen3.5-122B-A10B, served on Mangaba AI's own GPUs). The `brier` package can also run it as a |
| > cascade: when the student is unsure on a choice/yes-no question, it asks the teacher. Proprietary license; access on |
| > request. Plans: [brier.mangaba.ia.br](https://brier.mangaba.ia.br/#planos) · Technical report: [brier-zero-artigo](https://huggingface.co/spaces/mangaba-ai/brier-zero-artigo). |
|
|
| Decisões tipadas em português (`choice`, `score`, `noul`), com probabilidades calibradas. É o v5 continuado com |
| **destilação do mangaba-titan** (Qwen3.5-122B-A10B) nos servidores GPU da Mangaba AI (2× NVIDIA L40S): |
|
|
| - **professor sem viés de posição:** a distribuição do titan sobre os rótulos é a média de duas ordens de opções; |
| - **destilação só onde o professor é forte:** escolha e sim/não, e só quando ele concorda com o ouro (em escalas o titan é mais fraco que o aluno); |
| - **ouro contestado:** onde os rotuladores discordam, o alvo passa a ser o titan; |
| - **perda:** inclui o escore de Brier e a consistência entre duas ordens de opções. |
|
|
| Duas formas de uso no pacote: |
|
|
| - **`zero-local`**: só estes pesos. |
| - **`zero`**: cascata. Nas perguntas de escolha e sim/não com confiança abaixo de 0,9, consulta o titan. Isso acontece em ~36% das perguntas. O limiar foi escolhido só na validação. |
|
|
| ## Resultados (mesmos pedidos do Jev, item a item) |
|
|
| | conjunto | Brier-0 cascata | Brier-0 local | Brier v5 | Jev (referência) | |
| |---|---|---|---|---| |
| | sintético, subconjunto limpo (n=590) | **92,0%** | 89,3% | 88,6% | 91,5% | |
| | sintético, inteiro (n=779) | **81,4%** | 79,3% | 77,5% | 79,5% | |
| | ASSIN2 (n=500) | 78,8% | 78,6% | 78,6% | 78,2% | |
| | B2W (n=500) | 74,8% | 75,8% | 75,8% | 66,8% | |
| | tweetSentBR (n=250) | 66,0% | 68,8% | **70,8%** | 67,6% | |
|
|
| **Leia com cuidado:** |
|
|
| - **Subconjunto limpo:** são 590 perguntas onde os rotuladores concordam. Nas outras 189 do sintético, o ouro é contestado e todos os modelos acertam 42–48%. |
| - **Cascata × Jev no limpo:** a diferença é +0,5 e não tem significância. |
| - **Onde a cascata piora:** no B2W e no tweetSentBR, porque ali o titan é mais fraco que o aluno. Para avaliações e redes sociais, prefira o `zero-local`. |
| - **Domínio do B2W:** a parte de treino do B2W entra no treino desde o v5, então o B2W é do mesmo domínio. |
| - **Ainda não medidos no Brier-0:** resistência a injeção e textos longos. Os números conhecidos dessas medições são do v5. |
| - **Calibração:** no sintético, o erro de calibração (ECE) caiu de 0,055 (v5) para 0,028. |
|
|
| ## Como usar |
|
|
| ```bash |
| pip install "brier @ git+https://github.com/Mangaba-ai/brier" |
| huggingface-cli login # conta com acesso aprovado a este repositório |
| ``` |
|
|
| ```python |
| from brier import Brier |
| |
| b = Brier("zero-local") # só o aluno |
| b = Brier("zero") # cascata: precisa de BRIER_PROFESSOR_CHAVE (endpoint compatível com OpenAI) |
| r = b.decide("O pedido chegou quebrado e ninguém responde.", |
| {"setor": {"type": "choice", "instructions": "Qual time atende?", |
| "criteria": {"suporte": "Problema técnico", "logistica": "Entrega e avarias"}}}) |
| print(r["answers"]["setor"], r.get("cascata")) |
| ``` |
|
|
| Variáveis da cascata: |
|
|
| | variável | padrão | |
| |---|---| |
| | `BRIER_PROFESSOR_URL` | `https://llm-gpu.mangaba.ia.br/v1` | |
| | `BRIER_PROFESSOR_MODELO` | `mangaba-qwen35-122b` | |
| | `BRIER_PROFESSOR_CHAVE` | nenhum | |
| | `BRIER_LIMIAR_CASCATA` | `0.9` | |
|
|
| Sem chave, ou com o professor fora do ar, responde só o aluno. Nesses casos a resposta traz o motivo em `cascata.falhas`. |
|
|
