Instructions to use Synth-NLP/laya-multilingual-massive-real with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Synth-NLP/laya-multilingual-massive-real with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-classification", model="Synth-NLP/laya-multilingual-massive-real")# pip install -U transformers accelerate # Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("Synth-NLP/laya-multilingual-massive-real", device_map="auto") - Laya
How to use Synth-NLP/laya-multilingual-massive-real with Laya:
# No code snippets available yet for this library. # To use this model, check the repository files and the library's documentation. # Want to help? PRs adding snippets are welcome at: # https://github.com/huggingface/huggingface.js
- Notebooks
- Google Colab
- Kaggle
Laya multilingual ajustado com MASSIVE pt-BR (dados reais)
Fine-tuning do checkpoint multilingual do Laya
(7b928d828b7b0e022f929d9bd2e44165aa270148) na escolha de intenção em português. É o grupo de comparação com
dados reais de um experimento com dados sintéticos.
Estado: resultado inicial. Um único treino, com uma única divisão de cenários. Modelo de pesquisa, sem avaliação para produção.
Uso
import laya
agente = laya.load("Synth-NLP/laya-multilingual-massive-real")
pergunta = {"type": "choice", "instructions": "O que o usuário está pedindo?",
"criteria": {"consultar clima": None, "consultar agenda": None, "ligar luz": None}}
print(agente.predict("vai chover amanhã?", {"intent": pergunta})["answers"]["intent"]["choice"])
Treino
- Dados: 5.405 frases de 30 intenções de 9 cenários, derivadas de Synth-NLP/massive-pt-br-dedup. Delas, 5.005 treinam e 400 calibram. O arquivo de treino não está publicado, mas os scripts deste repositório o recriam a partir do dataset.
- Formato: a pergunta "O que o usuário está pedindo?" e 20 opções, a correta e 19 distratores sorteados uma vez por frase, só entre as intenções vistas. As 30 intenções reservadas não aparecem no treino.
- Configuração: padrões do
laya.train.finetune0.4.14 (4 épocas, lote efetivo de 64, objetivorlcd, seed 0), maisshuffle_options=("choice",). - Perda média por época: 0,699 / 0,878 / 0,928 / 0,839. Ela não caiu de forma contínua.
- Calibração: temperatura 4,37, ajustada em 400 frases de intenções vistas.
Cenários vistos: alarm, calendar, datetime, general, iot, music, news, transport, weather.
Cenários reservados: audio, cooking, email, lists, play, qa, recommendation, social, takeaway.
Resultados
Medidos em Synth-NLP/massive-pt-br-avaliacao, com 20 opções sorteadas só entre as intenções do próprio conjunto e média das seeds 0, 1 e 2. O acaso é 0,050. Os intervalos são de 95%, por bootstrap pareado das frases.
| Conjunto | Métrica | Base | Ajustado | Ganho (IC 95%) |
|---|---|---|---|---|
vistas (961 frases) |
Acurácia | 0,437 | 0,889 | +0,452 (0,424 a 0,480) |
vistas |
Macro-F1 | 0,424 | 0,852 | +0,428 (0,386 a 0,463) |
nao_vistas (968 frases) |
Acurácia | 0,593 | 0,728 | +0,135 (0,113 a 0,157) |
nao_vistas |
Macro-F1 | 0,552 | 0,679 | +0,128 (0,105 a 0,150) |
| Conjunto | Medida | Base | Ajustado |
|---|---|---|---|
vistas |
Frases que mudam de previsão só pela ordem das opções | 55,0% | 6,5% |
nao_vistas |
Frases que mudam de previsão só pela ordem das opções | 39,6% | 19,6% |
vistas |
ECE | 0,222 | 0,081 |
nao_vistas |
ECE | 0,146 | 0,091 |
Os números estão em results/comparacao_real.json, com as previsões por frase ao lado.
Limitações
- Um treino e uma divisão: os intervalos cobrem a variação das frases, não a variação entre treinos nem entre divisões de cenários.
- Bases diferentes: o conjunto
vistasparte de uma nota mais baixa, então tem mais espaço para ganhar. As notas dos dois conjuntos não são comparáveis entre si. - Domínios próximos: há parentes em lados opostos, como
music(visto) eplay(reservado). Parte do ganho emnao_vistaspode vir disso. - Ordem: não houve treino sem embaralhamento para comparar, então a queda na sensibilidade à ordem não pode ser atribuída só a
shuffle_options. - Calibração: feita só com intenções vistas, e os 400 itens têm distratores no mesmo formato do treino. As métricas do
train_report.jsonnão são independentes. - Pioras por intenção: 3 intenções em
vistase 5 emnao_vistaspioraram; a mais relevante éqa_factoid, de 0,44 para 0,29. - Fora do escopo testado: o desempenho só foi medido com 20 opções, com estes rótulos e nesta pergunta.
- Dados: localização por LLM de
pt-PTpara pt-BR, sem auditoria humana, com rótulos suspeitos na fonte. Os rótulos em português podem mudar. - Validação já usada: decisões anteriores do experimento olharam para ela, então as notas podem sair um pouco otimistas.
Reprodução
prepara_dataset.py → divide_cenarios.py → monta_treino.py → treina.py → eval_choice.py e eval_ordem.py → compara_modelos.py. A saída da rodada está em results/logs/rodada_real.log.
Licença e atribuição
Apache 2.0, a licença do modelo base. Pesos derivados do Laya, da Convai Innovations, treinados com dados derivados do MASSIVE, © Amazon.com, Inc. ou afiliadas (CC BY 4.0), por meio de Magurofg/massive-pt-br. Alterações: fine-tuning descrito acima.
Model tree for Synth-NLP/laya-multilingual-massive-real
Base model
convaiinnovations/laya