Laya multilingual ajustado com MASSIVE pt-BR (dados reais)

Fine-tuning do checkpoint multilingual do Laya (7b928d828b7b0e022f929d9bd2e44165aa270148) na escolha de intenção em português. É o grupo de comparação com dados reais de um experimento com dados sintéticos.

Estado: resultado inicial. Um único treino, com uma única divisão de cenários. Modelo de pesquisa, sem avaliação para produção.

Uso

import laya

agente = laya.load("Synth-NLP/laya-multilingual-massive-real")
pergunta = {"type": "choice", "instructions": "O que o usuário está pedindo?",
            "criteria": {"consultar clima": None, "consultar agenda": None, "ligar luz": None}}
print(agente.predict("vai chover amanhã?", {"intent": pergunta})["answers"]["intent"]["choice"])

Treino

  • Dados: 5.405 frases de 30 intenções de 9 cenários, derivadas de Synth-NLP/massive-pt-br-dedup. Delas, 5.005 treinam e 400 calibram. O arquivo de treino não está publicado, mas os scripts deste repositório o recriam a partir do dataset.
  • Formato: a pergunta "O que o usuário está pedindo?" e 20 opções, a correta e 19 distratores sorteados uma vez por frase, só entre as intenções vistas. As 30 intenções reservadas não aparecem no treino.
  • Configuração: padrões do laya.train.finetune 0.4.14 (4 épocas, lote efetivo de 64, objetivo rlcd, seed 0), mais shuffle_options=("choice",).
  • Perda média por época: 0,699 / 0,878 / 0,928 / 0,839. Ela não caiu de forma contínua.
  • Calibração: temperatura 4,37, ajustada em 400 frases de intenções vistas.

Cenários vistos: alarm, calendar, datetime, general, iot, music, news, transport, weather.

Cenários reservados: audio, cooking, email, lists, play, qa, recommendation, social, takeaway.

Resultados

Medidos em Synth-NLP/massive-pt-br-avaliacao, com 20 opções sorteadas só entre as intenções do próprio conjunto e média das seeds 0, 1 e 2. O acaso é 0,050. Os intervalos são de 95%, por bootstrap pareado das frases.

Conjunto Métrica Base Ajustado Ganho (IC 95%)
vistas (961 frases) Acurácia 0,437 0,889 +0,452 (0,424 a 0,480)
vistas Macro-F1 0,424 0,852 +0,428 (0,386 a 0,463)
nao_vistas (968 frases) Acurácia 0,593 0,728 +0,135 (0,113 a 0,157)
nao_vistas Macro-F1 0,552 0,679 +0,128 (0,105 a 0,150)
Conjunto Medida Base Ajustado
vistas Frases que mudam de previsão só pela ordem das opções 55,0% 6,5%
nao_vistas Frases que mudam de previsão só pela ordem das opções 39,6% 19,6%
vistas ECE 0,222 0,081
nao_vistas ECE 0,146 0,091

Os números estão em results/comparacao_real.json, com as previsões por frase ao lado.

Limitações

  • Um treino e uma divisão: os intervalos cobrem a variação das frases, não a variação entre treinos nem entre divisões de cenários.
  • Bases diferentes: o conjunto vistas parte de uma nota mais baixa, então tem mais espaço para ganhar. As notas dos dois conjuntos não são comparáveis entre si.
  • Domínios próximos: há parentes em lados opostos, como music (visto) e play (reservado). Parte do ganho em nao_vistas pode vir disso.
  • Ordem: não houve treino sem embaralhamento para comparar, então a queda na sensibilidade à ordem não pode ser atribuída só a shuffle_options.
  • Calibração: feita só com intenções vistas, e os 400 itens têm distratores no mesmo formato do treino. As métricas do train_report.json não são independentes.
  • Pioras por intenção: 3 intenções em vistas e 5 em nao_vistas pioraram; a mais relevante é qa_factoid, de 0,44 para 0,29.
  • Fora do escopo testado: o desempenho só foi medido com 20 opções, com estes rótulos e nesta pergunta.
  • Dados: localização por LLM de pt-PT para pt-BR, sem auditoria humana, com rótulos suspeitos na fonte. Os rótulos em português podem mudar.
  • Validação já usada: decisões anteriores do experimento olharam para ela, então as notas podem sair um pouco otimistas.

Reprodução

prepara_dataset.py → divide_cenarios.py → monta_treino.py → treina.py → eval_choice.py e eval_ordem.py → compara_modelos.py. A saída da rodada está em results/logs/rodada_real.log.

Licença e atribuição

Apache 2.0, a licença do modelo base. Pesos derivados do Laya, da Convai Innovations, treinados com dados derivados do MASSIVE, © Amazon.com, Inc. ou afiliadas (CC BY 4.0), por meio de Magurofg/massive-pt-br. Alterações: fine-tuning descrito acima.

Downloads last month

-

Downloads are not tracked for this model. How to track
Safetensors
Model size
0.3B params
Tensor type
F16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Synth-NLP/laya-multilingual-massive-real

Finetuned
(253)
this model

Dataset used to train Synth-NLP/laya-multilingual-massive-real

Paper for Synth-NLP/laya-multilingual-massive-real