Voldorn/emotion2vec-plus-large-onnx

emotion2vec+ large (ONNX)

Export em ONNX do emotion2vec/emotion2vec_plus_large (revisão 6c303ba987b86b93193de93e34bb2b077a6bedc4), com os mesmos pesos, para rodar no ONNX Runtime sem PyTorch. Não é um modelo novo: o crédito é dos autores do emotion2vec (Ziyang Ma et al.) e do FunASR (Alibaba Group).

Arquivo	Conteúdo
emotion2vec_plus_large.onnx	Entrada audio: (1, N) float32, mono, 16 kHz, entre -1 e 1. Saída scores: (1, 9), probabilidades
export_emotion2vec.py	Script que gerou o arquivo e conferiu a saída contra o código do FunASR 1.4.16
export_report.json	Diferença máxima entre o ONNX e o PyTorch em 6 durações (0,5 s a 30 s)

O grafo já faz o que o Emotion2vec.inference do FunASR faz no modo granularity="utterance": normaliza o áudio (média e variância do áudio inteiro), extrai os frames, tira a média, aplica a camada proj e o softmax. Os rótulos ficam nos metadados do ONNX (labels), nesta ordem: angry, disgusted, fearful, happy, neutral, other, sad, surprised, unknown.

A única mudança no código do modelo durante o export foi o cálculo do viés ALiBi, que o FunASR guarda num cache de tamanho fixo. O export usa uma versão que calcula o viés a partir do tamanho da entrada, com o mesmo resultado (diferença máxima de 2,9e-6 nas probabilidades).

Licença

FunASR Model Open Source License, herdada do modelo original (ver LICENSE).

Citação

@article{ma2023emotion2vec,
  title={emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation},
  author={Ma, Ziyang and Zheng, Zhisheng and Ye, Jiaxin and Li, Jinchao and Gao, Zhifu and Zhang, Shiliang and Chen, Xie},
  journal={arXiv preprint arXiv:2312.15185},
  year={2023}
}