# XLM-V

## Visão geral

XLM-V é um modelo de linguagem multilíngue com um vocabulário de um milhão de tokens, treinado em 2,5 TB de dados do Common Crawl (o mesmo que o XLM-R). Ele foi introduzido no artigo [XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models](https://huggingface.co/papers/2301.10472), de Davis Liang, Hila Gonen, Yuning Mao, Rui Hou, Naman Goyal, Marjan Ghazvininejad, Luke Zettlemoyer e Madian Khabsa.

Do resumo do paper XLM-V:

*Grandes modelos de linguagem multilíngues geralmente dependem de um único vocabulário compartilhado entre mais de 100 idiomas. À medida que esses modelos aumentaram em número de parâmetros e profundidade, o tamanho do vocabulário permaneceu em grande parte inalterado. Esse gargalo de vocabulário limita as capacidades de representação de modelos multilíngues como o XLM-R. Neste artigo, apresentamos uma nova abordagem para escalar para vocabulários multilíngues muito grandes, ao desvalorizar o compartilhamento de tokens entre idiomas com pouca sobreposição lexical e ao alocar a capacidade do vocabulário para alcançar uma cobertura suficiente para cada idioma individual. As tokenizações usando nosso vocabulário são tipicamente mais semanticamente significativas e mais curtas em comparação com o XLM-R. Aproveitando esse vocabulário aprimorado, treinamos o XLM-V, um modelo de linguagem multilíngue com um vocabulário de um milhão de tokens. O XLM-V supera o XLM-R em todas as tarefas que testamos, variando de inferência de linguagem natural (XNLI), resposta a perguntas (MLQA, XQuAD, TyDiQA) e reconhecimento de entidades nomeadas (WikiAnn) a tarefas de baixo recurso (Americas NLI, MasakhaNER).*

Este modelo foi contribuído por [stefan-it](https://huggingface.co/stefan-it), incluindo experimentos detalhados com XLM-V em tarefas downstream. O repositório dos experimentos pode ser encontrado [aqui](https://github.com/stefan-it/xlm-v-experiments).

## Dicas de uso

- O XLM-V é compatível com a arquitetura do modelo XLM-RoBERTa; apenas os pesos do modelo da biblioteca [`fairseq`](https://github.com/facebookresearch/fairseq) precisaram ser convertidos.
- A implementação `XLMTokenizer` é usada para carregar o vocabulário e executar a tokenização.

Um modelo XLM-V (tamanho base) está disponível sob o identificador [`facebook/xlm-v-base`](https://huggingface.co/facebook/xlm-v-base).

A arquitetura do XLM-V é a mesma do XLM-RoBERTa. Consulte a [documentação do XLM-RoBERTa](xlm-roberta) para referência da API e exemplos.