# Falcon3

## Visão geral

[Falcon3](https://falconllm.tii.ae/falcon3/index.html) representa uma evolução natural em relação às versões anteriores, com foco na expansão das capacidades de ciência, matemática e código dos modelos. Esta iteração inclui cinco modelos base: Falcon3-1B-Base, Falcon3-3B-Base, Falcon3-Mamba-7B-Base, Falcon3-7B-Base e Falcon3-10B-Base. No desenvolvimento desses modelos, incorporamos várias inovações-chave voltadas para melhorar o desempenho dos modelos, ao mesmo tempo em que reduzimos os custos de treinamento:

Um único pré-treino: realizamos uma única execução de pré-treino em larga escala no modelo de 7B, utilizando 2048 chips de GPU H100, aproveitando 14 trilhões de tokens com dados da web, código, STEM e dados multilíngues de alta qualidade cuidadosamente selecionados. Aumento de profundidade para melhorar o raciocínio: com base em estudos recentes sobre os efeitos da profundidade do modelo, aumentamos o modelo de 7B para um modelo de 10B de parâmetros, duplicando as camadas redundantes e continuando o pré-treino com 2TT de dados de alta qualidade. Isso resultou no Falcon3-10B-Base, que atinge desempenho zero-shot e few-shot de estado da arte para modelos com menos de 13B parâmetros. Destilação de conhecimento para melhores modelos pequenos: para fornecer alternativas compactas e eficientes, desenvolvemos o Falcon3-1B-Base e o Falcon3-3B-Base aproveitando técnicas de poda e destilação de conhecimento, utilizando menos de 100GT de dados de alta qualidade cuidadosamente selecionados, redefinindo assim a eficiência do pré-treino.

## Recursos

- [Post no blog](https://huggingface.co/blog/falcon3)
- [Modelos no Huggingface](https://huggingface.co/collections/tiiuae/falcon3-67605ae03578be86e4e87026)