# Falcon3

## 概要

[Falcon3](https://falconllm.tii.ae/falcon3/index.html)は、これまでのリリースからの自然な進化を体現しており、モデルの科学・数学・コード処理能力の拡張に重点を置いています。今回のイテレーションでは、Falcon3-1B-Base、Falcon3-3B-Base、Falcon3-Mamba-7B-Base、Falcon3-7B-Base、Falcon3-10B-Baseの5つのベースモデルが含まれます。これらのモデルの開発にあたり、モデルのパフォーマンスを向上させつつ学習コストを削減することを目的とした、いくつかの重要な革新を取り入れました。

1回の事前学習：7Bモデルに対して、2048枚のH100 GPUチップを用いた大規模な事前学習を1回実施しました。Web、コード、STEM、および厳選された高品質な多言語データを含む14兆トークンを利用しました。
推論能力向上のための深さのスケールアップ：モデルの深さに関する最近の研究を踏まえ、冗長なレイヤーを複製して7Bモデルを10Bパラメータのモデルにスケールアップし、高品質なデータ2兆トークンで事前学習を継続しました。これにより、13Bパラメータ未満のモデルとしてゼロショットおよびファウショットのパフォーマンスで最先端の性能を実現したFalcon3-10B-Baseが得られました。
より小型なモデルのための知識蒸留：コンパクトで効率的な代替手段を提供するため、剪定と知識蒸留の技術を活用し、厳選された高品質なデータ100GT未満を用いてFalcon3-1B-BaseとFalcon3-3B-Baseを開発しました。これにより、事前学習の効率性を再定義しました。

## リソース

- [ブログ記事](https://huggingface.co/blog/falcon3)
- [Huggingface上のモデル](https://huggingface.co/collections/tiiuae/falcon3-67605ae03578be86e4e87026)