Transformers documentation
Falcon3
このモデルは2024年12月17日にHugging Face Transformersに貢献されました。
Falcon3
概要
Falcon3は、これまでのリリースからの自然な進化を体現しており、モデルの科学・数学・コード処理能力の拡張に重点を置いています。今回のイテレーションでは、Falcon3-1B-Base、Falcon3-3B-Base、Falcon3-Mamba-7B-Base、Falcon3-7B-Base、Falcon3-10B-Baseの5つのベースモデルが含まれます。これらのモデルの開発にあたり、モデルのパフォーマンスを向上させつつ学習コストを削減することを目的とした、いくつかの重要な革新を取り入れました。
1回の事前学習: 7Bモデルに対して、2048枚のH100 GPUチップを用いた大規模な事前学習を1回実施しました。Web、コード、STEM、厳選された高品質な多言語データを含む14兆トークンを使用しました。 推論能力向上のための深さのスケーリング: モデルの深さに関する最近の研究を踏まえ、冗長なレイヤーを複製して7Bモデルを10Bパラメータのモデルにスケーリングし、2兆トークン（2TT）の高品質データで事前学習を継続しました。これにより、13Bパラメータ未満のモデルとしてゼロショットおよびフューショット性能で最先端（state-of-the-art）を達成するFalcon3-10B-Baseが得られました。 より良い小型モデルのための知識蒸留: コンパクトで効率的な代替手段を提供するため、剪定（pruning）と知識蒸留の技術を活用し、100GT未満の厳選された高品質データを用いてFalcon3-1B-BaseとFalcon3-3B-Baseを開発しました。これにより、事前学習の効率性を再定義しました。