| --- |
| license: other |
| license_name: extra-lodl |
| license_link: LICENSE |
| thumbnail: "https://huggingface.co/ExtraX1/TinyCyclic-0.4B-Base/resolve/main/logo-mini.png" |
| language: |
| - en |
| - ru |
| - zh |
| tags: |
| - text-generation |
| - looped-transformer |
| - tinycynic |
| - custom-architecture |
| datasets: |
| - HuggingFaceFW/fineweb-edu |
| - wikimedia/wikipedia |
| - dichspace/darulm |
| - HuggingFaceCode/stack-v3-train |
| - LisaMegaWatts/philosophy-corpus |
| - opencsg/Fineweb-Edu-Chinese-V2.2 |
| - nvidia/OpenMathInstruct-2 |
| --- |
| |
| # TinyCyclic-0.4B-Base |
|
|
|  |
|
|
|
|
| **Статус: 🚧 В разработке (Under Construction)** |
|
|
| TinyCyclic — это экспериментальная языковая модель, использующая архитектуру **Looped Transformer** (зацикленные слои). Вместо наращивания параметров, мы заставляем одни и те же слои проходить несколько раз, получая высокую эффективную глубину при компактном размере. |
|
|
| ## 📊 Характеристики |
| * **Параметры:** ~0.4B |
| * **Архитектура:** Looped Transformer (14 уникальных слоев, 3 цикла = эффективная глубина 30 слоев). |
| * **Контекст:** 4096 токенов (на этапе PoC). |
| * **Токенизатор:** [Кастомный BPE на 64k токенов](https://huggingface.co/ExtraX1/TinyCyclic-Tokenizer) (готов). |
|
|
|
|
| ## 📚 Данные для обучения (Training Data) |
|
|
| TinyCyclic-0.4B-Base обучается на сбалансированном наборе данных объемом **5.3 миллиардов токенов** (распределенных по 4 доменам). Все данные токенизированы нашим кастомным токенизатором и сохранены в виде `.bin` чанков в папке `prepared_tokens/` этого репозитория. |
|
|
| ### Состав датасета (5.3B Tokens Mix): |
| * 🇬🇧 **English (2.4B токенов)** |
| * [FineWeb-Edu](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu) (2.1B): Высококачественный образовательный контент для логики и знаний. |
| * [Philosophy Corpus](https://huggingface.co/datasets/LisaMegaWatts/philosophy-corpus) (0.3B): Классические философские тексты для изучения абстрактных рассуждений. |
| * 🇷🇺 **Russian (1.4B токенов)** |
| * [Wikimedia Wikipedia (RU)](https://huggingface.co/datasets/wikimedia/wikipedia): Энциклопедические знания. |
| * [DaruLM](https://huggingface.co/datasets/dichspace/darulm) (конфиги `habr`, `textbook`, `philosophy`): Технические статьи, учебные материалы и философские трактаты. |
| * 💻 **Code (0.75B токенов)** |
| * [The Stack v3](https://huggingface.co/datasets/HuggingFaceCode/stack-v3-train): Код. |
| * 🧠 **Logic & Math (0.5B токенов)** |
| * [OpenMathInstruct-2](https://huggingface.co/datasets/nvidia/OpenMathInstruct-2): 14M верифицированных математических задач с пошаговыми решениями (Chain of Thought). |
| * 🇨🇳 **Chinese (0.25B токенов)** |
| * [Fineweb-Edu-Chinese-V2.2](https://huggingface.co/datasets/opencsg/Fineweb-Edu-Chinese-V2.2): Высококачественный образовательный китайский текст (лицензия Apache 2.0, для поддержания мультиязычности токенизатора). |
|
|
|
|
| ## 📜 Лицензия |
| Данная модель распространяется под лицензией **ExtraLODL v1.1 (ExtraX0 Liberal Open Development License) LM Edition**. |
|
|
| ## 🚀 Планы |
| * [x] Обучение токенизатора (64k) — [готов, доступен здесь](https://huggingface.co/ExtraX1/TinyCyclic-Tokenizer). |
| * [ ] Pre-training на 500M токенов (PoC). |
| * [ ] Масштабирование до 5B токенов. |
| * [ ] SFT (Философский файнтюнинг для получения циничного характера). |
