---
license: other
license_name: extra-lodl
license_link: LICENSE
thumbnail: "https://huggingface.co/ExtraX1/TinyCyclic-0.4B-Base/resolve/main/logo-mini.png"
language:
- en
- ru
- zh
tags:
- text-generation
- looped-transformer
- tinycynic
- custom-architecture
datasets:
- HuggingFaceFW/fineweb-edu
- wikimedia/wikipedia
- dichspace/darulm
- HuggingFaceCode/stack-v3-train
- LisaMegaWatts/philosophy-corpus
- opencsg/Fineweb-Edu-Chinese-V2.2
- nvidia/OpenMathInstruct-2
---

# TinyCyclic-0.4B-Base

![TinyCynic logo](https://huggingface.co/ExtraX1/TinyCyclic-0.4B-Base/resolve/main/logo.png)


**Статус: 🚧 В разработке (Under Construction)**

TinyCyclic — это экспериментальная языковая модель, использующая архитектуру **Looped Transformer** (зацикленные слои). Вместо наращивания параметров, мы заставляем одни и те же слои проходить несколько раз, получая высокую эффективную глубину при компактном размере.

## 📊 Характеристики
*   **Параметры:** ~0.4B
*   **Архитектура:** Looped Transformer (14 уникальных слоев, 3 цикла = эффективная глубина 30 слоев).
*   **Контекст:** 4096 токенов (на этапе PoC).
*   **Токенизатор:** [Кастомный BPE на 64k токенов](https://huggingface.co/ExtraX1/TinyCyclic-Tokenizer) (готов).


## 📚 Данные для обучения (Training Data)

TinyCyclic-0.4B-Base обучается на сбалансированном наборе данных объемом **5.3 миллиардов токенов** (распределенных по 4 доменам). Все данные токенизированы нашим кастомным токенизатором и сохранены в виде `.bin` чанков в папке `prepared_tokens/` этого репозитория.

### Состав датасета (5.3B Tokens Mix):
*   🇬🇧 **English (2.4B токенов)**
    *   [FineWeb-Edu](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu) (2.1B): Высококачественный образовательный контент для логики и знаний.
    *   [Philosophy Corpus](https://huggingface.co/datasets/LisaMegaWatts/philosophy-corpus) (0.3B): Классические философские тексты для изучения абстрактных рассуждений.
*   🇷🇺 **Russian (1.4B токенов)**
    *   [Wikimedia Wikipedia (RU)](https://huggingface.co/datasets/wikimedia/wikipedia): Энциклопедические знания.
    *   [DaruLM](https://huggingface.co/datasets/dichspace/darulm) (конфиги `habr`, `textbook`, `philosophy`): Технические статьи, учебные материалы и философские трактаты.
*   💻 **Code (0.75B токенов)**
    *   [The Stack v3](https://huggingface.co/datasets/HuggingFaceCode/stack-v3-train): Код.
*   🧠 **Logic & Math (0.5B токенов)**
    *   [OpenMathInstruct-2](https://huggingface.co/datasets/nvidia/OpenMathInstruct-2): 14M верифицированных математических задач с пошаговыми решениями (Chain of Thought).
*   🇨🇳 **Chinese (0.25B токенов)**
    *   [Fineweb-Edu-Chinese-V2.2](https://huggingface.co/datasets/opencsg/Fineweb-Edu-Chinese-V2.2): Высококачественный образовательный китайский текст (лицензия Apache 2.0, для поддержания мультиязычности токенизатора).


## 📜 Лицензия
Данная модель распространяется под лицензией **ExtraLODL v1.1 (ExtraX0 Liberal Open Development License) LM Edition**.

## 🚀 Планы
*   [x] Обучение токенизатора (64k) — [готов, доступен здесь](https://huggingface.co/ExtraX1/TinyCyclic-Tokenizer).
*   [ ] Pre-training на 500M токенов (PoC).
*   [ ] Масштабирование до 5B токенов.
*   [ ] SFT (Философский файнтюнинг для получения циничного характера).