Hugging Face's logo

ExtraX1
/
TinyCyclic-0.4B-Base

Text Generation
English
Russian
Chinese
looped-transformer
tinycynic
custom-architecture
Model card Files
xet
 Community
TinyCyclic-0.4B-Base / README.md
ExtraX1's picture
ExtraX1
Update README.md
189b283 verified
preview code
|
Raw History Blame Contribute Delete
4.43 kB
metadata 
license: other
license_name: extra-lodl
license_link: LICENSE
thumbnail: https://huggingface.co/ExtraX1/TinyCyclic-0.4B-Base/resolve/main/logo-mini.png
language:
  - en
  - ru
  - zh
tags:
  - text-generation
  - looped-transformer
  - tinycynic
  - custom-architecture
datasets:
  - HuggingFaceFW/fineweb-edu
  - wikimedia/wikipedia
  - dichspace/darulm
  - HuggingFaceCode/stack-v3-train
  - LisaMegaWatts/philosophy-corpus
  - opencsg/Fineweb-Edu-Chinese-V2.2
  - nvidia/OpenMathInstruct-2

TinyCyclic-0.4B-Base

TinyCynic logo

Статус: 🚧 В разработке (Under Construction)

TinyCyclic — это экспериментальная языковая модель, использующая архитектуру Looped Transformer (зацикленные слои). Вместо наращивания параметров, мы заставляем одни и те же слои проходить несколько раз, получая высокую эффективную глубину при компактном размере.

📊 Характеристики

  • Параметры: ~0.4B
  • Архитектура: Looped Transformer (14 уникальных слоев, 3 цикла = эффективная глубина 30 слоев).
  • Контекст: 4096 токенов (на этапе PoC).
  • Токенизатор: Кастомный BPE на 64k токенов (готов).

📚 Данные для обучения (Training Data)

TinyCyclic-0.4B-Base обучается на сбалансированном наборе данных объемом 5.3 миллиардов токенов (распределенных по 4 доменам). Все данные токенизированы нашим кастомным токенизатором и сохранены в виде .bin чанков в папке prepared_tokens/ этого репозитория.

Состав датасета (5.3B Tokens Mix):

  • 🇬🇧 English (2.4B токенов)
    • FineWeb-Edu (2.1B): Высококачественный образовательный контент для логики и знаний.
    • Philosophy Corpus (0.3B): Классические философские тексты для изучения абстрактных рассуждений.
  • 🇷🇺 Russian (1.4B токенов)
    • Wikimedia Wikipedia (RU): Энциклопедические знания.
    • DaruLM (конфиги habr, textbook, philosophy): Технические статьи, учебные материалы и философские трактаты.
  • 💻 Code (0.75B токенов)
  • 🧠 Logic & Math (0.5B токенов)
    • OpenMathInstruct-2: 14M верифицированных математических задач с пошаговыми решениями (Chain of Thought).
  • 🇨🇳 Chinese (0.25B токенов)
    • Fineweb-Edu-Chinese-V2.2: Высококачественный образовательный китайский текст (лицензия Apache 2.0, для поддержания мультиязычности токенизатора).

📜 Лицензия

Данная модель распространяется под лицензией ExtraLODL v1.1 (ExtraX0 Liberal Open Development License) LM Edition.

🚀 Планы

  • Обучение токенизатора (64k) — готов, доступен здесь.
  • Pre-training на 500M токенов (PoC).
  • Масштабирование до 5B токенов.
  • SFT (Философский файнтюнинг для получения циничного характера).