Update README.md

README.md

@@ -10,47 +10,49 @@ tags:
   - pytorch
   - safetensors
   - timegpt
-  - llama-like
   - 0.5b
   - text-generation
 license: apache-2.0
 pipeline_tag: text-generation
 inference: false
-model_name: TimeGPT-0.5B-Base
+model_name: TimeGPT-Base
 ---
 
-# ⏳ TimeGPT-0.5B-Base
+# ⏳ TimeGPT-Base (0.5B)
 
-**TimeGPT-0.5B-Base** — это фундаментальная мультиязычная авторегрессионная языковая модель (Causal LM) на **465 млн параметров**, обученная **с нуля (from scratch)** без использования сторонних предобученных весов.
+**TimeGPT-Base** — это мультиязычная авторегрессионная языковая модель (Causal LM) класса **0.5B**, разработанная и обученная **полностью с нуля (from scratch)** без использования сторонних весов или дистилляции.
 
-Модель разработана и обучена командой **LongTime Devs** на потребительском ускорителе **NVIDIA GeForce RTX 5060 Ti 16GB**. Основным языком обучения выступает **русский**, с интеграцией английского, китайского, немецкого и украинского корпусов.
+Модель создана независимой командой **LongTime Devs** и обучена на одном потребительском ускорителе **NVIDIA GeForce RTX 5060 Ti 16GB**. Основной язык обучения — **русский**, с интеграцией английского, китайского, немецкого и украинского корпусов.
 
-> ⚠️ **Обратите внимание:** это **базовая модель (Base)**. Она обучена задаче предсказания следующего токена (next-token prediction / text completion) и не предназначена для прямого диалога без промптинга или дополнительного SFT-дообучения (диалоговая версия — *TimeGPT-0.5B-Final / Chat*).
+> ⚠️ **Важное замечание:** это **базовая фундаментальная модель (Base)**. Она обучена задаче продолжения текста (next-token prediction / text completion) и не проходила стадию выравнивания инструкций. 
+> 
+> Диалоговая инструктивная версия — **TimeGPT-Instruct (0.5B)** — в настоящее время находится на финальной стадии дообучения и **в скором времени будет опубликована** в репозитории команды LongTime Devs.
 
 ---
 
-## 🏛 Архитектура
+## 🏛 Архитектурные особенности
 
-Архитектура TimeGPT включает все ключевые инженерные решения современных открытых LLM (уровня Llama 3 / Qwen 2.5):
+TimeGPT построена на современной архитектуре трансформера (уровня Llama 3 и Qwen 2.5), оптимизированной для высокой скорости инференса и экономии видеопамяти:
 
-- **Grouped-Query Attention (GQA)**: 20 голов Query и 4 головы Key/Value (соотношение 5:1) для значительного снижения расхода видеопамяти при работе с длинным контекстом.
-- **SwiGLU Activation**: нелинейность SwiGLU в блоках MLP с выравниванием размерности.
-- **RMSNorm**: быстрая среднеквадратичная нормализация вместо стандартного LayerNorm.
-- **Rotary Position Embeddings (RoPE)**: вещественное позиционное кодирование с базовой частотой $\theta = 500\,000$ для устойчивости на длинных последовательностях.
-- **Weight Tying**: совмещение матриц эмбеддингов токенов и выходной языковой головы для компактности и лучшей регуляризации.
-- **FlashAttention / SDPA**: нативная поддержка PyTorch Scaled Dot-Product Attention в точности `bfloat16`.
+- **Grouped-Query Attention (GQA)**: 20 голов Query и 4 головы Key/Value (соотношение 5:1), что кратно снижает размер KV-кеша при работе с контекстом.
+- **SwiGLU Activation**: нелинейная функция активации в блоках MLP.
+- **RMSNorm**: быстрая среднеквадратичная нормализация вместо классического LayerNorm.
+- **Rotary Position Embeddings (RoPE)**: векторное позиционное кодирование с базовой частотой $\theta = 500\,000$ для стабильности контекста.
+- **Weight Tying**: совмещение матриц эмбеддингов токенов и выходной языковой головы для компактности и регуляризации весов.
+- **FlashAttention / SDPA**: поддержка нативного аппаратного ускорения Scaled Dot-Product Attention в режиме `bfloat16`.
 
 ### Спецификация модели
 
 | Параметр | Значение |
 | :--- | :--- |
-| **Количество параметров** | 465.70M (~0.5B) |
+| **Класс параметров** | **0.5B** |
+| **Размер файла весов** | **1.02 GB** (`model.safetensors`) |
 | **Размерность скрытого слоя (`dim`)** | 1280 |
 | **Количество слоев (`n_layers`)** | 24 |
 | **Голов внимания (`n_heads`)** | 20 |
 | **Голов Key/Value (`n_kv_heads`)** | 4 (GQA) |
 | **Размерность промежуточного слоя MLP** | 3456 (SwiGLU) |
-| **Размер контекстного окна (`max_seq_len`)** | 1024 токена |
+| **Контекстное окно (`max_seq_len`)** | 1024 токена |
 | **Размер словаря (`vocab_size`)** | 32 000 |
 | **Формат весов** | SafeTensors (`bfloat16`) |
 
@@ -58,9 +60,9 @@ model_name: TimeGPT-0.5B-Base
 
 ## 🔤 Токенизатор
 
-Используется собственный мультиязычный **Byte-Level BPE** токенизатор:
+Модель использует собственный мультиязычный **Byte-Level BPE** токенизатор:
 - **Размер словаря**: 32 000 токенов.
-- **Byte-fallback**: байтовое резервирование исключает токены `<|unk|>` при встрече редких символов, эмодзи или иероглифов.
+- **Byte-fallback**: байтовое резервирование исключает появление токенов неизвестных символов (`<|unk|>`) при обработке редких знаков, иероглифов и эмодзи.
 - **Служебные токены стандарта ChatML**:
   - `<|pad|>`
   - `<|unk|>`
@@ -71,30 +73,38 @@ model_name: TimeGPT-0.5B-Base
 
 ## 📚 Данные и процесс предобучения
 
-Модель обучалась фундаментальному чтению непрерывным потоком на терабайтах мультиязычных текстов:
+Модель обучалась фундаментальному чтению в непрерывном мультиязычном потоке данных:
 
-- **Русский язык (основной, ~55%)**: русскоязычный срез Википедии + новостные корпуса (`IlyaGusev/gazeta`).
-- **Английский язык (~20%)**: англоязычная Википедия.
-- **Китайский язык (~10%)**: китайская Википедия.
-- **Немецкий язык (~8%)**: немецкая Википедия.
-- **Украинский язык (~7%)**: украинская Википедия.
+- **Русский язык (основной массив, ~55%)**: русскоязычный срез Википедии + новостные корпуса (`IlyaGusev/gazeta`).
+- **Английский язык (~20%)**: статьи англоязычной Википедии.
+- **Китайский язык (~10%)**: срез китайской Википедии.
+- **Немецкий язык (~8%)**: срез немецкой Википедии.
+- **Украинский язык (~7%)**: статьи украинской Википедии.
 
 ### Детали тренировочного цикла:
-- **Аппаратная база**: 1× NVIDIA GeForce RTX 5060 Ti 16GB.
-- **Шаги оптимизации**: 50 000 шагов (эффективный батч = 16 последовательностей × 1024 токена).
-- **Общий объем токенов**: ~820 млн токенов.
-- **Время обучения**: ~27 часов непрерывной работы.
+- **Оборудование**: 1× NVIDIA GeForce RTX 5060 Ti 16GB.
+- **Шаги обучения**: 50 000 шагов (эффективный размер батча = 16 последовательностей по 1024 токена).
+- **Суммарный объем прочитанных данных**: ~820 млн токенов.
+- **Время непрерывного обучения**: ~27 часов.
 - **Оптимизатор**: AdamW ($\beta_1 = 0.9$, $\beta_2 = 0.95$, weight decay = 0.01).
-- **Планировщик LR**: Cosine Annealing с плавным разогревом (Warmup: 1500 шаг��в, Peak LR: `1.8e-4`).
-- **Динамика Loss**: начальный лосс **10.64** $\rightarrow$ финальный лосс **3.02–3.36** (перплексия снизилась с бесконечности до ~20).
+- **График Learning Rate**: Cosine Annealing с плавным разогревом (Warmup: 1500 шагов, Peak LR: `1.8e-4`).
+- **Динамика Loss**: стартовый лосс **10.64** $\rightarrow$ финальный лосс **3.02–3.36** (перплексия снизилась с бесконечности до ~20).
 
 ---
 
 ## 💻 Быстрый запуск (Inference)
 
-Для запуска генерации скачайте репозиторий и используйте следующий код на PyTorch:
+Установите необходимые зависимости:
+```bash
+pip install torch tokenizers safetensors huggingface_hub
+```
+
+Скрипт автоматически скачивает веса (`model.safetensors` — 1.02 GB) и токенизатор напрямую из репозитория `longtimedevs/TimeGPT-Base`:
 
 ```python
+# WARNING: DO NOT USE THIS SCRIPT IN PRODUCTION ENVIRONMENTS! // ВНИМАНИЕ: НЕ ИСПОЛЬЗУЙТЕ ДАННЫЙ КОД В ПРОДАКШЕНЕ!
+# FOR RESEARCH, TESTING AND EXPERIMENTAL PURPOSES ONLY! // ТОЛЬКО ДЛЯ ИССЛЕДОВАТЕЛЬСКИХ ЦЕЛЕЙ, ТЕСТИРОВАНИЯ И ЭКСПЕРИМЕНТОВ!
+
 import os
 import torch
 import torch.nn as nn
@@ -102,8 +112,15 @@ import torch.nn.functional as F
 from dataclasses import dataclass
 from tokenizers import Tokenizer
 from safetensors.torch import load_file
+from huggingface_hub import hf_hub_download
+
+# --- 1. Автоматическое скачивание с Hugging Face ---
+REPO_ID = "longtimedevs/TimeGPT-Base"
+print(f"[*] Проверка и скачивание файлов из {REPO_ID}...")
+weights_path = hf_hub_download(repo_id=REPO_ID, filename="model.safetensors")
+tokenizer_path = hf_hub_download(repo_id=REPO_ID, filename="tokenizer.json")
 
-# --- 1. Конфигурация модели ---
+# --- 2. Конфигурация модели ---
 @dataclass
 class TimeGPTConfig:
     vocab_size: int = 32000
@@ -116,12 +133,13 @@ class TimeGPTConfig:
     norm_eps: float = 1e-5
     rope_theta: float = 500000.0
 
-# --- 2. Минимальное определение архитектуры ---
+# --- 3. Архитектура TimeGPT ---
 class RMSNorm(nn.Module):
     def __init__(self, dim: int, eps: float = 1e-5):
         super().__init__()
         self.eps = eps
         self.weight = nn.Parameter(torch.ones(dim))
+
     def forward(self, x):
         return x * torch.rsqrt(x.pow(2).mean(-1, keepdim=True) + self.eps) * self.weight
 
@@ -151,6 +169,7 @@ class Attention(nn.Module):
         self.wk = nn.Linear(cfg.dim, cfg.n_kv_heads * self.head_dim, bias=False)
         self.wv = nn.Linear(cfg.dim, cfg.n_kv_heads * self.head_dim, bias=False)
         self.wo = nn.Linear(cfg.n_heads * self.head_dim, cfg.dim, bias=False)
+
     def forward(self, x, cos, sin):
         B, S, _ = x.shape
         xq = self.wq(x).view(B, S, self.n_heads, self.head_dim).transpose(1, 2)
@@ -171,6 +190,7 @@ class SwiGLUMLP(nn.Module):
         self.w1 = nn.Linear(cfg.dim, hidden_dim, bias=False)
         self.w2 = nn.Linear(hidden_dim, cfg.dim, bias=False)
         self.w3 = nn.Linear(cfg.dim, hidden_dim, bias=False)
+
     def forward(self, x):
         return self.w2(F.silu(self.w1(x)) * self.w3(x))
 
@@ -179,6 +199,7 @@ class TransformerBlock(nn.Module):
         super().__init__()
         self.attn_norm, self.attn = RMSNorm(cfg.dim, cfg.norm_eps), Attention(cfg)
         self.ffn_norm, self.ffn = RMSNorm(cfg.dim, cfg.norm_eps), SwiGLUMLP(cfg)
+
     def forward(self, x, cos, sin):
         return x + self.ffn(self.ffn_norm(x + self.attn(self.attn_norm(x), cos, sin)))
 
@@ -194,6 +215,7 @@ class TimeGPT(nn.Module):
         cos, sin = precompute_rope_sincos(cfg.dim // cfg.n_heads, cfg.max_seq_len, cfg.rope_theta)
         self.register_buffer("rope_cos", cos, persistent=False)
         self.register_buffer("rope_sin", sin, persistent=False)
+
     def forward(self, idx):
         B, S = idx.shape
         h = self.tok_embeddings(idx)
@@ -202,28 +224,37 @@ class TimeGPT(nn.Module):
             h = layer(h, cos, sin)
         return self.output(self.norm(h))
 
-# --- 3. Загрузка весов и инференс со стримингом ---
+# --- 4. Загрузка весов и инференс со стримингом ---
 device = "cuda" if torch.cuda.is_available() else "cpu"
 cfg = TimeGPTConfig()
 model = TimeGPT(cfg).to(device, dtype=torch.bfloat16)
 
-# Загрузка весов SafeTensors
-weights = load_file("model.safetensors", device=device)
+# Чтение скачанных весов SafeTensors
+weights = load_file(weights_path, device=device)
 model.load_state_dict(weights, strict=False)
 model.eval()
 
-tokenizer = Tokenizer.from_file("tokenizer.json")
+tokenizer = Tokenizer.from_file(tokenizer_path)
 
 prompt = "Искусственный интеллект — это"
 input_ids = torch.tensor([tokenizer.encode(prompt).ids], device=device)
 
 print(prompt, end="", flush=True)
 with torch.inference_mode():
-    for _ in range(60):
+    for _ in range(80):
         logits = model(input_ids[:, -cfg.max_seq_len:])
         next_token = torch.multinomial(F.softmax(logits[0, -1, :] / 0.7, dim=-1), num_samples=1)
         if next_token.item() == tokenizer.token_to_id("<|im_end|>"):
             break
         input_ids = torch.cat([input_ids, next_token.unsqueeze(0)], dim=1)
         print(tokenizer.decode([next_token.item()]), end="", flush=True)
-print()
+print()
+```
+
+---
+
+## 👥 Разработчики
+
+- **Команда**: LongTime Devs
+- **Архитектура**: TimeGPT
+- **Лицензия**: Apache 2.0 (открыто для свободного использования и исследований)