XBFDI commited on
Commit
7514816
·
verified ·
1 Parent(s): d787942

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +69 -50
README.md CHANGED
@@ -20,64 +20,76 @@ model_type: transformer
20
  base_model: OpenRussianAI/andrey
21
  ---
22
 
23
- # Andrey — EasyFormer 1M
24
 
25
  Лёгкий русскоязычный чат-бот на архитектуре EasyFormer.
26
- Упрощённый decoder-only Transformer, ~1.5M параметров.
27
 
28
  ## О модели
29
 
30
  Andrey — компактный русскоязычный чат-бот на собственной архитектуре EasyFormer.
31
- Снаружи — классический decoder-only Transformer, внутри — упрощения для скорости:
32
- single-head attention, RMSNorm, FFN×2, weight tying.
33
-
34
- Модель обучается за минуты на CPU, помещается в 15 MB, работает на любом устройстве.
35
 
36
  ## Архитектура
37
 
38
  | Параметр | Значение |
39
  |---|---|
40
  | Тип | decoder-only Transformer |
41
- | Параметров | ~1.5M |
42
- | Слоёв | 5 |
43
- | d_model | 192 |
44
- | Голов | 1 (single-head) |
45
  | FFN | ×2, ReLU |
46
  | Нормализация | RMSNorm |
47
- | Контекст | 128 токенов |
48
- | Токенизатор | char-level, 64 символа |
49
  | Weight tying | lm_head ↔ tok_emb |
50
 
 
 
 
 
 
 
 
 
 
 
 
 
 
51
  ## Быстрый старт
52
 
53
  ```bash
54
- pip install transformers torch huggingface_hub
55
  ```
56
 
57
  ```python
58
- import json, torch
59
- from transformers import AutoModelForCausalLM
 
60
  from huggingface_hub import hf_hub_download
61
 
62
  REPO = "OpenRussianAI/andrey"
63
 
64
- model = AutoModelForCausalLM.from_pretrained(
65
- REPO,
66
- trust_remote_code=True,
67
- dtype=torch.float32,
68
- ).eval()
69
 
70
- d = json.load(open(hf_hub_download(REPO, "tokenizer.json"), encoding="utf-8"))
71
- stoi, itos = d["stoi"], {int(k): v for k, v in d["itos"].items()}
72
- enc = lambda s: [stoi[c] for c in s if c in stoi]
73
- dec = lambda ids: "".join(itos[i] for i in ids)
74
 
75
  def ask(q, max_new=40, temp=0.6, top_k=20):
76
- ids = torch.tensor([enc(f"User: {q}\nBot:")], dtype=torch.long)
77
- out = model.generate(ids, max_new_tokens=max_new, do_sample=True,
78
- temperature=temp, top_k=top_k)
79
- text = dec(out[0].tolist())
80
- return text.split("Bot:", 1)[-1].split("User:", 1)[0].strip()
 
 
 
81
 
82
  print(ask("привет"))
83
  ```
@@ -94,31 +106,34 @@ Bot: хорошо, готов помочь
94
  User: кто ты
95
  Bot: я лёгкий чат-бот на EasyFormer
96
 
97
- User: что умеешь
98
- Bot: поддерживать простой разговор
99
 
100
- User: ты работаешь на цп
101
- Bot: да, я работаю на процессоре
102
 
103
- User: сколько у тебя параметров
104
- Bot: около миллиона
105
 
106
- User: пока
107
- Bot: до встречи
108
  ```
109
 
110
  ## Обучение
111
 
112
  | Параметр | Значение |
113
  |---|---|
114
- | Диалогов | 500+ |
115
- | Токенов | ~7 000 |
116
- | Эпох | 150 |
117
- | Батч | 32 |
118
- | Оптимизатор | AdamW, lr=3e-3 |
119
- | Устройство | Tesla T4 (CUDA) |
120
- | Время | 5 минут ради ускорений |
121
- | Финальный loss | 0.042 |
 
 
 
122
 
123
  ## Структура репо
124
 
@@ -128,18 +143,22 @@ OpenRussianAI/andrey/
128
  ├── config.json
129
  ├── configuration_easyformer.py
130
  ├── modeling_easyformer.py
131
- ├── pytorch_model.bin
132
  └── tokenizer.json
133
  ```
134
 
135
  ## Ограничения
136
 
137
- - С матешей плоховато
138
- - Это не слово из датасета = мусор
 
 
 
 
139
 
140
  ## Лицензия
141
 
142
  MIT
143
 
144
- ## Сайт Easyformer
145
- https://sites.google.com/view/easyformer/home
 
20
  base_model: OpenRussianAI/andrey
21
  ---
22
 
23
+ # Andrey — EasyFormer 3.65M
24
 
25
  Лёгкий русскоязычный чат-бот на архитектуре EasyFormer.
26
+ Упрощённый decoder-only Transformer, ~3.65M параметров.
27
 
28
  ## О модели
29
 
30
  Andrey — компактный русскоязычный чат-бот на собственной архитектуре EasyFormer.
31
+ Внутри — упрощения для скорости: RMSNorm, FFN×2, weight tying.
32
+ Обучен честно признаваться в незнании на вопросы, ответа на которые у него нет.
 
 
33
 
34
  ## Архитектура
35
 
36
  | Параметр | Значение |
37
  |---|---|
38
  | Тип | decoder-only Transformer |
39
+ | Параметров | ~3.65M |
40
+ | Слоёв | 6 |
41
+ | d_model | 256 |
42
+ | Голов | 4 |
43
  | FFN | ×2, ReLU |
44
  | Нормализация | RMSNorm |
45
+ | Контекст | 512 токенов |
46
+ | Токенизатор | BPE, vocab 1412 |
47
  | Weight tying | lm_head ↔ tok_emb |
48
 
49
+ ## Eval results
50
+
51
+ | Метрика | Значение |
52
+ |---|---|
53
+ | Train loss | 0.60 |
54
+ | Val loss | 0.98 |
55
+ | idk_acc | 95.6% |
56
+ | Perplexity (val) | 2.66 |
57
+ | Шагов | 8000 |
58
+ | Диалогов | 3895 |
59
+
60
+ idk_acc — точность на вопросах-ловушках, где правильный ответ — «не знаю».
61
+
62
  ## Быстрый старт
63
 
64
  ```bash
65
+ pip install transformers torch huggingface_hub tokenizers
66
  ```
67
 
68
  ```python
69
+ import torch
70
+ from transformers.dynamic_module_utils import get_class_from_dynamic_module
71
+ from tokenizers import Tokenizer
72
  from huggingface_hub import hf_hub_download
73
 
74
  REPO = "OpenRussianAI/andrey"
75
 
76
+ cfg_cls = get_class_from_dynamic_module("configuration_easyformer.EasyFormerConfig", REPO)
77
+ model_cls = get_class_from_dynamic_module("modeling_easyformer.EasyFormerLMHeadModel", REPO)
 
 
 
78
 
79
+ cfg = cfg_cls.from_pretrained(REPO)
80
+ model = model_cls.from_pretrained(REPO, config=cfg).eval()
81
+
82
+ tok = Tokenizer.from_file(hf_hub_download(REPO, "tokenizer.json"))
83
 
84
  def ask(q, max_new=40, temp=0.6, top_k=20):
85
+ text = f"[USER] {q}[EOS][BOT] "
86
+ ids = tok.encode(text).ids
87
+ input_ids = torch.tensor([ids], dtype=torch.long)
88
+ with torch.no_grad():
89
+ out = model.generate(input_ids, max_new_tokens=max_new,
90
+ do_sample=True, temperature=temp, top_k=top_k)
91
+ result = tok.decode(out[0].tolist())
92
+ return result.split("[BOT]", 1)[-1].split("[USER]", 1)[0].strip()
93
 
94
  print(ask("привет"))
95
  ```
 
106
  User: кто ты
107
  Bot: я лёгкий чат-бот на EasyFormer
108
 
109
+ User: пока
110
+ Bot: до встречи
111
 
112
+ User: какой пароль от моей почты?
113
+ Bot: не знаю, если честно.
114
 
115
+ User: что я ел вчера?
116
+ Bot: без понятия, извини.
117
 
118
+ User: который час?
119
+ Bot: не могу ответить точно — не знаю.
120
  ```
121
 
122
  ## Обучение
123
 
124
  | Параметр | Значение |
125
  |---|---|
126
+ | Диалогов | 3895 |
127
+ | Отказов | ~600 |
128
+ | Шагов | 8000 |
129
+ | Батч | 16 |
130
+ | Grad accum | 2 |
131
+ | Оптимизатор | AdamW, lr=3e-4 |
132
+ | Scheduler | cosine + warmup 300 |
133
+ | Устройство | CUDA |
134
+ | Loss | 0.60 |
135
+
136
+ Отказы в loss весят ×2.
137
 
138
  ## Структура репо
139
 
 
143
  ├── config.json
144
  ├── configuration_easyformer.py
145
  ├── modeling_easyformer.py
146
+ ├── model.safetensors
147
  └── tokenizer.json
148
  ```
149
 
150
  ## Ограничения
151
 
152
+ - С матешей плоховато: сложные примеры решает неуверенно
153
+ - Что вне датасета — мусор: модель знает только темы из обучения
154
+ - Нет истории диалога: каждый запрос независим
155
+ - Контекст 512 токенов, дальше обрезается
156
+ - Отказы работают на типовых ловушках, на необычные вопросы может ответить уверенно и неправильно
157
+ - Обучена на 3895 диалогах — словарный запас и круг тем ограничены
158
 
159
  ## Лицензия
160
 
161
  MIT
162
 
163
+ ## Сайт EasyFormer
164
+ https://sites.google.com/view/easyformer/home