SableAI-Dev commited on
Commit
4871e2f
·
verified ·
1 Parent(s): bb35abc

README: Axon system, Kit model, 89.3M parameters

Browse files
Files changed (1) hide show
  1. README.md +6 -6
README.md CHANGED
@@ -13,9 +13,9 @@ datasets:
13
  - HuggingFaceFW/fineweb-2
14
  ---
15
 
16
- # Kit-89M
17
 
18
- **Kit** — семейство лёгких и быстрых моделей [SableAI](#о-проекте) в системе **Axon**. Это первая модель семейства: небольшая русскоязычная языковая модель (GPT, 89M параметров), обученная **с нуля** на одной домашней видеокарте с 6 ГБ памяти. Веса не взяты ни у какой другой модели.
19
 
20
  **Это базовая модель, а не чат-бот.** Она продолжает текст, а не отвечает на вопросы. Она маленькая и обучена на небольшом корпусе, поэтому часто ошибается в фактах и теряет мысль. Не используйте её там, где нужна надёжность.
21
 
@@ -23,22 +23,22 @@ datasets:
23
 
24
  ## О проекте
25
 
26
- **SableAI** (sable — соболь) — компания, **Axon** — её ИИ-система (нейрон, связь, инженерия). Модели Axon названы по животным семейства куньих и выстроены от простого к сложному:
27
 
28
  | Модель | Для чего | Статус |
29
  |---|---|---|
30
- | **Kit** | простые и мгновенные задачи: лёгкая и быстрая, как детёныш соболя | первая модель выпущена (Kit-89M, эта страница) |
31
  | **Stout** | офисная работа и программирование: крепкая, надёжная, рабочая | в планах |
32
  | **Marten** | сложные аналитические задачи: умная и хитрая, как куница | в планах |
33
  | **Fisher** | глубокий научный и творческий потенциал, флагман | в планах |
34
 
35
- Kit — это семейство, а не одна модель: в него войдут версии разного размера и с разными языками. Kit-89M — стартовая точка, на которой отлаживаются данные, токенайзер и обучение. Дальнейшие планы: английский язык наравне с русским, затем другие языки и код. Всё это пока не реализовано, и у выпущенной модели этих возможностей нет.
36
 
37
  ## Характеристики
38
 
39
  | | |
40
  |---|---|
41
- | параметры | 89.3M (веса токенов и выходного слоя общие) |
42
  | слои / голова / размерность | 16 / 10 / 640 |
43
  | контекст | 512 токенов |
44
  | словарь | 16 000, byte-level BPE, обучен на том же корпусе |
 
13
  - HuggingFaceFW/fineweb-2
14
  ---
15
 
16
+ # Axon Kit
17
 
18
+ **Kit** — лёгкая и быстрая модель системы **Axon** компании [SableAI](#о-проекте). Это её первая выпущенная версия: небольшая русскоязычная языковая модель (GPT, **89,3 млн параметров**), обученная **с нуля** на одной домашней видеокарте с 6 ГБ памяти. Веса не взяты ни у какой другой модели.
19
 
20
  **Это базовая модель, а не чат-бот.** Она продолжает текст, а не отвечает на вопросы. Она маленькая и обучена на небольшом корпусе, поэтому часто ошибается в фактах и теряет мысль. Не используйте её там, где нужна надёжность.
21
 
 
23
 
24
  ## О проекте
25
 
26
+ **SableAI** (sable — соболь) — компания, **Axon** — её ИИ-система (нейрон, связь, инженерия). Модели системы Axon названы по животным семейства куньих и выстроены от простого к сложному:
27
 
28
  | Модель | Для чего | Статус |
29
  |---|---|---|
30
+ | **Kit** | простые и мгновенные задачи: лёгкая и быстрая, как детёныш соболя | первая версия выпущена (89,3 млн параметров, эта страница) |
31
  | **Stout** | офисная работа и программирование: крепкая, надёжная, рабочая | в планах |
32
  | **Marten** | сложные аналитические задачи: умная и хитрая, как куница | в планах |
33
  | **Fisher** | глубокий научный и творческий потенциал, флагман | в планах |
34
 
35
+ У Kit будут версии разного размера и с разными языками. Эта версия — стартовая точка, на которой отлаживаются данные, токенайзер и обучение. Дальнейшие планы: английский язык наравне с русским, затем другие языки и код. Всё это пока не реализовано, и у выпущенной модели этих возможностей нет.
36
 
37
  ## Характеристики
38
 
39
  | | |
40
  |---|---|
41
+ | параметры | **89,3 млн** (веса токенов и выходного слоя общие) |
42
  | слои / голова / размерность | 16 / 10 / 640 |
43
  | контекст | 512 токенов |
44
  | словарь | 16 000, byte-level BPE, обучен на том же корпусе |