README: Axon system, Kit model, 89.3M parameters
Browse files
README.md
CHANGED
|
@@ -13,9 +13,9 @@ datasets:
|
|
| 13 |
- HuggingFaceFW/fineweb-2
|
| 14 |
---
|
| 15 |
|
| 16 |
-
# Kit
|
| 17 |
|
| 18 |
-
**Kit** —
|
| 19 |
|
| 20 |
**Это базовая модель, а не чат-бот.** Она продолжает текст, а не отвечает на вопросы. Она маленькая и обучена на небольшом корпусе, поэтому часто ошибается в фактах и теряет мысль. Не используйте её там, где нужна надёжность.
|
| 21 |
|
|
@@ -23,22 +23,22 @@ datasets:
|
|
| 23 |
|
| 24 |
## О проекте
|
| 25 |
|
| 26 |
-
**SableAI** (sable — соболь) — компания, **Axon** — её ИИ-система (нейрон, связь, инженерия). Модели Axon названы по животным семейства куньих и выстроены от простого к сложному:
|
| 27 |
|
| 28 |
| Модель | Для чего | Статус |
|
| 29 |
|---|---|---|
|
| 30 |
-
| **Kit** | простые и мгновенные задачи: лёгкая и быстрая, как детёныш соболя | первая
|
| 31 |
| **Stout** | офисная работа и программирование: крепкая, надёжная, рабочая | в планах |
|
| 32 |
| **Marten** | сложные аналитические задачи: умная и хитрая, как куница | в планах |
|
| 33 |
| **Fisher** | глубокий научный и творческий потенциал, флагман | в планах |
|
| 34 |
|
| 35 |
-
Kit
|
| 36 |
|
| 37 |
## Характеристики
|
| 38 |
|
| 39 |
| | |
|
| 40 |
|---|---|
|
| 41 |
-
| параметры | 89
|
| 42 |
| слои / голова / размерность | 16 / 10 / 640 |
|
| 43 |
| контекст | 512 токенов |
|
| 44 |
| словарь | 16 000, byte-level BPE, обучен на том же корпусе |
|
|
|
|
| 13 |
- HuggingFaceFW/fineweb-2
|
| 14 |
---
|
| 15 |
|
| 16 |
+
# Axon Kit
|
| 17 |
|
| 18 |
+
**Kit** — лёгкая и быстрая модель системы **Axon** компании [SableAI](#о-проекте). Это её первая выпущенная версия: небольшая русскоязычная языковая модель (GPT, **89,3 млн параметров**), обученная **с нуля** на одной домашней видеокарте с 6 ГБ памяти. Веса не взяты ни у какой другой модели.
|
| 19 |
|
| 20 |
**Это базовая модель, а не чат-бот.** Она продолжает текст, а не отвечает на вопросы. Она маленькая и обучена на небольшом корпусе, поэтому часто ошибается в фактах и теряет мысль. Не используйте её там, где нужна надёжность.
|
| 21 |
|
|
|
|
| 23 |
|
| 24 |
## О проекте
|
| 25 |
|
| 26 |
+
**SableAI** (sable — соболь) — компания, **Axon** — её ИИ-система (нейрон, связь, инженерия). Модели системы Axon названы по животным семейства куньих и выстроены от простого к сложному:
|
| 27 |
|
| 28 |
| Модель | Для чего | Статус |
|
| 29 |
|---|---|---|
|
| 30 |
+
| **Kit** | простые и мгновенные задачи: лёгкая и быстрая, как детёныш соболя | первая версия выпущена (89,3 млн параметров, эта страница) |
|
| 31 |
| **Stout** | офисная работа и программирование: крепкая, надёжная, рабочая | в планах |
|
| 32 |
| **Marten** | сложные аналитические задачи: умная и хитрая, как куница | в планах |
|
| 33 |
| **Fisher** | глубокий научный и творческий потенциал, флагман | в планах |
|
| 34 |
|
| 35 |
+
У Kit будут версии разного размера и с разными языками. Эта версия — стартовая точка, на которой отлаживаются данные, токенайзер и обучение. Дальнейшие планы: английский язык наравне с русским, затем другие языки и код. Всё это пока не реализовано, и у выпущенной модели этих возможностей нет.
|
| 36 |
|
| 37 |
## Характеристики
|
| 38 |
|
| 39 |
| | |
|
| 40 |
|---|---|
|
| 41 |
+
| параметры | **89,3 млн** (веса токенов и выходного слоя общие) |
|
| 42 |
| слои / голова / размерность | 16 / 10 / 640 |
|
| 43 |
| контекст | 512 токенов |
|
| 44 |
| словарь | 16 000, byte-level BPE, обучен на том же корпусе |
|