Update README.md
Browse files
README.md
CHANGED
|
@@ -3,7 +3,7 @@
|
|
| 3 |
## Описание задачи
|
| 4 |
Эта модель обучена на большом наборе русских анекдотов. Архитектура модели основана на трансформере с конфигурацией `mini` и использует:
|
| 5 |
- **Attention with Linear Biases (ALiBi)** для позиционного кодирования.
|
| 6 |
-
|
| 7 |
Дополнительно была реализована модификация модели с использованиием:
|
| 8 |
- **Multi-Headed Linear Attention (MHLA)** для эффективного вычисления внимания,
|
| 9 |
- **Rotary Positional Embedding (RoPE)** для позиционного кодирования.
|
|
|
|
| 3 |
## Описание задачи
|
| 4 |
Эта модель обучена на большом наборе русских анекдотов. Архитектура модели основана на трансформере с конфигурацией `mini` и использует:
|
| 5 |
- **Attention with Linear Biases (ALiBi)** для позиционного кодирования.
|
| 6 |
+
|
| 7 |
Дополнительно была реализована модификация модели с использованиием:
|
| 8 |
- **Multi-Headed Linear Attention (MHLA)** для эффективного вычисления внимания,
|
| 9 |
- **Rotary Positional Embedding (RoPE)** для позиционного кодирования.
|