🚀🕶️ Anonymous-100M TURBO — model ngôn ngữ tiếng Việt
Kiến trúc
| Hạng mục | Giá trị |
|---|---|
| Tổng tham số | ~99.12M |
| Kiến trúc | Decoder-only · RoPE · GQA 3:1 · SwiGLU · RMSNorm · QK-Norm · Tied embedding |
| d_model / lớp / đầu | 576 / 24 / 9Q-3KV |
| FFN SwiGLU | 1536 (~2.67×d) |
| Context | 2048 token |
| Vocab | 24,576 (BPE byte-level tiếng Việt) |
Dữ liệu huấn luyện (TURBO — không lọc)
- Nguồn: VTSNLP/vietnamese_curated_dataset
- Văn bản đã lấy: 280,082 (KHÔNG qua bước lọc)
- Kích thước text:
1.50 GB (0.31 tỷ token, uint16) - Tokenizer: BPE byte-level, vocab 24576
Kết quả train
| Chỉ số | Giá trị |
|---|---|
| Số bước optimizer | 940 |
| Tổng token đã học | 0.062B |
| Train loss cuối | 3.89481 |
| Val loss cuối | 4.94271 (ppl ~140.1) |
| Throughput | ~15.5K token/s |
Giới Hạn
- Model ~100M tham số, chạy chế độ TURBO (không lọc data) nên chất lượng có thể thấp hơn bản train đầy đủ. Phù hợp sinh văn bản tự nhiên ngắn, chưa được instruction-tune, có thể sai thực tế.
- Văn phong thiên về dữ liệu vietnamese_curated_dataset.
- Downloads last month
- 8