KenteaKe11 commited on
Commit
4ea3a84
·
verified ·
1 Parent(s): ee9e9d9

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +7 -1
README.md CHANGED
@@ -10,6 +10,10 @@ tags:
10
  - dct
11
  - swiglu
12
  - custom_code
 
 
 
 
13
  ---
14
 
15
  # KenT-300M-Base
@@ -41,6 +45,8 @@ D là ma trận DCT-II trực chuẩn cố định (hàng = tần số, vector h
41
  | tham số | ≈ 302.42M (embedding 67.55M) |
42
  | trạng thái giải mã | H shape (13, 1344), O(1) theo độ dài |
43
 
 
 
44
  EMA khởi tạo theo cấp số nhân từ 0.5 (tap đầu, feature đầu) đến 0.01 (tap cuối, feature cuối); vẫn học được.
45
  EMA chạy FP32 bằng affine-scan log-depth, kết quả bằng đúng hồi quy tuần tự.
46
 
@@ -50,4 +56,4 @@ tok = AutoTokenizer.from_pretrained("Vi-LAB/KenT-300M-Base", trust_remote_code=T
50
  model = AutoModelForCausalLM.from_pretrained("Vi-LAB/KenT-300M-Base", trust_remote_code=True)
51
  ```
52
 
53
- Hoặc `python infer.py --model Vi-LAB/KenT-300M-Base --prompt "Today the weather is"`.
 
10
  - dct
11
  - swiglu
12
  - custom_code
13
+ - base
14
+ datasets:
15
+ - wikimedia/wikipedia
16
+ - HuggingFaceFW/fineweb-edu
17
  ---
18
 
19
  # KenT-300M-Base
 
45
  | tham số | ≈ 302.42M (embedding 67.55M) |
46
  | trạng thái giải mã | H shape (13, 1344), O(1) theo độ dài |
47
 
48
+ ![KenT diagram](KenT.png)
49
+
50
  EMA khởi tạo theo cấp số nhân từ 0.5 (tap đầu, feature đầu) đến 0.01 (tap cuối, feature cuối); vẫn học được.
51
  EMA chạy FP32 bằng affine-scan log-depth, kết quả bằng đúng hồi quy tuần tự.
52
 
 
56
  model = AutoModelForCausalLM.from_pretrained("Vi-LAB/KenT-300M-Base", trust_remote_code=True)
57
  ```
58
 
59
+ Hoặc `python infer.py --model Vi-LAB/KenT-300M-Base --prompt "Today the weather is"`.