Token Classification
ONNX
Thai
thai
word-segmentation
morpheme-segmentation
Warit commited on
Commit
aa07a77
·
verified ·
1 Parent(s): 3dbda7a

Model card: baselines incl. LLM teacher

Browse files
Files changed (1) hide show
  1. README.md +7 -1
README.md CHANGED
@@ -71,14 +71,20 @@ cat corpus.txt | kammoon --sep " " # อ่าน stdin ทีละบร
71
  | วิธี | Precision | Recall | F1 |
72
  |---|---|---|---|
73
  | PyThaiNLP `newmm` (ตัดคำแบบ BEST) | 0.962 | 0.687 | 0.802 |
 
 
 
74
  | ตัดตามพยางค์ (PyThaiNLP `syllable_tokenize`) | 0.821 | 0.991 | 0.898 |
75
  | unigram Viterbi จากพจนานุกรม silver | 0.975 | 0.881 | 0.925 |
 
76
  | BiLSTM train จาก silver อย่างเดียว + กฎจาก guideline | 0.981 | 0.965 | 0.973 |
77
  | **kammoon 0.1.0** | **0.992** | **0.993** | **0.992** |
78
 
79
  ความเร็ว ~30k ตัวอักษร/วินาที ต่อ CPU 1 thread (ONNX Runtime) หรือ ~13k (numpy ล้วน), โมเดล 4.2 MB, ~1M พารามิเตอร์
80
 
81
- `newmm` ตัดตามนิยาม "คำ" ของ BEST2009 ไม่ใช่คำมูล จึงได้ recall ต่ำ — ตารางนี้วัดว่าใกล้นิยามคำมูลแค่ไหน ไม่ได้วัดคุณภาพของ newmm ในงานของมันเอง
 
 
82
 
83
  ## ข้อมูลและการแบ่งชุด / Data
84
 
 
71
  | วิธี | Precision | Recall | F1 |
72
  |---|---|---|---|
73
  | PyThaiNLP `newmm` (ตัดคำแบบ BEST) | 0.962 | 0.687 | 0.802 |
74
+ | nlpO3 (newmm ใน Rust) | 0.961 | 0.693 | 0.805 |
75
+ | deepcut | 0.972 | 0.875 | 0.921 |
76
+ | AttaCut | 0.981 | 0.874 | 0.925 |
77
  | ตัดตามพยางค์ (PyThaiNLP `syllable_tokenize`) | 0.821 | 0.991 | 0.898 |
78
  | unigram Viterbi จากพจนานุกรม silver | 0.975 | 0.881 | 0.925 |
79
+ | Qwen3-30B-A3B, LLM pipeline 2-pass ที่ใช้สร้าง silver (prompt v6-3, T=0.2) | 0.975 | 0.948 | 0.962 |
80
  | BiLSTM train จาก silver อย่างเดียว + กฎจาก guideline | 0.981 | 0.965 | 0.973 |
81
  | **kammoon 0.1.0** | **0.992** | **0.993** | **0.992** |
82
 
83
  ความเร็ว ~30k ตัวอักษร/วินาที ต่อ CPU 1 thread (ONNX Runtime) หรือ ~13k (numpy ล้วน), โมเดล 4.2 MB, ~1M พารามิเตอร์
84
 
85
+ `newmm`, deepcut และ AttaCut ตัดตามนิยาม "คำ" ของ BEST2009 ไม่ใช่คำมูล จึงได้ recall ต่ำ — ตารางนี้วัดว่าใกล้นิยามคำมูลแค่ไหน ไม่ได้วัดคุณภาพของเครื่องมือเหล่านั้นในงานของมันเอง (`scripts/baselines_test.py`)
86
+ แถว Qwen3-30B-A3B คือผลที่บันทึกไว้ของ LLM pipeline ตัวเดียวกับที่ติดป้าย silver รันบนข้อความ golden-test (`scripts/eval_llm_outputs.py`)
87
+ — kammoon ซึ่งเล็กกว่าราว 30,000 เท่าและรันบน CPU ทำ error น้อยกว่า LLM ตัวนี้ราว 5 เท่า
88
 
89
  ## ข้อมูลและการแบ่งชุด / Data
90