Model card: baselines incl. LLM teacher
Browse files
README.md
CHANGED
|
@@ -71,14 +71,20 @@ cat corpus.txt | kammoon --sep " " # อ่าน stdin ทีละบร
|
|
| 71 |
| วิธี | Precision | Recall | F1 |
|
| 72 |
|---|---|---|---|
|
| 73 |
| PyThaiNLP `newmm` (ตัดคำแบบ BEST) | 0.962 | 0.687 | 0.802 |
|
|
|
|
|
|
|
|
|
|
| 74 |
| ตัดตามพยางค์ (PyThaiNLP `syllable_tokenize`) | 0.821 | 0.991 | 0.898 |
|
| 75 |
| unigram Viterbi จากพจนานุกรม silver | 0.975 | 0.881 | 0.925 |
|
|
|
|
| 76 |
| BiLSTM train จาก silver อย่างเดียว + กฎจาก guideline | 0.981 | 0.965 | 0.973 |
|
| 77 |
| **kammoon 0.1.0** | **0.992** | **0.993** | **0.992** |
|
| 78 |
|
| 79 |
ความเร็ว ~30k ตัวอักษร/วินาที ต่อ CPU 1 thread (ONNX Runtime) หรือ ~13k (numpy ล้วน), โมเดล 4.2 MB, ~1M พารามิเตอร์
|
| 80 |
|
| 81 |
-
`newmm` ตัดตามนิยาม "คำ" ของ BEST2009 ไม่ใช่คำมูล จึงได้ recall ต่ำ — ตารางนี้วัดว่าใกล้นิยามคำมูลแค่ไหน ไม่ได้วัดคุณภาพของ
|
|
|
|
|
|
|
| 82 |
|
| 83 |
## ข้อมูลและการแบ่งชุด / Data
|
| 84 |
|
|
|
|
| 71 |
| วิธี | Precision | Recall | F1 |
|
| 72 |
|---|---|---|---|
|
| 73 |
| PyThaiNLP `newmm` (ตัดคำแบบ BEST) | 0.962 | 0.687 | 0.802 |
|
| 74 |
+
| nlpO3 (newmm ใน Rust) | 0.961 | 0.693 | 0.805 |
|
| 75 |
+
| deepcut | 0.972 | 0.875 | 0.921 |
|
| 76 |
+
| AttaCut | 0.981 | 0.874 | 0.925 |
|
| 77 |
| ตัดตามพยางค์ (PyThaiNLP `syllable_tokenize`) | 0.821 | 0.991 | 0.898 |
|
| 78 |
| unigram Viterbi จากพจนานุกรม silver | 0.975 | 0.881 | 0.925 |
|
| 79 |
+
| Qwen3-30B-A3B, LLM pipeline 2-pass ที่ใช้สร้าง silver (prompt v6-3, T=0.2) | 0.975 | 0.948 | 0.962 |
|
| 80 |
| BiLSTM train จาก silver อย่างเดียว + กฎจาก guideline | 0.981 | 0.965 | 0.973 |
|
| 81 |
| **kammoon 0.1.0** | **0.992** | **0.993** | **0.992** |
|
| 82 |
|
| 83 |
ความเร็ว ~30k ตัวอักษร/วินาที ต่อ CPU 1 thread (ONNX Runtime) หรือ ~13k (numpy ล้วน), โมเดล 4.2 MB, ~1M พารามิเตอร์
|
| 84 |
|
| 85 |
+
`newmm`, deepcut และ AttaCut ตัดตามนิยาม "คำ" ของ BEST2009 ไม่ใช่คำมูล จึงได้ recall ต่ำ — ตารางนี้วัดว่าใกล้นิยามคำมูลแค่ไหน ไม่ได้วัดคุณภาพของเครื่องมือเหล่านั้นในงานของมันเอง (`scripts/baselines_test.py`)
|
| 86 |
+
แถว Qwen3-30B-A3B คือผลที่บันทึกไว้ของ LLM pipeline ตัวเดียวกับที่ติดป้าย silver รันบนข้อความ golden-test (`scripts/eval_llm_outputs.py`)
|
| 87 |
+
— kammoon ซึ่งเล็กกว่าราว 30,000 เท่าและรันบน CPU ทำ error น้อยกว่า LLM ตัวนี้ราว 5 เท่า
|
| 88 |
|
| 89 |
## ข้อมูลและการแบ่งชุด / Data
|
| 90 |
|