Upload README.md with huggingface_hub
Browse files
README.md
ADDED
|
@@ -0,0 +1,30 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
+
base_model: unsloth/Qwen3.6-35B-A3B
|
| 3 |
+
library_name: peft
|
| 4 |
+
tags: [lora, unsloth, qwen3.6, thai, construction-drawing, vlm]
|
| 5 |
+
---
|
| 6 |
+
|
| 7 |
+
# Courser_c — t05 "Courser" fold2
|
| 8 |
+
|
| 9 |
+
LoRA adapter สำหรับอ่านแบบก่อสร้าง คสล. ภาษาไทย (โปรเจกต์ Constistant / STECON SS4)
|
| 10 |
+
|
| 11 |
+
| | |
|
| 12 |
+
|---|---|
|
| 13 |
+
| base | `unsloth/Qwen3.6-35B-A3B` (bf16 LoRA — ตระกูลนี้ quantize ไม่ได้) |
|
| 14 |
+
| fold | **fold2** จาก k=5 (รัน 4 fold) · train/val = 32/8 บ้าน (4:1) |
|
| 15 |
+
| train | 1051 แถว — pass1 798 · pass0 164 · pass2.4 71 · pass3 18 |
|
| 16 |
+
| val | 254 แถว — pass1 222 · pass0 7 · pass2.4 20 · pass3 5 |
|
| 17 |
+
| LoRA | r=16 α=32 dropout=0 · แปะทุก layer รวม MoE experts ทั้ง 256 |
|
| 18 |
+
| epochs | 2 · lr 1e-4 cosine · batch 1×8 · adamw_8bit · seed 3407 |
|
| 19 |
+
| ภาพ | 7,680 visual token/ภาพ (≈7.86 MP) · MAX_LENGTH 47,104 |
|
| 20 |
+
|
| 21 |
+
## 4 pass ที่เทรนพร้อมกัน
|
| 22 |
+
- **pass0** จำแนกหน้าแบบ · **pass1** สกัด 7 subtask จากรูปเปล่า
|
| 23 |
+
- **pass2.4** สกัดพร้อม hint จาก CV · **pass3** ถอดปริมาณจากรูปที่ CV มาร์คแล้ว
|
| 24 |
+
|
| 25 |
+
## การแบ่ง fold
|
| 26 |
+
แบ่งแบบ **stratified ตาม pass** — มีแค่ 10 จาก 40 บ้านที่มี pass0/2.4/3
|
| 27 |
+
(pass0 มีแค่ 5 บ้าน) ถ้าแบ่งสุ่มธรรมดา val จะไม่มี pass0/pass3 เลยและวัดผลไม่ได้
|
| 28 |
+
|
| 29 |
+
⚠️ adapter ตัวเดียวเป็นแค่ 1 ใน 4 fold — **ตัวที่ใช้งานจริงคือ
|
| 30 |
+
[`dacarokann/destrier`](https://huggingface.co/dacarokann/destrier)** ที่รวมทั้ง 4 fold แล้ว
|