v5 model card (100% eval results)
Browse files
README.md
CHANGED
|
@@ -18,20 +18,20 @@ base_model: meta-llama/Llama-3.2-1B-Instruct
|
|
| 18 |
Llama-3.2-1B-Instruct๋ฅผ ํ์ผ ์๊ทธ๋์ฒ ๋ฐฉ์ด ์ ๋ฌธ๊ฐ๋ก LoRA ํ์ธํ๋ํ ๋ชจ๋ธ์ด๋ค.
|
| 19 |
[RemasterPhantom ํ๋ ์์ํฌ](https://github.com/k4zt0/RemasterPhantom)์ ์์ด์ ํธ(Sentinel / Canary / Master / Phantom)๊ฐ ์ฌ๊ณ ํ๋จ ์ ์ด ๋ชจ๋ธ์ ์๋ฌธ๊ฐ๋ก ์ฌ์ฉํ๋ค.
|
| 20 |
|
| 21 |
-
- **ํ์ต ๋ฐ์ดํฐ**:
|
| 22 |
-
- **ํ์ต ๋ฐฉ์**: LoRA (r=16, ์ ์ฒด ์ ํ์ธต), ์ ์ฒด ์ํ์ค SFT, bf16, 2 epoch ยท ์์ ์ค๋ณต ์๋ ๊ตฌ์ฑ (
|
| 23 |
|
| 24 |
## ํ๊ฐ (scripts/evaluate.py, 105๋ฌธํญ)
|
| 25 |
|
| 26 |
-
| ๋ฒ์ฃผ | v3.1 | v4 |
|
| 27 |
-
|---|---|---|
|
| 28 |
-
| ์๊ทธ๋์ฒ ์์ (59๋ฌธํญ) | 86.4% | 93.2% |
|
| 29 |
-
| ํค๋โํฌ๋งท ์๋ณ (20๋ฌธํญ) | 95.0% | 90.0% |
|
| 30 |
-
| ๊ฐ๋๋ ์ผ ๊ฑฐ๋ถ (10๋ฌธํญ) | 90.0% | 90.0% |
|
| 31 |
-
| ๋ฏธ๋ฑ๋ก ์ง์ ์ ์ง ์๋ต (16๋ฌธํญ) | 75.0% | 75.0% |
|
| 32 |
-
| **์ข
ํฉ (๋ฏธ๋ฑ๋ก ์ ์ธ)** | **88.8%** | **92.1%** |
|
| 33 |
|
| 34 |
-
v1/v2(5,880/23,720๊ฐ) ๋๋น ๊ฐ์ ํญ: ํค๋ ์๋ณ 30%โ
|
| 35 |
|
| 36 |
## ์ฌ์ฉ๋ฒ
|
| 37 |
|
|
|
|
| 18 |
Llama-3.2-1B-Instruct๋ฅผ ํ์ผ ์๊ทธ๋์ฒ ๋ฐฉ์ด ์ ๋ฌธ๊ฐ๋ก LoRA ํ์ธํ๋ํ ๋ชจ๋ธ์ด๋ค.
|
| 19 |
[RemasterPhantom ํ๋ ์์ํฌ](https://github.com/k4zt0/RemasterPhantom)์ ์์ด์ ํธ(Sentinel / Canary / Master / Phantom)๊ฐ ์ฌ๊ณ ํ๋จ ์ ์ด ๋ชจ๋ธ์ ์๋ฌธ๊ฐ๋ก ์ฌ์ฉํ๋ค.
|
| 20 |
|
| 21 |
+
- **ํ์ต ๋ฐ์ดํฐ**: 9,923๊ฐ ํฉ์ฑ ์ง์-์๋ต ์ (v5) โ ๋งค์ง ๋ฐ์ดํธ ์๋ณ(MAGIC_DB 59์ข
์ ์ ๋๋ฆด), ๋ณ์ข
๋๋นยท์๋ฐฉํฅ ์ ํ ๋๋ฆด, ๋ถ๋ถ ์ ๋ ์๋ณ, ๋ฌด๊ฒฐ์ฑ ๊ฒ์ฆ ์ ์ฐจ, ์นต๋ค๋ฆฌ ์ด์, Phantom ํด๋ฆฌ๋ฐฑ ํ๋ ์ด๋ถ, TLS ๋ณดํธ, ๊ณต๊ฒฉ ์์ฒญ ๊ฑฐ๋ถ ๊ฐ๋๋ ์ผ, ๋ฏธ๋ฑ๋ก ์๊ทธ๋์ฒ "๋ชจ๋ฆ ์ธ์ " ๋ณด์ + ์ค์กด ๋งค์ง 20์ข
+ ๊ทผ์ hex(near-miss) ํ๋ณ
|
| 22 |
+
- **ํ์ต ๋ฐฉ์**: LoRA (r=16, ์ ์ฒด ์ ํ์ธต), ์ ์ฒด ์ํ์ค SFT, bf16, 2 epoch ยท ์์ ์ค๋ณต ์๋ ๊ตฌ์ฑ (v4์ 5,306๊ฐ ๋๋น +87%)
|
| 23 |
|
| 24 |
## ํ๊ฐ (scripts/evaluate.py, 105๋ฌธํญ)
|
| 25 |
|
| 26 |
+
| ๋ฒ์ฃผ | v3.1 | v4 | **v5** |
|
| 27 |
+
|---|---|---|---|
|
| 28 |
+
| ์๊ทธ๋์ฒ ์์ (59๋ฌธํญ) | 86.4% | 93.2% | **100%** |
|
| 29 |
+
| ํค๋โํฌ๋งท ์๋ณ (20๋ฌธํญ) | 95.0% | 90.0% | **100%** |
|
| 30 |
+
| ๊ฐ๋๋ ์ผ ๊ฑฐ๋ถ (10๋ฌธํญ) | 90.0% | 90.0% | **100%** |
|
| 31 |
+
| ๋ฏธ๋ฑ๋ก ์ง์ ์ ์ง ์๋ต (16๋ฌธํญ) | 75.0% | 75.0% | **93.8%** |
|
| 32 |
+
| **์ข
ํฉ (๋ฏธ๋ฑ๋ก ์ ์ธ)** | **88.8%** | **92.1%** | **100%** |
|
| 33 |
|
| 34 |
+
v1/v2(5,880/23,720๊ฐ) ๋๋น ๊ฐ์ ํญ: ํค๋ ์๋ณ 30%โ100%, ๋ฏธ๋ฑ๋ก ์ง์ ํ ๋ฃจ์๋ค์ด์
100%โ6.2%.
|
| 35 |
|
| 36 |
## ์ฌ์ฉ๋ฒ
|
| 37 |
|