Instructions to use mulkzz/kestrel-edu-ner-6l with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use mulkzz/kestrel-edu-ner-6l with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("token-classification", model="mulkzz/kestrel-edu-ner-6l")# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForTokenClassification tokenizer = AutoTokenizer.from_pretrained("mulkzz/kestrel-edu-ner-6l") model = AutoModelForTokenClassification.from_pretrained("mulkzz/kestrel-edu-ner-6l", device_map="auto") - Notebooks
- Google Colab
- Kaggle
- 1. ๋ชจ๋ธ ์์ฝ (
v1.2.1, ๋ผ๋ฒจ ํ๋กํ์ผedu-v1+fmtยท 29ํด๋์ค BIO) - 2. ์ํคํ
์ฒ ยท ๋ค์ค ์ ํธ ์ง์ ์ฆ๋ฅ ยท ๋ฌด์ฝ๋ ๋ณด์ ์ค๊ณ
- 3. ๋ผ๋ฒจ ์คํค๋ง (
edu-v1+fmt, 29ํด๋์ค BIO) ๋ฐ ์ ์ถ๋ ฅ ๊ท๊ฒฉ - 4. ์๋น ๋ฐ ํธ์ถ ์์
- 5. ์ฌ์ฉ ๋ฒ์ ยท ์์ฌ ํ๊ณ ยท ์ธ๋ถ ํ๊ฐ ๋ฐ์ดํฐ ๊ณ ์ง ยท ๋ผ์ด์ ์ค
- 6. ํ์ตยท์ฆ๋ฅ ๋์ญํ ๋ฐ ๋ถํฌ ๋ด(
dev_v1_2ยท ๋จ๋ฐitest_v1_2) ์์ธ ์งํ
Korean | English
1. ๋ชจ๋ธ ์์ฝ (v1.2.1, ๋ผ๋ฒจ ํ๋กํ์ผ edu-v1+fmt ยท 29ํด๋์ค BIO)
mulkzz/kestrel-edu-ner-6l(v1.2.1, ๋ผ๋ฒจ ํ๋กํ์ผ edu-v1+fmt)๋ ๊ต์ฌ๊ฐ ์ธ๋ถ LLM(OpenRouter ๋ฑ)์ ํ์ ๊ธฐ๋กยท์๋ด ์ผ์งยท์ํ๊ธฐ๋ก๋ถ ์ด์ยทํ๋ถ๋ชจ ์๋ด๋ฌธ์ ๋ณด๋ด๊ธฐ ์ ์ ๊ฐ์ธ์๋ณ์ ๋ณด(PII)๋ฅผ ํ์งยท๊ฐ๋ช
ํํ๊ธฐ ์ํด ์ค๊ณ๋ ํ๊ตญ์ด ๊ต์ก ๋๋ฉ์ธ ์ ์ฉ 6์ธต ๊ฒฝ๋ ํ ํฐ ๋ถ๋ฅ(NER) ๋ชจ๋ธ์
๋๋ค. skt/A.X-Encoder-base(9708f9c, Apache-2.0)๋ฅผ 22์ธต ๊ต์ฌ ๋ชจ๋ธ(mulkzz/kestrel-edu-ner-22l@20133bbd)๋ก ๋ฏธ์ธ์กฐ์ ํ ๋ค, ์ ์ญยท๊ตญ์ ์ดํ
์
๋ฐ RoPE ์ฃผํ์๊ฐ 1:1๋ก ๋์ํ๋ 6๊ฐ ์ธต([0, 4, 9, 13, 18, 20], global_attn_every_n_layers=2)์ผ๋ก ๋ค์ค ์ ํธ ์ง์ ์ฆ๋ฅ(Logit KL + ์๋์ธต ์ฝ์ฌ์ธ ์ ๋ ฌ + ํ๋ CE)ํ๊ณ ๋ฌด์ฝ๋ ์จ๋ยท๋ง์ง ๋ณด์ ($T = 1.428$, $\delta_O = +0.225$) ๋ฐ ์ฑ๋๋ณ ๋์ INT8 ์์ํ(onnx/model_int8.onnx, 69.62 MB)๋ฅผ ์ ์ฉํ์ต๋๋ค.
๋ณธ v1.2.1 ๋ฆด๋ฆฌ์ค๋ v1.2์ 29ํด๋์ค ์ ๊ฒฝ๋ง ๊ฐ์ค์น(sha256: b8010203..., ๋ฌด์ฌํ์ต 100% ๋์ผ) ์์ ๋ฐํ์ ํ๊ตญ์ด ์กฐ์ฌยท์ด๊ฐ ํ์ฒ๋ฆฌ ๊ฒฐํจ 3๊ฑด(1์์ ํ๊ธยทํ์ ์ธ๋ช
๋ณด์กด, ๊ณต๋ฐฑ ์ฑ๋ช
์ด๊ฐ ํํ, ๋ฐ์นจ ์์ด ์กฐ๊ฑด๋ถ ์กฐ์ฌ ์ ๋จ)์ ์์ ํ์ฌ dorms-pii-ner-bench v1.1 ํต์ฌ ์ ๋ต ๋๋ฝ ๋ฌธํญ ๋น์จ์ 17.0% โ 8.4% (-8.6%p, ์์ธก McNemar $p < 0.0001$)๋ก ์ ๋ฐ ์ดํ ๊ฐ์ถํ ์ต์ ๋ฆด๋ฆฌ์ค์
๋๋ค.
- ๋ธ๋์น ยท ๋ฆฌ๋น์ ๋ฐ ๋ฐฐํฌ ํํฉ ์๋ด:
mainยทv1.2.1ยทv1.2(ํ์ฌ ๊ธฐ๋ณธ๊ฐ): 29ํด๋์คedu-v1+fmt๊ฐ์ค์น ๋ฐv1.2.1ํ๊ฐยทํ์ฒ๋ฆฌ ๊ท๊ฒฉ์ ์ ๊ณตํฉ๋๋ค. DoRms Alias ๋ก์ปฌ ๋ธ๋ฆฌ์ง(alias-bridge) ์จ๋๋ฐ์ด์ค ๊ธฐ๋ณธ ๋ชจ๋ธ ๋ฐ ์๋ฒpii-worker๋น๋๊ธฐ ๋ฌด๋ ธ์ถ Shadow ๊ฒ์ฆ ๋ชจ๋ธ๋ก ์ฑํ๋์ด ์์ต๋๋ค.v1.0๋ธ๋์น ยท ํ๊ทธ (์๊ตฌ ๋๊ฒฐ ๊ธฐ์ค์ ): ์ต์ด ๋จ๋ฐ(Single-Shot) 9ํด๋์ค(edu-v1) ๊ธฐ์ค์ ๊ฐ์ค์น์ ๊ธฐ๋ก์revision="v1.0"(b61b3e8231491d16dca16566ef03e34ed57fcda0)์ ๋ฌด๋ณ๊ฒฝ ์ํ๋ก ์๊ตฌ ๋ณด์กด๋ฉ๋๋ค.
- ์์ 22์ธต ๊ต์ฌ ๋ชจ๋ธ: mulkzz/kestrel-edu-ner-22l (
20133bbde74f46bee9d51dcbb937cd58683a9200) - ๊ธฐ๋ฐ ์ธ์ฝ๋: skt/A.X-Encoder-base (
9708f9c404ace91efd25c06fac2d73413616f4ef,pad_token_id=49999, Apache-2.0) - ํฌํจ ๊ฐ์ค์น (
v1.2์ ๋นํธ ๋จ์ ๋์ผ ํด์):model.safetensors: ์จ๋ยท๋ง์ง ๋ณด์ ํก์ ์๋ฃ(T = 1.428,O๋ง์ง+0.225) 6์ธต FP32 ๊ฐ์ค์น (276.42 MB, ์ด ํ๋ผ๋ฏธํฐ69.10M/ ๋น์๋ฒ ๋ฉ ํ๋ ฌ ์ฐ์ฐ ํ๋ผ๋ฏธํฐ30.70M)onnx/model.onnx: ONNX Opset 17 FP32 ๊ธฐ์ค ๊ทธ๋ํ (276.60 MB, PyTorch ๋๋นmax |ฮlogit| = 7.49e-5,argmax์ผ์น100.00%)onnx/model_int8.onnx:MatMul + Gemm + Gather์ฑ๋๋ณ ๋์ INT8 ๋ฐฐํฌ ๊ทธ๋ํ (69.62 MB, 29ํด๋์คclassifier์ ํ์ธต FP32 ๋ณด์กด)
- ํ์ต ๋ฐ์ดํฐ ์์น: ์ค์ ํ์ ์๋ฃ
0๊ฑด, ์ธ๋ถ ์์ฉ LLM(OpenAIยทGemini/Gemma ๋ฑ) ์์ฑ๋ฌธ0๊ฑด. ๊ฒฐ์ ๋ก ์ ๊ท์นยท์ฌ๋กฏ ๋ฌธ๋ฒ๊ณผ ๊ต์ฌ ์ ๋ฌด 12์ฅ๋ฅด ๋๊ฒฐ ํ ์ํ(๋ฒค์น๋งํฌ์ ํด๋ฌ์คํฐยท8-gram ์์ ๋ถ๋ฆฌ)์์ ํฉ์ฑํ ๋ผ๋ฒจ28,000๊ฑด + ๋ฌด๋ผ๋ฒจ100,000๊ฑด์ผ๋กNVIDIA L40S์์ ํ์ตยท์ฆ๋ฅํ์ต๋๋ค(9,397์คํ ,76.12M์ ํจ ํ ํฐ).
๋
๋ฆฝ ๋ฒค์น๋งํฌ dorms-pii-ner-bench v1.1 ์ฌํ ๋ณด์ ์ธก์ ์์ฝ (post-v1.1, n = 848๋ฌธํญ ยท 2,009 span)
์ธก์ ์ฑ๊ฒฉ ๊ณ ์ง:
dorms-pii-ner-bench v1.1์v1.0๋จ๋ฐ ์ธก์ ํ ์ฌํ ์์ธ ๊ฐ์ฌ๋ฅผ ๋ฐ์ํv1.2์ฌํ์ต ๋ฐv1.2.1ํ๊ตญ์ด ์กฐ์ฌ ํ์ฒ๋ฆฌ ๊ฒฐํจ ์์ ์ ๊ฑฐ์ณ ์ฌ์ธก์ ํ์ผ๋ฏ๋ก ๋ชจ๋v1.1์์น์post-v1.1(์ฌํ ๋ณด์ ์ธก์ ) ํ๊ธฐ๋ฅผ ๋ณ๊ธฐํฉ๋๋ค. ์ด๋ ์ด๋ ฅ์ด ์ ํ ์๋ ๋ฏธ๋ ธ์ถ ํฉ์ฑ ๋จ๋ฐ ํ๊ฐ๋ ๋ณ๋ ๋๊ฒฐ๋itest_v1_2(3,000๋ฌธํญ, ํ๋จ 6์ )๋ก ๊ต์ฐจ ๊ฒ์ฆํ์ต๋๋ค.
Fig. 1 |
dorms-pii-ner-bench v1.1(post-v1.1, 848๋ฌธํญ ยท ํต์ฌ ์ ๋ต 1,693๊ฐ ยท ํ๋จ ์ ๋ณด 316๊ฐ)์์kestrel-edu-ner-6l v1.2.1(onnx/model_int8.onnx, 29 BIO)๊ณผ ํํ ๊ธฐ์ค ๋ชจ๋ธkoredact-int8(infobank-corp/koredact-bert-base-onnx-int8@a2e7696, 12์ธต BERT INT8) ๋น๊ต. a, ๊ท์น ๋จ๋ (NER disabled),๊ท์น+koredact-int8,๊ท์น+kestrel-6l v1.2.1์ ๋ฌธํญ ์์ ์ ์ค๋ฅ (1 โ ๋๋ฝ ๋ฌธํญ ๋น์จ) ๋ฐ 4๋ ํต์ฌ ์ ํ ์ฌํ์จ(Wilson 95% CI). ํต์ฌ ์ ๋ต์ด ํ๋๋ผ๋ ๋๋ฝ๋ ๋ฌธํญ ๋น์จ์ด17.0% (109/643)(๋์ผv1.2.1๋ฐํ์ ๊ธฐ์ค16.8% 108/643)์์8.4% (54/643)(์ ์ค๋ฅ91.6%)๋ก ์ ๋ฐ ์ดํ ๊ฐ์ถ๋จ(๋ถ์ผ์น27๋82, ๋ฌธํญ ๋จ์ ์ ํ ์์ธก McNemar $p < 0.0001$). b, ๋ฌธํญ ๊ตฐ์ง ๋ถํธ์คํธ๋ฉ(2,000ํ, Miller 2024arXiv:2411.00640) ์ ๋ต ์ฌํ์จ ์๋ ์ฐจ์ด: ์ ์ฒด ํต์ฌ ์ ๋ต+4.8%p [+3.1, +6.6]($p < 0.0001$; NER ๋จ๋+8.9%p [+6.7, +11.1]),ORG +63.7%p [+53.1, +74.0]($p < 0.0001$),SCHOOL +11.8%p [+5.2, +19.8]($p = 0.0020$; NER ๋จ๋19.4% โ 96.8%),PERSON +0.5%p [-1.0, +2.1]($p = 0.8939$,96.1% โ 96.6%),ADDRESS -1.8%p [-5.8, +0.0]($p = 1.0000$, ๋๋ก๋ช96.0%). c,docURL_ID(100%), ๊ฒฐํฉ ํธ์นญD5(100%), ๋ก๋ง์ ์ธ๋ช (100%), 1์์ ์ธ์ ํ๊ธ(98.4%), ๋๋ก๋ช ์ฃผ์(96.0%), ๋์ด ์ด ์ฑ๋ช (95.0%), ์ ์นญ(75.4% โ 90.2%),PERSON๋ฑ ๋ง์ ๊ฒฝ๊ณ(87.7% โ 92.0%) ๋ฑ ์ ์ธ๋ถ ์ฌ๋ผ์ด์ค ์ฐ์ธ ํ์ธ. d, ์ฐจ๋จ ๋ชจ๋ ํ๊ฐ์ (holdout_w12/w13/w13b/w13c,teacher_eval)์ ๋ฌด๋ช ์์ฒญ ์ค์ฐจ๋จ์จ ์ผ์ ๊ฐ์ ๋ฐpost-v1.1๋ฌดํด ๋ฌธํญ ์คํ๋ฅ14.8% (18/122)(koredact16.4%ํํ) ๋ฌ์ฑ.
Fig. 2 |
v1.2.1์์ํ ๋๋ฑ์ฑ(FP32 ๋ INT8), CPU ์ถ๋ก ์ง์ฐยท๋ฉ๋ชจ๋ฆฌ ์ค์ธก, 4์ค ์ฑํ ๊ฒ์ดํธ ์ด๊ดํ. a,onnx/model.onnx(FP32,276.60 MB) ๋onnx/model_int8.onnx(int8_pc_gather,69.62 MB) ๋น๊ต: ๋ฌธํญ ์ ์ค๋ฅ91.1% โ 91.6%($p = 0.2500$), ๊ณ ์ ๊ฐ ํต์ฌ ์ฌํ์จ ์ฐจ์ด+0.1%p [-0.1, +0.4](SCHOOL/ORG/ADDRESS$p = 1.0000$,PERSON$p = 0.5000$)๋ก 29ํด๋์ค ํ์ฅ ํ์๋ ์์ํ ์์ค์ด0์์ ์ ์ฆํจ. b, CPU ์ถ๋ก ์ง์ฐ(post-v1.1848๋ฌธํญ55.3s โ 25.5s2.17ร๊ฐ์;w13c_eval8,484๊ฑด156s โ 72s2.17ร๊ฐ์; PII Worker20kร4p5010.02s โ 4.40s; Local Bridge20kp503.84s โ 1.82s; ECIC-4ํฌ์32.0s โ 14.1s๋ก40s์ํ ํต๊ณผ). c, ๋์คํฌ ํฌ๊ธฐ(111.2 โ 69.6 MB,-37.4%) ๋ฐ ์๋น ๋ฉ๋ชจ๋ฆฌ ์์ฐ(Local Bridge436.0 MiB,PII Worker715.8 MiB). d, ์ฌ์ ๋ฑ๋ก 4์ค ๊ฒ์ดํธ ์ธ๋ถ ์ฑ์ ๋ฐ ๋ฐฐํฌ ํํฉ(alias-bridge๊ธฐ๋ณธ ๋ชจ๋ธ + ์๋ฒ ๋น๋๊ธฐ Shadow ๋ชจ๋ธ).
| ๊ตฌ๋ถ | ํ๊ฐ ์งํ (dorms-pii-ner-bench v1.1 post-v1.1, pipeline ๊ธฐ์ค) |
ํ๋ณธ ์ | ๊ท์น+koredact-int8 |
๊ท์น+kestrel-6l v1.2.1 |
์๋ ์ฐจ์ด ฮ (kestrel โ koredact) ๋ฐ ํ์ |
|---|---|---|---|---|---|
| ์ฃผ ์งํ | ํต์ฌ ์ ๋ต ๋๋ฝ ๋ฌธํญ ๋น์จ (๋ฎ์์๋ก ์ฐ์) | 643 ๋ฌธํญ | 17.0% (109/643) [14โ20] |
8.4% (54/643) [6โ11] |
-8.6%p (๋ถ์ผ์น 27 ๋ 82, McNemar $p < 0.0001$, ๋ํญ ๊ฐ์ ) |
| ๊ณ ์ ๊ฐ ํต์ฌ ์ฌํ์จ / ์ ์ฒด span ์๋ ์ฐจ์ด | 1,495 / 1,693 | 90.9% (1359/1495) |
96.3% (1439/1495) |
span +4.8%p [+3.1, +6.6] ($p < 0.0001$; NER ๋จ๋
+8.9%p) |
|
| ์ ํ๋ณ ์ฌํ์จ | PERSON ํต์ฌ ์ฌํ์จ (NER ๋จ๋
) |
1,442 span | 96.1% (94.7%) |
96.6% (95.9%) | +0.5%p [-1.0, +2.1], $p = 0.8939$ (๋จ๋
+1.2%p, ๋น์ด๋ฑยท์ํ) |
SCHOOL ํต์ฌ ์ฌํ์จ (NER ๋จ๋
) |
93 span | 86.0% (19.4%) |
97.8% (96.8%) | +11.8%p [+5.2, +19.8], $p = 0.0020$ (NER ๋จ๋
+77.4%p) |
|
ORG ์ง์ญ ๊ธฐ๊ดยทํ์ยท๋ณ์ ์ฌํ์จ (NER ๋จ๋
) |
102 span | 30.4% (30.4%) |
94.1% (93.1%) | +63.7%p [+53.1, +74.0], $p < 0.0001$ (3.1๋ฐฐ ๋์ฝ) |
|
ADDRESS ํต์ฌ ์ฌํ์จ (apt/lot/road) |
56 span | 85.7% (100/100/100%) |
83.9% (100/100/96.0%) |
-1.8%p [-5.8, +0.0], $p = 1.0000$ (๋๋ฑ์ฑ ํ๋ณต, v1.0 -12.5%p ํด์) |
|
| ์ธ๋ถ ์ผ๋ฐํ | ํ ๋ฐ ํํ / 1์์ ์ธ์(single) / ํ์(hanja) |
133 / 63 / 10 | 80.5% / 93.7% / 100.0% | 91.7% / 98.4% / 100.0% | ํ ๋ฐ +11.2%p, ์ธ์ ํ๊ธ 62/63 ํฌ์ฐฉ |
์ ์นญ(nickname) / ๋์ด ์ด ์ฑ๋ช
(spaced) / ๋ก๋ง์(roman) |
61 / 20 / 22 | 75.4% / 90.0% / 63.6% | 90.2% / 95.0% / 100.0% | ์ ์นญ +14.8%p, ๋์ด ์ด ์ฑ๋ช
19/20, ๋ก๋ง์ยท๊ฒฐํฉํธ์นญ(D5) ๋ง์ |
|
| ๊ฒฝ๊ณ ๋ฐ ์คํ | PERSON ๋ฑ ๋ง์ ๋น์จ / ์ฐ์ธก ๋์นจ ๋น์จ (NER ๋จ๋
) |
1,442 span | 87.7% / 8.8% (7.7%) |
92.0% / 4.8% (3.6%) | ์ ๋ฐ ๊ฒฝ๊ณ +4.3%p ์์น, ์ฐ์ธก ์กฐ์ฌ ๋์นจ ์ ๋ฐ ์ดํ ๊ฐ์ถ |
ADDRESS ๋ฑ ๋ง์ / ORG ๋ฑ ๋ง์ / SCHOOL ๋ฑ ๋ง์ |
56 / 102 / 93 | 57.1% / 27.5% / 84.9% | 76.8% / 93.1% / 91.4% | 4๋ ํต์ฌ ์ ํ ์ ๊ตฌ๊ฐ์์ ๊ฒฝ๊ณ ์ ๋ฐ๋ ๋ํญ ํฅ์ | |
๋ฌดํด ๋ฌธํญ(negยทamb_neg) ์คํ๋ฅ / X.echo / doc URL_ID |
122 / 6 / 9 | 16.4% (20/122) / 3 / 100% |
14.8% (18/122) / 1 / 100% |
๋ฌดํด ๋ฌธํญ ์คํ๋ฅ ์ด koredact ์๋๋ก ํ๋ฝ, URL_ID 9/9 ๋ง์ ๋ณต๊ตฌ |
v1.0 โ v1.2 โ v1.2.1 ๋จ๊ณ๋ณ ์์ธ ํด๊ฒฐ ๋ฐ ๋ฌด์ฌํ์ต ํ์ฒ๋ฆฌ ๊ฐ์ ์์ฝ
v1.0(9ํด๋์ค edu-v1) ๋จ๋ฐ ์ธก์ ์งํ ๊ท๋ช
๋ 5๋ ๋ฐ์ดํฐยท์คํค๋ง ๊ณผ์ ๋ฅผ v1.2(29ํด๋์ค edu-v1+fmt) ์ฌํ์ต์ผ๋ก ํด๊ฒฐํ ๋ค, v1.2 ํ๊ฐ ๊ณผ์ ์์ ๋์ผ ๊ฐ์ค์น koredact์กฐ์ฐจ ํจ๊ป ํ๋ฝ์์ผฐ๋ ๋ฐํ์ ํ๊ตญ์ด ์กฐ์ฌยท์ด๊ฐ ํ์ฒ๋ฆฌ ๊ฒฐํจ 3๊ฑด์ v1.2.1์์ ๊ฐ์ค์น ์ฌํ์ต ์์ด ๋ฐ๋ก์ก์์ต๋๋ค:
| ๋จ๊ณ | ํด๊ฒฐ ๋์ ๊ณผ์ | koredact-int8 |
kestrel v1.0 |
kestrel v1.2 |
kestrel v1.2.1 (ํ์ฌ) |
ํต์ฌ ํด๊ฒฐ ๋ฉ์ปค๋์ฆ |
|---|---|---|---|---|---|---|
v1.2 ์คํค๋ง |
์ ํ ๋ณด์กฐ ๋ผ๋ฒจ ๋ณต์ (doc URL_ID ยท teacher_eval Soft ๋๋ฝ) |
9/9 ยท 0/172 |
0/9 ยท 12/172 |
9/9 ยท 0/172 |
9/9 (100%) ยท 0/172 |
10์ข
์ ํ ๋ณด์กฐ BIO(9..28) ๋ณต์ (edu-v1+fmt, 29ํด๋์ค) |
v1.2 ํฉ์ฑ |
๋๋ก๋ช
์ฃผ์ ", N์ธต" ์ผํ ๋ถ์ (ADDRESS / road) |
85.7% / 100% |
73.2% / 72.0% |
83.9% / 96.0% |
83.9% / 96.0% ($p=1.00$) |
์ผํ ์ธต์ยท๋์ด์ด ๋๋ก๋ช
ํฉ์ฑ ๋ณด๊ฐ (tight 57.1% โ 76.8%) |
v1.2 ํฉ์ฑ |
๋ฌดํด ๋ฌธํญ(negยทamb_neg) ๊ต๊ณผ ์ผ๋ฐ๋ช
์ฌ ์คํ |
16.4% (20/122) |
27.0% (33/122) |
14.8% (18/122) |
14.8% (18/122) |
๊ต๊ณผ ๊ฐ๋
์ดยท๊ต์ค ์ฌ๋ฌผ ์์ฑ ๋์กฐ ๊ฐํ (X.echo 3/6 โ 1/6) |
v1.2.1 ํ์ฒ๋ฆฌ 1 |
1์์ ์ธ์ ํ๊ธยทํ์ ์ธ๋ช
์ ์ญ (PERSON single / hanja) |
93.7% / 100% |
96.8% / 100% |
74.6% / 90.0% |
98.4% (62/63) / 100% |
๋ถ์ฉ ๋๋ช
์ฌ(์ด/๊ทธ/์ /์) ์ธ 1๊ธ์ ํ๊ธยทCJK ํ์ PERSON ๋ณด์กด |
v1.2.1 ํ์ฒ๋ฆฌ 2 |
๋์ด ์ด ์ฑ๋ช
์ด๊ฐ ์ ๋จ ("๋ฐ ๋ฏธ๋", PERSON spaced) |
90.0% (18/20) |
20.0% (4/20) |
90.0% (18/20) |
95.0% (19/20) |
๊ณต๋ฐฑ ์ ์ธ ์ด๊ฐ ๊ธธ์ด ํํ ๊ณ์ฐ ๋ฐ ๊ณต๋ฐฑ ๋ค ํธ์นญ ์ ๋ฏธ(์จ/๋/๊ตฐ/์)๋ง ๋ถ๋ฆฌ |
v1.2.1 ํ์ฒ๋ฆฌ 3 |
๋ฐ์นจ ๋ฌด๊ด "-์ด" ์ ๋จ ์ถฉ๋ (nickname / PERSON tight) |
75.4% / 87.7% |
88.5% / 84.9% |
49.2% / 88.8% |
90.2% / 92.0% |
์ ํ ์์ ๋ฐ์นจ(์ข
์ฑ) ์กด์ฌ ์์๋ง ์ด/์/์/๊ณผ/์ผ๋ก ๊ณ์ด ์กฐ์ฌ ๋ถ๋ฆฌ |
| ์ข ํฉ ๊ฒฐ๊ณผ | ํต์ฌ ์ ๋ต ๋๋ฝ ๋ฌธํญ ๋น์จ / PERSON ์ ์ฒด ์ฌํ์จ |
17.0% / 96.1% |
12.3% / 95.7% |
13.5% / 93.4% |
8.4% (54/643) / 96.6% |
๋๋ฝ ๋ฌธํญ ์ ๋ฐ ์ดํ ๊ฐ์ถ (-8.6%p, ์์ธก McNemar $p < 0.0001$) |
2. ์ํคํ ์ฒ ยท ๋ค์ค ์ ํธ ์ง์ ์ฆ๋ฅ ยท ๋ฌด์ฝ๋ ๋ณด์ ์ค๊ณ
- ๊ต์ก ๋๋ฉ์ธ ์ ์ฑ
(
D1=BยทD2ยทD5):- ๊ณต์ธยท์ํ ์ธ๋ฌผ ๋น๊ฐ์ฒด ์ ์ง (
D1=B): ์์ ์๋ฃ ์ ์ญ์ฌ ์ธ๋ฌผยท์๊ฐยท๋ฌธํ ๋ฑ์ฅ์ธ๋ฌผ("์ค๋์ฃผ ์์ธ์ ์์","ํ๊ธธ๋์ ")์O๋ก ์ ์งํ๋, ๋๋ช ์ด์ธ ์ค์ ํ์("2ํ๋ 3๋ฐ ์ค๋์ฃผ ํ์ ์๋ด")์PERSON์ผ๋ก ์ก๋๋ก ๋์ผ ์ธ๋ช ์์ ๋ฌธ๋งฅ(O) ๋ ํ์ ๋ฌธ๋งฅ(PERSON) ๋์กฐ ์์ ๊ฐ์ ๋ฏธ๋๋ฐฐ์น์ ๊ตฌ์ฑํ์ต๋๋ค(teacher_eval๊ณต์ธ ์ค์ฐจ๋จ85.6% โ 14.4%,holdout_w13c๊ณต์ธ ์์ ๋ํ ์ค์ฐจ๋จ56.5% โ 34.8%, $p = 0.0020$). - ์ ๊ตญ ๊ณต์ ๊ธฐ๊ด ๋ฐ
์ฑ+์งํจ๋น๊ฐ์ฒด (D2): ๊ต์ก๋ถยท๋์ด์ค(NEIS)ยทEBS ๋ฑ ์ ๊ตญ ๋จ์ ๊ณต์ ์ฒด๊ณ์"๊น ์ ์๋"๋ฅ 1๊ธ์ ์ฑ+ํธ์นญ์O๋ก ๋์ด ๊ต์ฌ ํ๋กฌํํธ ์์์ ๋ง์ต๋๋ค. - ๊ฒฐํฉ ํธ์นญ ๊ฒฝ๊ณ ์ ๋ ฌ (
D5):"์์๋ง","๋ฏผ์คํ์"์์ ์ด๋ฆ ๋ณธ์ฒด("์์","๋ฏผ์ค")๋งPERSON์ผ๋ก ํ์ตํ๊ณ ์กฐ์ฌ ๋ถ๋ฆฌ BIO ์ ๋ ฌ(particle_aware)์ ์ ์ฉํด ๊ฒฐํฉ ํธ์นญ ์ฌํ์จ100.0% (22/22)๋ฅผ ๋ฌ์ฑํ์ต๋๋ค.
- ๊ณต์ธยท์ํ ์ธ๋ฌผ ๋น๊ฐ์ฒด ์ ์ง (
- ์ ์ญยท๊ตญ์ ์ดํ
์
๋ฐ RoPE ์ฃผํ์ ์ผ์น 6์ธต ๋ณต์ (
backbone.py):transformers์ModernBertAttention์layer_id % global_attn_every_n_layers == 0์์์ผ๋ก ์ ์ญ ์ดํ ์ (rope_theta=160,000)๊ณผ ๊ตญ์ ์ฌ๋ผ์ด๋ฉ ์ดํ ์ (local_attention=128,rope_theta=10,000)์ ๊ฒฐ์ ํฉ๋๋ค.- 6์ธต ํ์ ๋ชจ๋ธ์
global_attn_every_n_layers=2๋ก ์ค์ ํ์ฌ[์ ์ญ, ๊ตญ์, ์ ์ญ, ๊ตญ์, ์ ์ญ, ๊ตญ์]๊ตฌ์กฐ๋ฅผ ๋ง๋ค๊ณ , 22์ธต ๊ต์ฌ์(0, 4, 9, 13, 18, 20)๋ฒ ์ธต์ 1:1 ๋ณต์ ํดtrust_remote_code=Falseํ์ค ๋ก๋์์๋ RoPEinv_freq์ ์ดํ ์ ์ฐฝ์ด ์ ํํ ์ผ์นํฉ๋๋ค(๋น์๋ฒ ๋ฉ ์ฐ์ฐ ํ๋ผ๋ฏธํฐ110.94M โ 30.70M,-72.3%).
- ๋ค์ค ์ ํธ ์ง์ ์ฆ๋ฅ (
Stage 2):- ๋ผ๋ฒจ ํฉ์ฑ ๋ฌธ์
28,000๊ฑด($\alpha=0.3$)๊ณผ ๋ฌด๋ผ๋ฒจ ํฉ์ฑ ๊ต์ก ๋ฌธ์100,000๊ฑด($\alpha=0.0$)์ ๋ํด ์จ๋ $\tau = 3.0$ ๋ก์ง KL ๋ฐ์ฐ๊ณผ 6๊ฐ ๋์ ์ธต ์๋ ํํ ์ฝ์ฌ์ธ ์์ค($\beta = 0.2$)์ ๊ฒฐํฉํดNVIDIA L40S์์ ํ์ตํ์ต๋๋ค(9,397์คํ , ๋์ ์ ํจ ํ ํฐ76.12M,1.5์ํญstep=4,025์ต์ ์ฑํ).
- ๋ผ๋ฒจ ํฉ์ฑ ๋ฌธ์
- ๋ฌด์ฝ๋ ์ฌํ ๋ณด์ ๋ฐ ์ ํ์ INT8 ์์ํ:
dev_v1_2(3,000๊ฑด, ์ ํจ ํ ํฐ392,794๊ฐ)์์ ํ ํฐ NLL์ ์ต์ํํ๋ ์จ๋ $T = 1.428$(NLL 0.01555 โ 0.01262,ECE 0.00229 โ 0.00099,-56.6%)๊ณผO๋ก์ง ๋ง์ง $\delta_O = +0.225$๋ฅผ ์ ํ ๋ถ๋ฅ๊ธฐ ๊ฐ์ค์น(W /= T, b /= T, b[0] += delta_O)์ ์ง์ ํก์ํด ์ถ๋ก ์argmax๋ง์ผ๋ก ๋ณด์ ์ด ์ ์ฉ๋ฉ๋๋ค(max |ฮlogit| = 2.86e-6,argmax์ผ์น100.0%).onnxruntime๋์ ์์ํ ์MatMul + Gemm + Gather(5๋ง ์ดํ ์๋ฒ ๋ฉ ํฌํจ)๋ง ์ฑ๋๋ณQInt8๋ก ์์ํํ๊ณ ๋ง์ง๋ง 29ํด๋์คclassifier๋ ธ๋๋ FP32๋ก ๋ณด์กดํด69.62 MB์ฉ๋๊ณผ FP32 ๋๋ฑ ์ ํ๋๋ฅผ ๋ฌ์ฑํ์ต๋๋ค.
3. ๋ผ๋ฒจ ์คํค๋ง (edu-v1+fmt, 29ํด๋์ค BIO) ๋ฐ ์
์ถ๋ ฅ ๊ท๊ฒฉ
| ID | config.json BIO ๋ผ๋ฒจ |
์ค๋ช | ๋ฐํ์ ์ ์ฑ ๋งคํ ๋ฐ ๋น๊ณ |
|---|---|---|---|
0 |
O |
๋น๊ฐ์ฒดยท์ผ๋ฐ ์ดํยท์กฐ์ฌ | ๊ต๊ณผ ๊ณต์ธ/๋ฌธํ ์ธ๋ฌผ(D1=B), ์ ๊ตญ ๊ณต์ ๊ธฐ๊ดยท๊น ์ ์๋(D2) |
1, 2 |
B-PERSON, I-PERSON |
ํ์ยทํ๋ถ๋ชจยท๊ต์ง์ ์ค๋ช , ์ธ์ยทํ์ยท์ ์นญยท๋ก๋ง์ยท์ธ๋ ์ธ๋ช | PERSON (ํต์ฌ ๋น์ ํ, ์กฐ์ฌยทํธ์นญ ์ ์ธ ๋ณธ์ฒด ์ ๋ ฌ) |
3, 4 |
B-SCHOOL, I-SCHOOL |
์ ์น์ยท์ดยท์คยท๊ณ ยทํน์ํ๊ตยท๋ํ๊ต ์ ์ ๊ต๋ช
๋ฐ ์ฝ์นญ(ํ๋น์ด) |
SCHOOL (ํต์ฌ ๋น์ ํ, ์ฐ๋ฆฌ ํ๊ต ๋ฑ ๋ณดํต๋ช
์ฌ ์ ์ธ) |
5, 6 |
B-ORG, I-ORG |
์ง์ญ ํ์ยท๊ต์ต์ยท์๋ด์ผํฐยท๋ณ์์ยท์ง์ญ ๋ณต์ง๊ดยท๋ณดํธ์ ์ง์ฅ๋ช | ORG (ํต์ฌ ๋น์ ํ, ์ ๊ตญ ๊ณต์ ๊ธฐ๊ด ์ ์ธ) |
7, 8 |
B-ADDRESS, I-ADDRESS |
๋๋ก๋ช (์ผํ ์ธต์ ํฌํจ)ยท์ง๋ฒยท์ํํธ ๋/ํธ์ยท์์ธ ๊ฑฐ์ฃผ์ง ์ฃผ์ | ADDRESS (ํต์ฌ ๋น์ ํ, ์/๊ตฌ ๋จ๋
ํ๊ธฐ ์ ์ธ) |
9, 10 |
B-PHONE, I-PHONE |
์ ๋ฌด์ ์ ํ๋ฒํธยท๋ณ์น ๊ตฌ๋ถ์ ๋ฒํธ | PHONE (์ ํ 2์ฐจ ๋ฐฉ์ด์ ) |
11, 12 |
B-EMAIL, I-EMAIL |
์ด๋ฉ์ผ ์ฃผ์ | EMAIL (์ ํ 2์ฐจ ๋ฐฉ์ด์ ) |
13, 14 |
B-RRN, I-RRN |
์ฃผ๋ฏผ๋ฑ๋ก๋ฒํธยท์ธ๊ตญ์ธ๋ฑ๋ก๋ฒํธ | RRN (์ ํ 2์ฐจ ๋ฐฉ์ด์ ) |
15, 16 |
B-PASSPORT, I-PASSPORT |
์ฌ๊ถ ๋ฒํธ | DoRms Alias ๋ฐํ์์์ RRN ๊ณ ์ํ ์ ๋ถ์ฆ ๊ตฐ์ผ๋ก ํตํฉ |
17, 18 |
B-DRIVER_LICENSE, I-DRIVER_LICENSE |
์ด์ ๋ฉดํ๋ฒํธ | DoRms Alias ๋ฐํ์์์ RRN ๊ณ ์ํ ์ ๋ถ์ฆ ๊ตฐ์ผ๋ก ํตํฉ |
19, 20 |
B-ACCOUNT, I-ACCOUNT |
์ํ ๊ณ์ข๋ฒํธ | ACCOUNT (์ ํ 2์ฐจ ๋ฐฉ์ด์ ) |
21, 22 |
B-CARD, I-CARD |
์นด๋๋ฒํธ | DoRms Alias ๋ฐํ์์์ ACCOUNT ๊ธ์ต ์๋ณ์ ๊ตฐ์ผ๋ก ํตํฉ |
23, 24 |
B-BRN, I-BRN |
์ฌ์ ์๋ฑ๋ก๋ฒํธ | DoRms Alias ๋ฐํ์์์ ACCOUNT ๊ธ์ต ์๋ณ์ ๊ตฐ์ผ๋ก ํตํฉ |
25, 26 |
B-URL, I-URL |
ํ๊ต ์๋ฆผ์ฅยทํ๊ธ ๋ฌธ์ยท๊ฐ์ธ ์๋ณ URL | DoRms Alias ๋ฐํ์์์ URL_ID๋ก ๋งคํ (doc 9/9 ํฌ์ฐฉ) |
27, 28 |
B-CODE, I-CODE |
์์ ๋น๋ฐ๋ฒํธยท์ด๋์ฝ๋ยท์ธ์ฆ ์ํฌ๋ฆฟ | DoRms Alias ๋ฐํ์์์ SECRET์ผ๋ก ๋งคํ |
- ํ์ ์ถ๋ก ๋ฐ ํ์ฒ๋ฆฌ ๊ท๊ฒฉ (
v1.2.1):- ํจ๋ฉ ํ ํฐ ID (
pad_token_id = 49999):skt/A.X-Encoder-baseํ ํฌ๋์ด์ ์[PAD]ID๋0('[CLS]')์ด ์๋49999์ ๋๋ค. ์๋ ๋ฐฐ์น ๊ตฌ์ฑ ์ ๋ฐ๋์49999๋ก ํจ๋ฉํ์ญ์์ค. - ์ฌ๋ผ์ด๋ฉ ์ฐฝ (
W-400) ๋ฐO -> I-*๋ณต์: ๊ธด ๋ฌธ์๋ ์๋ฅด์ง ๋ง๊ณ400์์ฐฝ /100์๊ฒน์นจ(max_tokens=512,batch_size=8)์ผ๋ก ์ถ๋ก ํ ๋ค, ๋จ๋I-TYPE์์ ํ ํฐ์B-TYPE์ผ๋ก ์น๊ฒฉํด ๋ณํฉํฉ๋๋ค. - ํ๊ตญ์ด ์์ด ์กฐ๊ฑด๋ถ ์กฐ์ฌ ๋ถ๋ฆฌ (
v1.2.1๊ถ์ฅ):PERSON์คํฌ ์ฐ์ธก์ ๊ฒฐํฉ๋ ์กฐ์ฌ๋ฅผ ์ ๋ฆฌํ ๋์/์/๊ณผ/์ผ๋ก/์ด/์ด๊ฐ/์ด๋/์ด๋ฅผ/์ด์/์ด์/์ด๋๋ฑ ๋ฐ์นจ ์์กด ์กฐ์ฌ๋ ์ง์ ํ๊ธ ์์ ์ ๋ฐ์นจ(์ข ์ฑ)์ด ์์ ๋๋ง ์ ๊ฑฐํ๊ณ , ๊ณต๋ฐฑ ํฌํจ ์ฑ๋ช ์ ๊ณต๋ฐฑ์ ์ ์ธํ ์์ ์ ๊ธฐ์ค์ผ๋ก ์ต์ ์ด๊ฐ ๊ธธ์ด๋ฅผ ํ์ ํ์ญ์์ค.
- ํจ๋ฉ ํ ํฐ ID (
4. ์๋น ๋ฐ ํธ์ถ ์์
1. ONNX Runtime CPU ์ถ๋ก (๊ถ์ฅ, onnx/model_int8.onnx)
import json
import numpy as np
import onnxruntime as ort
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer
REPO_ID = "mulkzz/kestrel-edu-ner-6l"
REV = "v1.2.1" # ๋๋ ๊ธฐ๋ณธ ๋ธ๋์น "main"
cfg = json.loads(open(hf_hub_download(REPO_ID, "config.json", revision=REV), encoding="utf-8").read())
tok = Tokenizer.from_file(hf_hub_download(REPO_ID, "tokenizer.json", revision=REV))
tok.no_truncation()
tok.no_padding()
so = ort.SessionOptions()
so.intra_op_num_threads = 2
so.inter_op_num_threads = 1
session = ort.InferenceSession(
hf_hub_download(REPO_ID, "onnx/model_int8.onnx", revision=REV),
so,
providers=["CPUExecutionProvider"],
)
text = "๋ณ๋น๊ณ ๋ฐ ๋ฏธ๋ ํ์๊ณผ ์ด๋กฑ์ด๊ฐ ํด์ค๋ฆ์๋ด์ผํฐ(๋ฌผ์๊ฐ๋ก 58, 1์ธต)์ ๋ฐฉ๋ฌธํ๋ค."
enc = tok.encode(text)
pad_id = int(cfg.get("pad_token_id", 49999))
ids = np.full((1, len(enc.ids)), pad_id, dtype=np.int64)
mask = np.ones((1, len(enc.ids)), dtype=np.int64)
ids[0, :] = enc.ids
logits = session.run(None, {"input_ids": ids, "attention_mask": mask})[0][0]
pred_ids = logits.argmax(axis=-1).tolist()
id2label = {int(k): v for k, v in cfg["id2label"].items()}
spans = []
cur_type, cur_s, cur_e = None, 0, 0
for tid, (s, e), sp in zip(pred_ids, enc.offsets, enc.special_tokens_mask):
tag = "O" if sp or e <= s else id2label[tid]
if tag == "O":
if cur_type:
spans.append((cur_type, cur_s, cur_e, text[cur_s:cur_e]))
cur_type = None
continue
prefix, etype = tag.split("-", 1)
if prefix == "B" or cur_type != etype:
if cur_type:
spans.append((cur_type, cur_s, cur_e, text[cur_s:cur_e]))
cur_type, cur_s, cur_e = etype, s, e
else:
cur_e = e
if cur_type:
spans.append((cur_type, cur_s, cur_e, text[cur_s:cur_e]))
print(spans)
2. Transformers PyTorch ์ถ๋ก (model.safetensors)
import torch
from transformers import AutoModelForTokenClassification, AutoTokenizer
REPO_ID = "mulkzz/kestrel-edu-ner-6l"
REV = "v1.2.1"
tokenizer = AutoTokenizer.from_pretrained(REPO_ID, revision=REV)
model = AutoModelForTokenClassification.from_pretrained(REPO_ID, revision=REV).eval()
text = "์ค๋์ฃผ ์์ธ์ ์์๋ฅผ ๋ฐฐ์ด ๋ค ๋๋ช
์ด์ธ ์ค๋์ฃผ ํ์์ ๋
์ ๊ธฐ๋ก์ ์์ฑํ๋ค."
inputs = tokenizer(text, return_offsets_mapping=True, return_tensors="pt")
offsets = inputs.pop("offset_mapping")[0].tolist()
with torch.no_grad():
pred = model(**inputs).logits[0].argmax(dim=-1).tolist()
for pid, (s, e) in zip(pred, offsets):
if e > s and pid != 0:
print(model.config.id2label[pid], text[s:e], (s, e))
5. ์ฌ์ฉ ๋ฒ์ ยท ์์ฌ ํ๊ณ ยท ์ธ๋ถ ํ๊ฐ ๋ฐ์ดํฐ ๊ณ ์ง ยท ๋ผ์ด์ ์ค
- ๋ณด์กฐ ๋๊ตฌ ํ๊ณ ๊ณ ์ง: ์ด ๋ชจ๋ธ์ ๊ต์ฌ์ ๊ฐ๋ช ํ ์์ ์ ๋๋ ๊ธฐ์ ์ ๋ณด์กฐ ๊ณ์ธต์ด๋ฉฐ, ๋ชจ๋ ๊ฐ์ธ์ ๋ณด์ ์์ ํ ํ์ง๋ ๋ฒ์ ๋ฉด์ฑ ์ ๋ณด์ฆํ์ง ์์ต๋๋ค. ๊ฒฐ์ ๋ก ์ ์ ๊ท์ยท์ฒดํฌ์ฌ ๊ท์น ์์ง ๋ฐ ์ฌ๋์ ์ต์ข ๊ฒํ ์ ํจ๊ป ์ฌ์ฉํ์ญ์์ค.
v1.2.1์ ์๋ ค์ง ์์ฌ ํ๊ณ ๋ฐ ๋ฐฐํฌ ์์น (ํฌ๋ช ๊ณต๊ฐ):dorms-pii-ner-bench v1.1์์ ๋ฌดํด ๋ฌธํญ(negยทamb_neg) ์คํ๋ฅ ์14.8%๋กkoredact(16.4%)๋ณด๋ค ๋ฎ์ผ๋, ์์ฑ ๋ฌธํญ ๋ด ๋ถ์ ์คํ์ ํฌํจํ ์ ์ฒด 848๋ฌธํญ 1๋ง ์๋น ์คํ(20.3๋13.4, ๋จ๋12.7๋5.8), ๋ฐ๋กword์ ์ค4/89 (4.5%)(์ด์ฌ,๋จ๋น), ๋ณดํต๋ช ์ฌ ๋ํ์ด์ ์ธ๋ช (amb๊ฐ๋83.3%๋94.7%)์์ ์ธ๋ถ ๊ฒฉ์ฐจ๊ฐ ๋จ์ ์์ต๋๋ค.- ์ธ๋ถ ์ผ๋ฐ ๋๋ฉ์ธ ์ฝํผ์ค Hard ๋จ๊ณ ๋๋ฝ๋ฅ ์ 3๊ฐ ์
๋ชจ๋
koredact๋ณด๋ค ๋ฎ์ผ๋(townboy_eval25.6% โ 24.3%,townboy_dev8.0% โ 6.7%,kdpii_test43.8% โ 40.8%), ๋น๊ต์ก ์ผ๋ฐ ๊ธ์ตยท์ฌ๊ถ ๋ฒํธ Soft ๋๋ฝ(townboy_eval0.8% 5/605,kdpii_test34.8%)๊ณผ ๋ฌธ๋งฅ ์์ด ์ฌ๋ฌ ํด์ ์ชผ๊ฐ ์ซ์(w13csplit)๊ฐ ๋จ์ ์์ต๋๋ค. ์ด์ ๋ฐ๋ผ ์ฌ์ ๋ฑ๋ก 4์ค ๊ฒ์ดํธ ์์น์ ์๊ฒฉํ ์ ์ฉํด ์จ๋๋ฐ์ด์คalias-bridge๊ธฐ๋ณธ ๋ชจ๋ธ ๋ฐ ์๋ฒ ๋น๋๊ธฐ Shadow ๋ชจ๋ธ๋ก ์ฐ์ ์ด์ํ๋ฉฐ ์๋ฒ ์ฃผ ๊ธฐ๋ณธ๊ฐ ๊ต์ฒด ์ฌ๋ถ๋ ํ์ฅ Shadow ์ง๊ณ ํ ๊ฒฐ์ ํฉ๋๋ค. - ๋์ผ ๋ฌธ์ ๋ด ๋๋ช ์ด์ธ ๋ฒํธ ๋ถ๋ฆฌ ๋ฐ ์์์ ์ ํฉ์ ํตํ ์ ์ ํน์ ์ ํ ํฐ ๋ถ๋ฅ NER์ ๋ฒ์ ๋ฐ์ ๋๋ค.
- ์ธ๋ถ ํ๊ฐ ๋ฐ์ดํฐ ์ถ์ฒ ๋ฐ ๋ผ์ด์ ์ค:
townboy/korean-pii-dataset(076419f07f7073b6b28cdfdb6fbd8b75e1278053, CC BY 4.0, ํฉ์ฑ ๋ฐ์ดํฐ์ )KDPII์ํ ๋ถํ (Zenodo10968609, CC BY 4.0, ์ฐ์ธ๋ํ๊ต ์ฐ๊ตฌ์ง, IEEE Access, vol. 12, 2024,doi:10.1109/ACCESS.2024.3461804) โ ์ค์ง ์ฝ๊ธฐ ์ ์ฉ ์ง๊ณ ํ๊ฐ์๋ง ์ฌ์ฉํ์ผ๋ฉฐ, ์๋ฌธ ํ์ด๋ ๋ถ๋ถ ๋ฌธ์์ด์ ๊ฐ์ค์นยท์ฝ๋ยทfigures/data/์ด๋์๋ ํฌํจ๋์ง ์์ต๋๋ค.
- ๋ผ์ด์ ์ค: ๊ธฐ๋ฐ ๋ชจ๋ธ(skt/A.X-Encoder-base)๊ณผ ๋์ผํ๊ฒ Apache-2.0 ์ ๋ฐ๋ฆ
๋๋ค(๊ท์ ๋ฐ ๋ณ๊ฒฝ ๊ณ ์ง๋
NOTICE์ฐธ์กฐ).
6. ํ์ตยท์ฆ๋ฅ ๋์ญํ ๋ฐ ๋ถํฌ ๋ด(dev_v1_2 ยท ๋จ๋ฐ itest_v1_2) ์์ธ ์งํ
Fig. 3 | Stage 1 22์ธต ๊ต์ฌ ๋ฏธ์ธ์กฐ์ ยท Stage 2 6์ธต ํ์ ๋ค์ค ์ ํธ ์ฆ๋ฅ ๋์ญํ ๋ฐ ๋ฏธ๋ ธ์ถ ๋จ๋ฐ
itest_v1_2๊ฒ์ฆ. a, 22์ธต ๊ต์ฌ(3,573์คํ ,14.88Mํ ํฐ, 29 BIO)์ ์คํ ๋ณ ํ์ต ์์ค๊ณผ 0.5์ํญ ์ฃผ๊ธฐdev_v1_2์์ค(1.5์ํญstep=1,783์ต์ ์ฑํ,selection_score=1.7843). b, 6์ธต ํ์(9,397์คํ ,76.12Mํ ํฐ, ๋ผ๋ฒจ 28k + ๋ฌด๋ผ๋ฒจ 100k)์ ์ด ์ฆ๋ฅ ์์ค, $\tau^2\mathrm{KL}$ ๋ฐ์ฐ, ์๋ ์ฝ์ฌ์ธ ์์ค($1-\cos$),dev_v1_2์์ค(1.5์ํญstep=4,025์ต์ ์ฑํ,selection_score=1.7481). c, ์ ๊ทํ ์งํ๋ฅ ๋๋น ๊ฒฝ์ฌ $L_2$ ๋ ธ๋ฆ($|g|_2$) ์๋ ด ์ถ์ด. d, ๋ด๋ถdev_v1_2(3,000๊ฑด) ๋ฐ ๋ฏธ๋ ธ์ถ ํยท์ํฐํฐ ํ๋ก ๊ตฌ์ฑ๋ ๋จ๋ฐitest_v1_2(3,000๊ฑด)์ 22์ธต ๊ต์ฌ ๋ 6์ธต ๋ณด์ ํ์ ๋น๊ต(ํฉ์ฑ ๋ถํฌ ๋ด ์งํ์ด๋ฏ๋ก ์ค์ ์ผ๋ฐํ ์ฑ๋ฅ์ ์ 1์ ์dorms-pii-ner-bench v1.1์ ๊ธฐ์ค์ผ๋ก ํด์ํด์ผ ํจ).
1. Stage 2 ์ฆ๋ฅ ์ํญ๋ณ ํ๊ฐ ์ถ์ด (dev_v1_2, n = 3,000)
ํ๊ฐ ์์ (epoch) |
๊ธ๋ก๋ฒ ์คํ | ๋์ ์ ํจ ํ ํฐ | dev_loss |
selection_score |
macro_core_recall |
formal_recall |
public_person_fp |
๋น๊ณ |
|---|---|---|---|---|---|---|---|---|
| 0.5 | 1,343 | 10.92M | 0.01486 | 1.7376 | 98.21% | 100.00% | 27.39% | ์ด๊ธฐ ์๋ ด |
| 1.0 | 2,682 | 21.72M | 0.02027 | 1.7070 | 98.02% | 100.00% | 27.39% | no_imp=1 |
| 1.5 | 4,025 | 32.53M | 0.01548 | 1.7481 | 98.27% | 100.00% | 5.61% | ์ต์ข
์ฑํ (*BEST*) |
| 2.0 | 5,366 | 43.45M | 0.01644 | 1.7363 | 98.31% | 100.00% | 12.87% | no_imp=1 |
| 2.5 | 6,706 | 54.24M | 0.01465 | 1.7358 | 98.36% | 100.00% | 10.23% | no_imp=2 |
| 3.0 | 8,052 | 65.19M | 0.01648 | 1.7216 | 98.46% | 100.00% | 16.50% | no_imp=3 |
| 3.5 | 9,397 | 76.12M | 0.01571 | 1.7227 | 98.41% | 100.00% | 15.51% | ์กฐ๊ธฐ ์ข
๋ฃ (patience=4) |
2. ๋ฏธ๋
ธ์ถ ๋จ๋ฐ itest_v1_2 (n = 3,000) ๊ต์ฌ ๋ ํ์ ์ฑ์ (W-400, pipeline ๋ทฐ)
๋ชจ๋ธ (itest_v1_2, ๋จ 1ํ ์ธก์ ) |
macro_core_recall |
overall_core_recall |
formal_recall (1,817 span) |
PERSON |
SCHOOL |
ORG |
ADDRESS |
overall_tight |
innocent_fp_item (NER) |
|---|---|---|---|---|---|---|---|---|---|
kestrel-edu-ner-22l (22์ธต ๊ต์ฌ) |
97.84% | 96.79% | 100.00% | 96.60% | 100.00% | 94.90% | 99.85% | 97.74% | 4.79% (amb_neg 1.28%) |
kestrel-edu-ner-6l (6์ธต ๋ณด์ ํ์) |
97.44% | 95.77% | 100.00% | 95.44% | 99.56% | 94.75% | 100.00% | 97.37% | 1.14% |
3. PyTorch FP32 ๋ ONNX ๋ณํ๋ณ ์์น ๋๋ฑ์ฑ (dev_v1_2 ์ค์ ์ฐฝ 200๊ฑด / 11,713 ์ ํจ ํ ํฐ)
| ๊ทธ๋ํ ๋ณํ | ํ์ผ ๊ฒฝ๋ก | ํฌ๊ธฐ | max |ฮlogit| | p99 |ฮlogit| | argmax ์ผ์น์จ | dev_v1_2 3,000๊ฑด pipeline Macro Recall |
|---|---|---:|---:|---:|---:|---:|
| PyTorch FP32 (safetensors) | model.safetensors | 276.42 MB | ๊ธฐ์ค (0) | ๊ธฐ์ค (0) | 100% | 98.44% |
| ONNX FP32 | onnx/model.onnx | 276.60 MB | 7.49 ร 10โปโต | 7.27 ร 10โปโถ | 100.0000% | 98.44% |
| ONNX INT8-PC-Gather (์ฃผ๋ ฅ) | onnx/model_int8.onnx | 69.62 MB | 0.7832 | 0.0660 | 99.9573% | 98.45% (McNemar $p = 1.0000$) |
- Downloads last month
- 69
Model tree for mulkzz/kestrel-edu-ner-6l
Base model
skt/A.X-Encoder-base