MF_BERT โ 119 ๊ตฌ๊ธ๋-๋ณ์ ํตํ ์ ๋ณด ์ถ์ถ ๋ชจ๋ธ (ํตํ ๊ฒฐ๊ณผํ, 4๋นํธ ONNX)
119 ๊ตฌ๊ธ๋์ ๋ณ์ ์๊ธ์ค ์ฌ์ด์ ํตํ ํ ์คํธ๋ฅผ ๋ฃ์ผ๋ฉด, ํตํ ๊ฒฐ๊ณผ(๋ณ์์ด ๋ฐ์๋์ง)์ ์ด์กํ ํ์ ์, ํ์๋ง๋ค ๋ค์ 15๊ฐ ํญ๋ชฉ์ ๋ฝ์ต๋๋ค.
| ํญ๋ชฉ | ํ์ |
|---|---|
gender |
๋จ์ฑ / ์ฌ์ฑ / ํ๋จ ๋ณด๋ฅ |
age_group |
10๋ ๋ฏธ๋ง ~ 90๋์ด์ / ํ๋จ ๋ณด๋ฅ |
cc_major, cc_minor |
์ฃผ์ฆ์ ๋๋ถ๋ฅ 17๊ฐ ยท ์๋ถ๋ฅ 169๊ฐ(Pre-KTAS ์ฃผ์ฆ์ ๋ชฉ๋ก) / ํ๋จ ๋ณด๋ฅ |
avpu |
A / V / P / U / ๊ธฐํ / ์ธ๊ธ ์์ |
sbp dbp hr rr spo2 temp glucose gcs |
ํตํ์์ ๋งํ ์์น(์ซ์), ๋งํ์ง ์์์ผ๋ฉด null |
treatments |
๊ตฌ๊ธ๋์์ด ํ(ํ๋ ยท ํ ) ์ฒ์น๋ฅผ ๋งํ ์๋ฌธ ๊ตฌ์ ๋ชฉ๋ก, ์์ผ๋ฉด [] |
treat_categories |
์ฒ์น ๋ฒ์ฃผ 28๊ฐ ์ค ์๋ค๊ณ ๊ณ ๋ฅธ ๊ฒ์ ํค ๋ชฉ๋ก(์๋ ํ ์์), ์์ผ๋ฉด [] |
{"call_outcome": "์์ฉ",
"patient_count": 1,
"patients": [{"gender": "๋จ์ฑ", "age_group": "60๋", "cc_major": "I ์ฌํ๊ด๊ณ", "cc_minor": "ํํต(์ฌ์ฅ์ฑ)", "avpu": "A",
"sbp": 150, "dbp": 90, "hr": 110, "rr": null, "spo2": 92, "temp": null, "glucose": null, "gcs": null,
"treatments": ["์ฐ์ ๋ง์คํฌ๋ก 10๋ฆฌํฐ ์ฃผ๊ณ ์๊ณ ", "์ ๋งฅ๋ก ์ก์์ ์๋ฆฌ์์ผ์ ๋ค์ด๊ฐ๊ณ ์์ต๋๋ค"],
"treat_categories": ["oxygen", "iv", "fluid"]}]}
KTAS ๋ฑ๊ธ์ ์์ธกํ์ง ์์ต๋๋ค. v5-2026-11-04-outcome์ v4-2026-10-29-hqq์ ํตํ ๊ฒฐ๊ณผ(call_outcome) ๋์ฝ๋ ํ๋๋ฅผ ๋ํ ๊ฒ์
๋๋ค.
์ธ์ฝ๋์ ๊ธฐ์กด ๋์ฝ๋๋ v4์ ๊ฐ์ ํ์ผ์ด๋ผ ํ์ ํญ๋ชฉ ์ถ๋ ฅ์ v4์ ๋๊ฐ์ต๋๋ค.
v3-2026-10-20-rtn์ treatmentsยทtreat_categories ๋ ํญ๋ชฉ์ด ๋ํด์ก๊ณ , ์์ 13๊ฐ ํญ๋ชฉ์ ํ์์ด ๊ฐ์ต๋๋ค.
v2-2026-10-02 ์ดํ์๋ ์ถ๋ ฅ ํ์์ด ์์ ํ ๋ค๋ฆ
๋๋ค.
ํ๋จ ๋ณด์กฐ์ฉ์ ๋๋ค. ํฉ์ฑ ๋ฐ์ดํฐ์ AI ๋ผ๋ฒจ๋ก ํ์ตํ์ต๋๋ค.
ํตํ ๊ฒฐ๊ณผ
call_outcome์ ํตํ ํ๋์ ํ๋์
๋๋ค(ํ์๋ณ์ด ์๋). ํตํ๊ฐ ๋๋ ์์ ์ ๊ฒฐ๊ณผ์
๋๋ค.
| ๊ฐ | ๋ป |
|---|---|
์์ฉ |
๋ณ์์ด ํ์๋ฅผ ๋ฐ๊ฒ ๋ค๊ณ ํจ (ํ์ธ ๋ค ๋ฐ๊ฒ ๋ค๊ณ ํ ๊ฒ๊น์ง ํตํ ์์์ ๊ฒฐ๋ก ๋ ๊ฒฝ์ฐ ํฌํจ) |
๊ฑฐ์ |
๋ณ์์ด ๋ฐ์ ์ ์๋ค๊ณ ํจ (๋ณ์ ยท ์ ๋ฌธ์ ยท ์ฒ์น ๋ถ๊ฐ ๋ฑ, ๋ค๋ฅธ ๋ณ์ ์๋ด ํฌํจ) |
๋ณด๋ฅ |
ํตํ ์์์ ๊ฒฐ๋ก ์ด ์ ๋จ (๋ค์ ์ฐ๋ฝ ์ฃผ๊ฒ ๋ค, ํ์ธ ์ค, ํตํ ๋๊น, ์ ๋ณด๋ง ์ ๋ฌ) |
์ฒ์น ๋ฒ์ฃผ
| ๋ฌถ์ | ํค | ๋ด์ฉ |
|---|---|---|
| ๊ธฐ๋ยทํธํก | oxygen |
์ฐ์ ํฌ์ฌ (๋น๊ฐ ์บ๋ผ๋ผ, ๋ง์คํฌ, ๋น์ฌํธํก ๋ง์คํฌ) |
suction |
ํก์ธ | |
foreign_body |
๊ธฐ๋ ์ด๋ฌผ ์ ๊ฑฐ (ํ์๋ฆฌํ, ๋ฑ ๋๋๋ฆฌ๊ธฐ, ์ ์ ์ด๋ฌผ ๊บผ๋) | |
airway_basic |
๋์ ๊ธฐ๋ ํ๋ณด, ๊ตฌ์ธ๋ยท๋น์ธ๋ ๊ธฐ๋์ ์ง๊ธฐ | |
airway_advanced |
์ฑ๋ฌธ์ ๊ธฐ๋๊ธฐ (i-gel, LMA), ๊ธฐ๊ด์ฝ๊ด | |
ventilation |
์์ ํ๊ธฐ (BVM, ์ธ๊ณตํธํก๊ธฐ) | |
| ์ํยท์์ | cpr |
๊ฐ์ด์๋ฐ (์๋, ๊ธฐ๊ณ์) |
defib |
์ ์ธ๋ ยท ์ฌ์จ๋์ ํ (์ผํฌ๋ฅผ ์ค ๊ฒฝ์ฐ) | |
iv |
์ ๋งฅ๋ก ยท ๊ณจ๋ด ํ๋ณด | |
fluid |
์์ก ํฌ์ฌ | |
bleeding |
์งํ (์ง์ ์๋ฐ, ๊ฑฐ์ฆ๋ก ๋๋ฆ, ์๋ฐ ๋๋ ์ฑ, ์งํ๋) | |
| ์ฝ๋ฌผ | med_aspirin |
์์คํผ๋ฆฐ |
med_nitro |
๋ํธ๋ก๊ธ๋ฆฌ์ธ๋ฆฐ | |
med_glucose |
ํฌ๋๋น ยท ๋น ๊ณต๊ธ | |
med_epinephrine |
์ํผ๋คํ๋ฆฐ | |
med_bronchodilator |
๊ธฐ๊ด์งํ์ฅ์ (๋ค๋ทธ๋ผ์ด์ , ํก์ ๊ธฐ) | |
med_other |
๊ทธ ๋ฐ์ ๋ชจ๋ ์ฝ | |
| ๊ณ ์ | spinal |
๊ฒฝ์ถ ๋ณดํธ๋, ์ฒ์ถ๊ณ ์ ํ ยท KED ยท ์ค์ฟ ํ ๋ค๊ฒ |
splint |
ํ๋ค๋ฆฌ ๋ถ๋ชฉ ยท ์ผ๊ฐ๊ฑด, ๊ณจ๋ฐ ๊ณ ์ ๋ | |
| ์์ฒยท๋ ธ์ถ | wound |
์๋ , ๋๋ ์ฑ, ๊ฑฐ์ฆ ยท ๋ถ๋๋ก ๋ฎ๊ฑฐ๋ ๊ฐ๊ธฐ |
burn |
ํ์ ๋๊ฐ ยท ๋๋ ์ฑ | |
irrigation |
์ค์ผ๋ฌผ ์ธ์ฒ (๋ ยท ํผ๋ถ ์ธ์ฒ, ์ ํน๊ตผ) | |
cold_pack |
๊ตญ์ ๋์ฐ์ง | |
| ์ฒด์จ | cooling |
์ ์ ๋๊ฐ (๊ณ ์ฒด์จ) |
warming |
๋ณด์จ (๋ด์, ํซํฉ, ํํฐ, ์ ์ ์ท ๋ฒ๊น) | |
| ๊ธฐํ | position |
์น๋ฃ ๋ชฉ์ ์ ์์ธ (ํ๋ณต์์ธ, ๋ค๋ฆฌ ์ฌ๋ฆผ, ๋ฐ์ข์, ์์ ๋ถ ์ผ์ชฝ์ผ๋ก ๋ํ) |
delivery |
๋ถ๋ง ์ฒ์น | |
other |
๊ทธ ๋ฐ์ ์ฒ์น (๋ฐ์ง ยท ๋ฒ์นจ ์ ๊ฑฐ, ์๋, ์ต์ ๋, ๋ฏธ์ฃผ์ ๊ฒฝ ์๊ทน ๋ฑ) |
๊ตฌ์กฐ
- ์ธ์ฝ๋:
klue/roberta-large(์ ์ฒด ๋ฏธ์ธ์กฐ์ ). 512ํ ํฐ๋ณด๋ค ๊ธด ํตํ๋ 128ํ ํฐ์ฉ ๊ฒน์น๊ฒ ๋๋ ์ธ์ฝ๋ฉํ ๋ค ์๋ฌธ ํ ํฐ ์ค๋ก ์ด์ด ๋ถ์ ๋๋ค. - ๊ฒฐ์ ๋์ฝ๋ 2์ธต: ์ง๋ฌธ ๊ธ์("1๋ฒ์งธ ํ์์ ์ฑ๋ณ์?")๋ฅผ ๋ฒกํฐ๋ก ๋ง๋ ์ง๋ฌธ๋ค์ด ํตํ ํ ํฐ์ ์ฝ์ต๋๋ค. ์ง๋ฌธ ๋ฒกํฐ ํ๋์ ํญ๋ชฉ ์ข
๋ฅ๋ณ ํค๋๊ฐ ๋ถ์ต๋๋ค.
- ์ ํ ํญ๋ชฉ(์ฑ๋ณยท๋์ด๋ยท์ฃผ์ฆ์ยทAVPU): ํ๋ณด ์ ํ์ง ์ค ์ ์๊ฐ ๊ฐ์ฅ ๋์ ๊ฒ
- ํ๋ ฅ์งํ: ํตํ ํ ํฐ ์์์ ์์น๊ฐ ์ ํ ๊ตฌ๊ฐ์ ์์ยท๋์ ๊ณ ๋ฅธ ๋ค ๊ทธ ๊ธ์๋ฅผ ์ซ์๋ก ์ฝ์ต๋๋ค
- ์ฒ์น(
treatments): ํตํ ํ ํฐ๋ง๋ค O(๋ฐ) ยท B(๊ตฌ์ ์ฒซ ํ ํฐ) ยท I(๊ตฌ์ ์)๋ฅผ ๊ณจ๋ผ, BยทI๋ก ์ด์ด์ง ํ ํฐ์ ์๋ฌธ ๊ธ์๋ก ๋๋๋ฆฝ๋๋ค - ์ฒ์น ๋ฒ์ฃผ(
treat_categories): 28๊ฐ ๋ฒ์ฃผ๋ง๋ค ์์ ์ ์(๋ก์ง)๋ฅผ ๋ด๊ณ , 0๋ณด๋ค ํฐ(ํ๋ฅ 0.5 ์ด๊ณผ) ๋ฒ์ฃผ๋ฅผ ๊ณ ๋ฆ ๋๋ค
- ์ถ๋ก ์ ๋ ๋จ๊ณ์ ๋๋ค. ํ์ ์ ์ง๋ฌธ์ผ๋ก ํ์ ์ n์ ์ ํ๊ณ , ํ์ 1..n์ ์ง๋ฌธ 15๊ฐ์ฉ์ ํ ๋ฒ์ ๋ฃ์ต๋๋ค.
- ํตํ ๊ฒฐ๊ณผ ๋์ฝ๋ 2์ธต(
outcome_decoder.onnx, v5): ์ธ์ฝ๋์ ๊ธฐ์กด ๋์ฝ๋๋ฅผ ๊ณ ์ ํ ์ฑ ๋ฐ๋ก ํ์ตํ์ต๋๋ค. ํตํ ํ ํฐ ๋ฒกํฐ๋ฅผ 256์ฐจ์์ผ๋ก ์ค์ด๊ณ , ํ์ต๋ ์ง์ ๋ฒกํฐ ํ๋๊ฐ ํตํ ํ ํฐ์ ์ฝ์ด(๊ต์ฐจ ์ฃผ์ 2์ธต) ์์ฉ ยท ๊ฑฐ์ ยท ๋ณด๋ฅ 3๊ฐ ์ ์๋ฅผ ๋ ๋๋ค. ์ ์๊ฐ ๊ฐ์ฅ ๋์ ๊ฒ์ ๊ณ ๋ฆ ๋๋ค. ๊ฐ์ ์ธ์ฝ๋ ์ถ๋ ฅ์ ๋ ๋์ฝ๋์ ๋ฃ์ผ๋ฏ๋ก ์ธ์ฝ๋๋ ํ ๋ฒ๋ง ๋๋ฆฌ๋ฉด ๋ฉ๋๋ค. - 4๋นํธ ์์ํ (HQQ): ์ธ์ฝ๋ MatMul ๊ฐ์ค์น๋ฅผ ๋ธ๋ก 32 ๋จ์ 4๋นํธ(onnxruntime MatMulNBits)๋ก ์ค์์ต๋๋ค. ๋ธ๋ก๋ง๋ค scaleยทzero point๋ฅผ ์๋ ๊ฐ์ค์น์์ ์ค์ฐจ๊ฐ ์์์ง๊ฒ ๋ฐ๋ณต ์ต์ ํํฉ๋๋ค(Half-Quadratic Quantization). ์ธ์ฝ๋ ๋ง์ง๋ง 4๊ฐ ์ธต(20~23)๊ณผ ๋ ๋์ฝ๋๋ fp32์ ๋๋ค. ๋ณด์ ๋ฐ์ดํฐ๋ ์ฐ์ง ์์์ต๋๋ค. CPU(onnxruntime)์์ ๋๋๋ค.
ํ์ผ
| ํ์ผ | ๋ด์ฉ |
|---|---|
encoder.onnx |
์ธ์ฝ๋. ์
๋ ฅ input_idsยทattention_mask (์กฐ๊ฐ ์, ๊ธธ์ด) โ ์ถ๋ ฅ token_vectors (์กฐ๊ฐ ์, ๊ธธ์ด, 1024) |
decoder.onnx + decoder.onnx.data |
๋์ฝ๋. ์
๋ ฅ token_vectors (1, ํ ํฐ ์, 1024)ยทquestion_ids (1, ์ง๋ฌธ ์) โ scores (1, ์ง๋ฌธ ์, 233), span_startยทspan_end (1, ์ง๋ฌธ ์, ํ ํฐ ์ + 2), tags (1, ์ง๋ฌธ ์, ํ ํฐ ์, 3), categories (1, ์ง๋ฌธ ์, 28) |
outcome_decoder.onnx |
ํตํ ๊ฒฐ๊ณผ ๋์ฝ๋(v5). ์
๋ ฅ token_vectors (1, ํ ํฐ ์, 1024) โ outcome_scores (1, 3), ์์๋ catalog.json์ outcomes |
catalog.json |
์ง๋ฌธ ๋ชฉ๋ก(questions 436๊ฐ, ์ง๋ฌธ ๋ฒํธ = 1 + (ํ์ ๋ฒํธ - 1) ร 15 + ํญ๋ชฉ ์์, 0๋ฒ์ ํ์ ์), ํญ๋ชฉ ์์(fields), ์ ํ์ง 233๊ฐ(options), ํญ๋ชฉ๋ณ ํ๋ณด ์ ํ์ง ๋ฒํธ(candidates, ์๋ถ๋ฅ๋ ๋๋ถ๋ฅ๋ณ cc_minor), ํ์ ์ ํ๋ณด(count), AVPU ๊ฐ(avpu_values), ํ๋ ฅ์งํ ํญ๋ชฉ(span_fields), ์ฒ์น ํญ๋ชฉ(tag_fields), ์ฒ์น ๋ฒ์ฃผ ํญ๋ชฉ(category_fields)๊ณผ ๋ฒ์ฃผ ํค ์์(categories), ํตํ ๊ฒฐ๊ณผ ์์(outcomes, v5) |
tokenizer/ |
ํ ํฌ๋์ด์ |
ํ ํฐ ์ค ์์น๋ [CLS]๊ฐ 0, ๋ณธ๋ฌธ ํ ํฐ์ด 1..n, [SEP]๊ฐ n+1์ ๋๋ค.
- ํ๋ ฅ์งํ ๊ตฌ๊ฐ ์ ์์ ๋ง์ง๋ง ๋ ์นธ์ "๋งํ์ง ์์"๊ณผ "0"(๋ฌดํธํกยท๋งฅ๋ฐ ์์์ฒ๋ผ ์ซ์ ๊ธ์ ์์ด 0์ธ ๊ฒฝ์ฐ) ์๋ฆฌ์ ๋๋ค.
- ์ฒ์น ํ๊ทธ ์ ์๋ ๋ณธ๋ฌธ ํ ํฐ(1..n)์์ ์ฝ์ต๋๋ค. ํ๊ทธ ๋ฒํธ๋ O=0, B=1, I=2์ด๊ณ , ์์ B ์์ด ๋์จ I๋ ์ ๊ตฌ์ ๋ก ์ฝ๋๋ค.
๊ตฌ๊ฐ ๊ธ์๋ฅผ ์ซ์๋ก ์ฝ๋ ๊ท์น(ํ๊ธ ์ ์ฝ๊ธฐ)๊ณผ ์กฐ๊ฐ ๋๋๊ธฐ ์ฝ๋๋ ์ด ์ ์ฅ์์ ๋ค์ด ์์ง ์์ต๋๋ค.
ํ์ต ๋ฐ์ดํฐ
- ํฉ์ฑ 119 ํตํ ํ ์คํธ์ Claude ๊ณ์ด ๋ชจ๋ธ์ด ๋ถ์ธ ๋ผ๋ฒจ์ ๋๋ค. ์ฌ๋ ๊ฒ์๋ ๊ฑฐ์น์ง ์์์ต๋๋ค.
- ํ์ ์ยท์ฑ๋ณยท๋์ด๋ยท์ฃผ์ฆ์ ๋ผ๋ฒจ(ํ๋ ฅ์งํ ์ ์ธ)์ podongchip/119-call-transcript-synthetic-labels๋ก ๊ณต๊ฐ๋ผ ์์ต๋๋ค. ์ด ๋ชจ๋ธ์ ๊ทธ ๋ค์ ๋ณด๊ฐํ ๋ฐ์ดํฐ์ ํ๋ ฅ์งํยทAVPUยท์ฒ์น ๋ผ๋ฒจ์ ๋ํด ํ์ตํ์ต๋๋ค.
- ์ฒ์น ๋ผ๋ฒจ์ 2026-10-29์ Claude Sonnet 5.5๊ฐ ๊ตฌ์ ๊ณผ ๋ฒ์ฃผ๋ฅผ ํจ๊ป ๋ถ์์ต๋๋ค(ํตํ 48,872๊ฑด, ์ฒ์น๊ฐ ์๋ ํ์ 20,858๋ช , ํญ๋ชฉ 41,663๊ฐ). 300๊ฑด์ ๋ ๋ฒ ๋ฐ๋ก ๋ถ์ฌ ๋์กฐํ ์ผ์น์จ์ 95~96%์ ๋๋ค(๊ตฌ์ ์ด ๊ฒน์น๊ณ ๋ฒ์ฃผ๊ฐ ๊ฐ์์ง ๊ธฐ์ค).
- val์ ๋ผ์ง ์๊ณ ์ ์ฒด ๋ฐ์ดํฐ๋ก 2 ์ํญ ํ์ตํ ๋ง์ง๋ง ์ฒดํฌํฌ์ธํธ์ ๋๋ค.
- ํตํ ๊ฒฐ๊ณผ ๋์ฝ๋(v5)๋ ๋ฐ๋ก ๋ง๋ ํตํ 1,720๊ฑด(ํ์ต 1,376 ยท ๊ฒ์ฆ 344, ๋ ๋ฌถ์ ์ฌ์ด์ ๊ฒน์น๋ ํตํ ์์)์ผ๋ก ํ์ตํ์ต๋๋ค. ํ์ต ๋ฌถ์์ ๊ฒฐ๊ณผ ๋ถํฌ๋ ์์ฉ 550 ยท ๊ฑฐ์ 494 ยท ๋ณด๋ฅ 332๊ฑด์ ๋๋ค. ํตํ ๊ฒฐ๊ณผ ๋ผ๋ฒจ์ Claude Sonnet 5.5๊ฐ ๋ถ์๊ณ , ์ฌ๋ ๊ฒ์๋ ๊ฑฐ์น์ง ์์์ต๋๋ค. ์ธ์ฝ๋ ์ถ๋ ฅ์ ๊ณ ์ ํด ๋๊ณ ๋์ฝ๋๋ง ํ์ตํ๊ณ (ํ์ต ํ๋ผ๋ฏธํฐ ์ฝ 185๋ง ๊ฐ, ํด๋์ค ๋น๋ ์ญ๊ฐ์ค), ๊ฒ์ฆ macro-F1์ด ๊ฐ์ฅ ๋์ 6 ์ํญ ์ฒดํฌํฌ์ธํธ์ ๋๋ค.
ํ๊ฐ
์ค์ 119 ํตํ๋ฅผ ๋ฐํ์ผ๋ก ๋ง๋ ํ ์คํธ์ (612ํตํ, ํ์ 617๋ช , ํ์ต์ ์ฐ์ง ์์)์์ ์ด 4๋นํธ ONNX๋ก ์ฐ ๊ฒฐ๊ณผ์ ๋๋ค.
| ํญ๋ชฉ | ๊ฐ |
|---|---|
| score (ํ์ ์ ยท ์ฑ๋ณ ยท ๋์ด๋ ยท ์ฃผ์ฆ์ ๋๋ถ๋ฅ ยท ์๋ถ๋ฅ ยท AVPU ์ ํ๋ ํ๊ท ) | 0.845 |
| ํ์ ์ / ์ฑ๋ณ / ๋์ด๋ | 0.997 / 0.976 / 0.942 |
| ์ฃผ์ฆ์ ๋๋ถ๋ฅ / ์๋ถ๋ฅ | 0.681 / 0.556 |
| AVPU | 0.919 |
| ํ๋ ฅ์งํ (8๊ฐ ์ ํ๋ ํ๊ท ) | 0.960 |
| ์ฒ์น ๊ตฌ์ F1 (์ ๋ฐ๋ / ์ฌํ์จ) | 0.754 (0.722 / 0.789) |
| ์ฒ์น ๋ฒ์ฃผ micro-F1 (์ ๋ฐ๋ / ์ฌํ์จ) | 0.809 (0.948 / 0.705) |
| ์ฒ์น ๋ฒ์ฃผ๊ฐ ์ ํํ ๊ฐ์ ํ์ ๋น์จ | 0.964 |
- ์ฒ์น ๊ตฌ์ ์ ๊ฒฝ๊ณ๊ฐ ๋ผ๋ฒจ๋ฌ๋ง๋ค ์กฐ๊ธ์ฉ ๋ฌ๋ผ, ์์ธก ๊ตฌ์ ์ด ๊ฐ์ ํ์์ ์ ๋ต ๊ตฌ์ ๊ณผ ๊ธ์๊ฐ ๊ฒน์น๋ฉด ๋ง์ ๊ฒ์ผ๋ก ์ ๋๋ค.
- ํ ์คํธ์ ์์ ์ฒ์น๊ฐ ์๋ ํ์๋ 72๋ช ๋ฟ์ด๊ณ ๊ทธ์ค 54๋ช ์ด ์ฐ์์ ๋๋ค. 28๊ฐ ๋ฒ์ฃผ ์ค ์ ๋ฐ ๋๊ฒ๋ ํ ์คํธ์ ์ ํ ๋ฒ๋ ๋์ค์ง ์์, ๋ฒ์ฃผ๋ณ ์ฑ๋ฅ์ ํ์ธ๋์ง ์์์ต๋๋ค(๋ฒ์ฃผ macro-F1 0.417).
- ์์ํ ์ fp32 ONNX์์ ์ฐจ์ด๋ score 0.001, ํ๋ ฅ์งํ 0.001 ์ด๋ด์ ๋๋ค.
- ์ ํ์ ํ์ ํญ๋ชฉ์ v4์ ๊ฐ์ ์ธ์ฝ๋ ยท ๋์ฝ๋๋ผ v5์์๋ ๊ฐ์ต๋๋ค.
ํตํ ๊ฒฐ๊ณผ(v5) โ ์ ํ ์คํธ์ ์๋ ํตํ ๊ฒฐ๊ณผ ์ ๋ต์ด ์์ด, ํ์ต ๋ฐ์ดํฐ์ ๊ฐ์ ์ถ์ฒ์ ๊ฒ์ฆ ๋ฌถ์ 344๊ฑด์์ ์ฐ ๊ฐ์ ๋๋ค.
| ํญ๋ชฉ | ๊ฐ |
|---|---|
| ์ ํ๋ / macro-F1 | 0.994 / 0.993 |
| ์์ฉ F1 (์ ๋ฐ๋ / ์ฌํ์จ) | 0.996 (0.993 / 1.000), 137๊ฑด |
| ๊ฑฐ์ F1 | 0.996 (1.000 / 0.992), 124๊ฑด |
| ๋ณด๋ฅ F1 | 0.988 (0.988 / 0.988), 83๊ฑด |
- ๊ฒ์ฆ ๋ฌถ์์ด ํ์ต ๋ฌถ์๊ณผ ๊ฐ์ ๋ฐฉ์์ผ๋ก ๋ง๋ ํตํ๋ผ, ์ค์ ํตํ์์๋ ์ด๋ณด๋ค ๋ฎ์ ๊ฒ์ผ๋ก ๋ด์ผ ํฉ๋๋ค.
๋ฒ์
| revision | ๋ ์ง | ๋ด์ฉ |
|---|---|---|
main, v5-2026-11-04-outcome |
2026-11-04 | ์ด ๋ชจ๋ธ. v4์ ํตํ ๊ฒฐ๊ณผ ๋์ฝ๋(outcome_decoder.onnx, ์์ฉ ยท ๊ฑฐ์ ยท ๋ณด๋ฅ)์ catalog.json์ outcomes๋ฅผ ๋ํจ. ๋๋จธ์ง ํ์ผ์ v4์ ๊ฐ์ |
v4-2026-10-29-hqq |
2026-10-29 | ํ์๋ณ 15๊ฐ ํญ๋ชฉ(์ฒ์น ๊ตฌ์ ยท ์ฒ์น ๋ฒ์ฃผ 28๊ฐ ์ถ๊ฐ), 4๋นํธ ONNX(HQQ) |
v3-2026-10-20-rtn |
2026-10-20 | ํ์๋ณ 13๊ฐ ํญ๋ชฉ(ํ๋ ฅ์งํ 8๊ฐ ์ถ๊ฐ), ์ฌ๋ฌ ํ์, 4๋นํธ ONNX |
v2-2026-10-02 |
2026-10-02 | PyTorch best.pt, v2 ์คํค๋ง 17๊ฐ ํ๋(KTAS ํฌํจ) |
v1-2026-09-30 |
2026-09-30 | ์ฒซ ๊ณต๊ฐ ๋ชจ๋ธ(PyTorch) |
์ด์ ๋ชจ๋ธ์ snapshot_download("podongchip/MF_BERT", revision="v4-2026-10-29-hqq")์ฒ๋ผ ๋ฐ์ต๋๋ค.
ํ๊ณ
- ํ์ต ๋ฐ์ดํฐ์ ๋ผ๋ฒจ์ด ๋ชจ๋ AI๊ฐ ๋ง๋ ๊ฒ์ ๋๋ค. ์ค์ ์์ฑ ์ธ์(STT) ์ถ๋ ฅ์์์ ์ฑ๋ฅ์ ํ์ธ๋์ง ์์์ต๋๋ค.
- ํ ์คํธ์ ์ ์ค์ ํตํ๋ฅผ ๋ฐํ์ผ๋ก ํ์ง๋ง, ๋ณด๊ฐ ๋ฐ์ดํฐ๊ฐ ์ด ํ ์คํธ์ ์ ์ค๋ต ์ ํ์ ์ฐธ๊ณ ํด ๋ง๋ค์ด์ ธ ์ ์๊ฐ ์ค์ ๋ณด๋ค ๋๊ฒ ๋์์ ์ ์์ต๋๋ค.
- ์ฃผ์ฆ์ ๋ถ๋ฅ๊ฐ ์ฝํฉ๋๋ค(๋๋ถ๋ฅ 0.68, ์๋ถ๋ฅ 0.56).
- ์ฒ์น ๋ฒ์ฃผ๋ ์ฌํ์จ(0.705)์ด ์ ๋ฐ๋(0.948)๋ณด๋ค ๋ฎ์ต๋๋ค. ๊ณ ๋ฅธ ๋ฒ์ฃผ๋ ๋์ฒด๋ก ๋ง์ง๋ง, ๋งํ ์ฒ์น๋ฅผ ๋์น ์ ์์ต๋๋ค.
- ์ฑ๋ณยท๋์ด๋ ๋ผ๋ฒจ ์ผ๋ถ๋ ์ด์ MF_BERT๊ฐ ๋ถ์ธ ๊ฒ์ ๋๋ค.
- ํ๋ ฅ์งํ ์์น์ ๋ฒ์ ๊ฒ์ฌ(์: ํ์ 300 ์ด๊ณผ ๊ฑฐ๋ฅด๊ธฐ)๋ ํ์ง ์์ต๋๋ค.
- ํตํ ๊ฒฐ๊ณผ ๋์ฝ๋์ ํ์ต ยท ๊ฒ์ฆ ํตํ๋ ๊ฐ์ฅ ๊ธด ๊ฒ์ด 391ํ ํฐ์ด๋ผ, 512ํ ํฐ์ ๋์ด ์กฐ๊ฐ์ผ๋ก ๋๋ ์ธ์ฝ๋ฉ๋๋ ๊ธด ํตํ์์๋ ๊ฒ์ฆ๋์ง ์์์ต๋๋ค.
- ํตํ ๊ฒฐ๊ณผ๋ ์ค์ ํตํ ยท STT ์ถ๋ ฅ์์ ์ฌ์ง ์์์ต๋๋ค.
- ๋ณ์์ ์๋ต์ด ํตํ ํ
์คํธ์ ์์ผ๋ฉด
๋ณด๋ฅ๋์์์ฉ์ ๊ณ ๋ฅด๋ ๊ฒฝํฅ์ด ์์ต๋๋ค. ๊ตฌ๊ธ๋์ ๋ธ๋ฆฌํ๋ง ์๋ ํ ์คํธ, "์ฌ๋ณด์ธ์?"๋ก ๋๊ธด ํตํ, "๋ค." ํ ๋ง๋์์์์ฉํ๋ฅ ์ด 0.81~1.00์ผ๋ก ๋์์ต๋๋ค(์ง์ ๋ง๋ ์๋ฌธ ๋ช ๊ฐ๋ก ํ์ธ, ์ฒด๊ณ์ ํ๊ฐ ์๋). ํ์ต ํตํ์ ๋ณ์ ์๋ต์ด ์๋ ๊ฒฝ์ฐ๊ฐ ๋๋ฌผ์ด์์ผ ์ ์์ต๋๋ค(์์ธ์ ํ์ธ ์ ). ํ์ชฝ ๋ชฉ์๋ฆฌ๋ง ๋ฐ์ ์ ๋ ํ๊ฒฝ์์๋์์ฉ์ ๊ทธ๋๋ก ๋ฏฟ์ง ๋ง์ธ์.
๋ผ์ด์ ์ค
CC BY-SA 4.0. ์ด ๋ชจ๋ธ์ KLUE์ klue/roberta-large(CC BY-SA 4.0)๋ฅผ
๋ฏธ์ธ์กฐ์ ํ๊ณ ๋์ฝ๋๋ฅผ ๋ํ ๋ค ์ธ์ฝ๋๋ฅผ 4๋นํธ๋ก ์์ํํ ๊ฒ์
๋๋ค. ์ด ๋ชจ๋ธ์ ๋ฐํ์ผ๋ก ๋ง๋ ๊ฒ์ ๊ฐ์ ๋ผ์ด์ ์ค๋ก ๋ฐฐํฌํด์ผ ํฉ๋๋ค.
Model tree for podongchip/MF_BERT
Base model
klue/roberta-large