VAETKI tokenizer โ€” CJK repair update

์›๋ณธ ํ† ํฌ๋‚˜์ด์ € NC-AI-consortium-VAETKI/VAETKI์˜ ํŒŒ์ƒ๋ฌผ์ž…๋‹ˆ๋‹ค. vocab ํฌ๊ธฐ(137,216)์™€ ๊ธฐ์กด ํ† ํฐ id ๋Š” ๊ทธ๋Œ€๋กœ ์œ ์ง€๋˜๋ฉฐ, ์–ธ์–ด ๋น„์œจ ์กฐ์ • ๋ฉ”์ปค๋‹ˆ์ฆ˜ ์ ์šฉ ๋‹จ๊ณ„์—์„œ ๋ฐœ์ƒํ•œ ์˜ค๋ฅ˜๋ฅผ ์ˆ˜์ •ํ•˜์—ฌ, ๋„๋‹ฌ ๋ถˆ๊ฐ€๋Šฅํ–ˆ๋˜ ํ•œ์ž ์Šฌ๋กฏ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ•ฉ๋‹ˆ๋‹ค.

VAETKI ํ† ํฌ๋‚˜์ด์ €(vocab 137,216, byte-fallback BPE)์˜ ๊ตฌํ˜„ ์˜ค๋ฅ˜๋ฅผ ์ˆ˜์ •ํ•œ ๋ฒ„์ „์ž…๋‹ˆ๋‹ค. ๋ชจ๋ธ ๊ฐ€์ค‘์น˜๋Š” ํฌํ•จํ•˜์ง€ ์•Š๊ณ  ํ† ํฌ๋‚˜์ด์ €์™€ ์„ค์ •๋งŒ ๋ฐฐํฌํ•ฉ๋‹ˆ๋‹ค. ํ˜„์žฌ ๋ฐฐํฌ๋˜๊ณ  ์žˆ๋Š” ๋ชจ๋ธ์—์„œ๋Š”, ์ˆ˜์ •๋œ ๋ถ€๋ถ„์— ๋”ฐ๋ผ ์ค‘/์ผ ๋ฌธ์ž๊ฐ€ ํ‘œํ˜„๋˜๋Š” ์˜์—ญ์— ๋Œ€ํ•œ ์ถ”๊ฐ€ ํ•™์Šต์ด ํ•„์š”ํ•˜๋‹ˆ, ๋‹จ์ˆœํžˆ ์ถ”๋ก ๋งŒ ํ™œ์šฉํ•˜๋Š” ๊ฒฝ์šฐ์—๋Š” ์‚ฌ์šฉํ•˜์ง€ ์•Š๋„๋ก ์ฃผ์˜ ๋ถ€ํƒ๋“œ๋ฆฝ๋‹ˆ๋‹ค.

์š”์•ฝ

vocab ์— ๋‹ค๋ฌธ์ž ํ•œ์ž ํ•ญ๋ชฉ 21,895(ๆˆ‘ไปฌ ไธญๅ›ฝ ไธ€ไธช โ€ฆ)์— ๋Œ€ํ•ด ์กฐ๋ฆฝ seed๊ฐ€ ๋˜๋Š” ๋ฌธ์ž๊ฐ€ ์กด์žฌํ•˜์ง€ ์•Š์•„ ๋„๋‹ฌํ•˜์ง€ ์•Š๋Š” ํ† ํฐ ์˜์—ญ์ด ๋ฐœ์ƒํ•˜๊ณ , ์ด ๋•Œ๋ฌธ์— CJK ํ•œ์ž ํŒŒํŠธ๊ฐ€ ๊ณผ๋„ํ•˜๊ฒŒ byte-fallback ๋˜๋Š” ๋ฌธ์ œ๊ฐ€ ๋ฐœ์ƒํ•ฉ๋‹ˆ๋‹ค. ์ด ํ† ํฌ๋‚˜์ด์ €๋Š” ํ•ด๋‹น ์˜ค๋ฅ˜๋ฅผ ์ œ๊ฑฐํ•ฉ๋‹ˆ๋‹ค.

  • ๊ธฐ์กด ์ค‘๊ตญ์–ด ํ…์ŠคํŠธ์˜ 93%(์˜ˆ: ๆˆ‘ โ†’ <0xE6><0x88><0x91>), ๊ธฐ์กด ํ•œ์ž ํฌํ•จ ์ผ๋ณธ์–ด์˜ 67% ๊ฐ€ byte-fallback๋ฉ๋‹ˆ๋‹ค.
  • ๋ฌธ์ž๋‹น ํ† ํฐ: ์ค‘๊ตญ์–ด 2.4, ์ผ๋ณธ์–ด 1.2 (๋…์ผ์–ด๋Š” 0.30)์œผ๋กœ, ํ•ด๋‹น ๋‹ค๋ฌธ์ž ํ•œ์ž ์ž„๋ฒ ๋”ฉ 21,895ํ–‰์˜ ์—…๋ฐ์ดํŠธ๊ฐ€ ์˜ฌ๋ฐ”๋ฅด๊ฒŒ ๋˜์ง€ ์•Š๋Š” ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ–ˆ์Šต๋‹ˆ๋‹ค.

์ˆ˜์ •๋œ ํ•ญ๋ชฉ

๊ธฐ์กด vocab์—๋Š” ๆˆ‘ไปฌ, ไธญๅ›ฝ, ไธ€ไธช ๋“ฑ ๋‹ค๋ฌธ์ž ํ•œ์ž ํ•ญ๋ชฉ 21,895๊ฐœ๊ฐ€ ํฌํ•จ๋˜์–ด ์žˆ์œผ๋‚˜, ์ด๋“ค์„ ๊ตฌ์„ฑํ•˜๋Š” ๋‹จ์ผ ํ•œ์ž๊ฐ€ ์ถฉ๋ถ„ํžˆ vocab์— ์กด์žฌํ•˜์ง€ ์•Š์•„ ํ•ด๋‹น BPE merge์— ๋„๋‹ฌํ•  ์ˆ˜ ์—†๋Š” ๋ฌธ์ œ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ ๊ฒฐ๊ณผ ํ•œ์ž๋ฅผ ํฌํ•จํ•œ ์ค‘๊ตญ์–ด์™€ ์ผ๋ณธ์–ด ์ž…๋ ฅ์˜ ์ƒ๋‹น ๋ถ€๋ถ„์ด UTF-8 byte token์œผ๋กœ ๋ถ„ํ•ด๋ฉ๋‹ˆ๋‹ค.

๊ธฐ์กด ํ† ํฌ๋‚˜์ด์ €์—์„œ๋Š” ์ค‘๊ตญ์–ด ํ…์ŠคํŠธ์˜ ์•ฝ 93%, ํ•œ์ž๋ฅผ ํฌํ•จํ•œ ์ผ๋ณธ์–ด ํ…์ŠคํŠธ์˜ ์•ฝ 67%์—์„œ byte-fallback์ด ๋ฐœ์ƒํ•ฉ๋‹ˆ๋‹ค. ์ด์— ๋”ฐ๋ผ ์ค‘๊ตญ์–ด๋Š” ๋ฌธ์ž๋‹น ์•ฝ 2.4 token, ์ผ๋ณธ์–ด๋Š” ์•ฝ 1.2 token์„ ์‚ฌ์šฉํ•˜๋ฉฐ, vocab์— ์กด์žฌํ•˜๋Š” ๋‹ค๋ฌธ์ž ํ•œ์ž ํ† ํฐ 21,895๊ฐœ ์—ญ์‹œ ์ •์ƒ์ ์œผ๋กœ ์„ ํƒ๋˜๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค.

๋ณธ ๋ฒ„์ „์—์„œ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์ด vocab๊ณผ merge๋ฅผ ์žฌ๊ตฌ์„ฑํ–ˆ์Šต๋‹ˆ๋‹ค.

CJK ์ฝ”ํผ์Šค ๋ฌธ์ž ๋นˆ๋„๋ฅผ ๊ธฐ์ค€์œผ๋กœ ๋‹จ์ผ ํ•œ์ž 4,960์ž๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด ๋‹ค๋ฌธ์ž ํ•œ์ž ํ† ํฐ ๊ฐ€์šด๋ฐ BPE rank๊ฐ€ ๋†’์€ 16,935๊ฐœ๋ฅผ ์œ ์ง€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์œ ์ง€๋œ ๋‹ค๋ฌธ์ž ํ•œ์ž๊ฐ€ ์ƒˆ ๋‹จ์ผ ๋ฌธ์ž ํ† ํฐ์œผ๋กœ๋ถ€ํ„ฐ ์กฐ๋ฆฝ๋  ์ˆ˜ ์žˆ๋„๋ก 16,935๊ฐœ์˜ merge๋ฅผ ์žฌ์ƒ์„ฑํ–ˆ์Šต๋‹ˆ๋‹ค. ํ•„์š”ํ•œ vocab slot์€ ๊ธฐ์กด ๋‹ค๋ฌธ์ž ํ•œ์ž ํ† ํฐ ์ค‘ BPE rank๊ฐ€ ๋‚ฎ์€ 4,960๊ฐœ๋ฅผ ๋Œ€์ฒดํ•˜์—ฌ ํ™•๋ณดํ–ˆ์Šต๋‹ˆ๋‹ค. ํ•œ๊ธ€, ๊ธฐํ˜ธ, CJK ๋ฌธ์žฅ๋ถ€ํ˜ธ, byte token 256๊ฐœ, ํŠน์ˆ˜ ๋ฐ reserved token 2,167๊ฐœ๋Š” ๋ณ€๊ฒฝํ•˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. ์ตœ์ข… vocab ํฌ๊ธฐ๋Š” ๊ธฐ์กด๊ณผ ๋™์ผํ•œ 137,216์ž…๋‹ˆ๋‹ค.

ํ† ํฐ์˜ ์šฐ์„ ์ˆœ์œ„๋Š” ๊ธฐ์กด vocab id๋ฅผ BPE rank๋กœ ๊ฐ„์ฃผํ•˜์—ฌ ์œ ์ง€ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ณ€๊ฒฝ ํ›„ vocab์— ๋‚จ์•„ ์žˆ๋Š” ๋‹ค๋ฌธ์ž ํ•œ์ž ํ† ํฐ์€ ๋ชจ๋‘ ๋‹จ์ผ ๋ฌธ์ž ๋ฐ ํ•˜์œ„ merge๋กœ๋ถ€ํ„ฐ ๊ตฌ์„ฑ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

๊ธฐ์กด embedding ๋ฐ LM head์™€์˜ shape ํ˜ธํ™˜์„ฑ์„ ์œ ์ง€ํ•˜๊ธฐ ์œ„ํ•ด token id ์ž์ฒด๋Š” ์žฌ๋ฐฐ์น˜ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ œ๊ฑฐ๋œ 4,960๊ฐœ ํ† ํฐ์˜ id์— ์ƒˆ ๋‹จ์ผ ํ•œ์ž๋ฅผ ๋Œ€์‘์‹œํ‚ค๋Š” ๋ฐฉ์‹์ž…๋‹ˆ๋‹ค.

ํŠน์ˆ˜ ํ† ํฐ ์ •๋ฆฌ

๊ธฐ์กด vocab์—์„œ <s>์™€ </s>๋Š” special token์œผ๋กœ ํ‘œ์‹œ๋˜์–ด ์žˆ์œผ๋‚˜, ์ด ํ† ํฌ๋‚˜์ด์ €์˜ BOS์™€ EOS๋Š” <|START|>์™€ <|END|>์ž…๋‹ˆ๋‹ค. <s>์™€ </s>๋Š” ์ œ์–ด ํ† ํฐ์œผ๋กœ ์‚ฌ์šฉ๋˜์ง€ ์•Š์œผ๋ฉด์„œ HTML์˜ ๋™์ผํ•œ ํƒœ๊ทธ ๋ฌธ์ž์—ด๊ณผ ์ถฉ๋Œํ•ฉ๋‹ˆ๋‹ค.

์ด ๋•Œ๋ฌธ์— ํ…์ŠคํŠธ์— ํฌํ•จ๋œ <s> ํƒœ๊ทธ๊ฐ€ special token์œผ๋กœ ์ธ์ฝ”๋”ฉ๋˜๊ณ , skip_special_tokens=True๋กœ ๋””์ฝ”๋”ฉํ•  ๋•Œ ํ•ด๋‹น ๋ฌธ์ž์—ด์ด ๊ฒฐ๊ณผ์—์„œ ์‚ฌ๋ผ์ง‘๋‹ˆ๋‹ค. ์ฝ”๋“œ ์ฝ”ํผ์Šค ์•ฝ 633๋งŒ ๋ฌธ์ž์—์„œ <s>๋Š” 2ํšŒ ๊ด€์ธก๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ํ•™์Šต ์ž…๋ ฅ์—๋Š” ์˜ํ–ฅ์ด ์—†์œผ๋‚˜ ๋””์ฝ”๋”ฉ ๊ฒฐ๊ณผ์—์„œ ๋ฌธ์ž์—ด์ด ์†์‹ค๋ฉ๋‹ˆ๋‹ค.

๋ณธ ๋ฒ„์ „์—์„œ๋Š” ๋‘ ํ† ํฐ์„ <|s|>์™€ <|/s|>๋กœ ๋ณ€๊ฒฝํ–ˆ์Šต๋‹ˆ๋‹ค. token id 1๊ณผ 2๋Š” ๊ทธ๋Œ€๋กœ ์œ ์ง€๋˜๋ฏ€๋กœ embedding ๋ฐ LM head์™€์˜ ํ˜ธํ™˜์„ฑ์—๋Š” ์˜ํ–ฅ์ด ์—†์œผ๋ฉฐ, merge ์—ญ์‹œ ๋ณ€๊ฒฝ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋ณ€๊ฒฝ ํ›„ ํ…์ŠคํŠธ์˜ <s> ํƒœ๊ทธ๋Š” ์ผ๋ฐ˜ ๋ฌธ์ž๋กœ ๋ถ„ํ•ด๋˜์–ด round-trip์ด ๋ณด์กด๋ฉ๋‹ˆ๋‹ค.

<pad>์™€ <unk>๋Š” ์‹ค์ œ ํ…์ŠคํŠธ์™€ ์ถฉ๋Œํ•  ๊ฐ€๋Šฅ์„ฑ์ด ๋‚ฎ์•„ special token์œผ๋กœ ์œ ์ง€ํ–ˆ์Šต๋‹ˆ๋‹ค.

ํ† ํฐํ™” ๊ฒฐ๊ณผ

FineWeb2์˜ ์ค‘๊ตญ์–ด ๋ฐ ์ผ๋ณธ์–ด ํ‘œ๋ณธ์„ ๊ธฐ์ค€์œผ๋กœ ์ˆ˜์ • ์ „ํ›„์˜ ํ† ํฐํ™”๋ฅผ ๋น„๊ตํ–ˆ์Šต๋‹ˆ๋‹ค.

์ฝ”ํผ์Šค ํ† ํฐ ์ˆ˜ ๋ณ€ํ™” chars/token byte-fallback
์ค‘๊ตญ์–ด (FineWeb2 cmn) โˆ’73.3% 0.42 โ†’ 1.56 92.9% โ†’ 0.5%
์ผ๋ณธ์–ด (FineWeb2 jpn) โˆ’55.5% 0.83 โ†’ 1.87 67.6% โ†’ 0.2%
์ผ๋ณธ์–ด/์ค‘๊ตญ์–ด ํ˜ผํ•ฉ โˆ’53.3% 0.75 โ†’ 1.60 67.6% โ†’ 0.5%
ํ•œ๊ตญ์–ด / ๋…์ผ์–ด / ์ŠคํŽ˜์ธ์–ด 0.0% ๋ณ€ํ™” ์—†์Œ ๋ณ€ํ™” ์—†์Œ
์ฝ”๋“œ / ์ˆ˜ํ•™ 0.0% ๋ณ€ํ™” ์—†์Œ ๋ณ€ํ™” ์—†์Œ

์ค‘๊ตญ์–ด์—์„œ๋Š” ๊ธฐ์กด ํ† ํฐ ์ˆ˜์˜ ์•ฝ 26.7%, ์ผ๋ณธ์–ด์—์„œ๋Š” ์•ฝ 44.5% ์ˆ˜์ค€์œผ๋กœ ๊ฐ์†Œํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ์ƒˆ ์••์ถ• ๊ทœ์น™์„ ๋ณ„๋„๋กœ ์ถ”๊ฐ€ํ•œ ๊ฒฐ๊ณผ๋ผ๊ธฐ๋ณด๋‹ค, ๊ธฐ์กด vocab์— ์ด๋ฏธ ์กด์žฌํ•˜๋˜ CJK BPE ๊ตฌ์กฐ๊ฐ€ ์‹ค์ œ๋กœ ์‚ฌ์šฉ๋  ์ˆ˜ ์žˆ๋„๋ก ๋ณต๊ตฌํ•œ ๊ฒฐ๊ณผ์ž…๋‹ˆ๋‹ค.

ํšŒ๊ท€ ๊ฒ€์ฆ

CJK ์ˆ˜์ •์ด ๋‹ค๋ฅธ ์–ธ์–ด ๋ฐ ์ฝ”๋“œ ํ† ํฐํ™”์— ์˜ํ–ฅ์„ ์ฃผ์ง€ ์•Š๋Š”์ง€ ๋ณ„๋„๋กœ ํ™•์ธํ–ˆ์Šต๋‹ˆ๋‹ค.

  • ํ•œ๊ตญ์–ด, ๋…์ผ์–ด, ์ŠคํŽ˜์ธ์–ด ๋ฌธ์„œ ๊ฐ 200๊ฐœ
  • mid-training ๋ฐ์ดํ„ฐ 200๊ฐœ
  • Nemotron Synthetic-Code 400๊ฐœ

์œ„ ๋ฐ์ดํ„ฐ์—์„œ๋Š” ์ˆ˜์ • ์ „ํ›„ token id sequence๊ฐ€ ๋ชจ๋‘ ๋™์ผํ–ˆ์Šต๋‹ˆ๋‹ค.

์ฝ”๋“œ ๋ฐ ์ˆ˜ํ•™ ์ฝ”ํผ์Šค ์ „์ฒด ๋น„๊ต์—์„œ๋„ ํ† ํฐ ์ˆ˜๊ฐ€ ์ฆ๊ฐ€ํ•œ ๋ฌธ์„œ๋Š” ์—†์—ˆ์Šต๋‹ˆ๋‹ค. ํ† ํฐ์—ด์ด ๋ณ€๊ฒฝ๋œ ๋ฌธ์„œ๋Š” ๋ชจ๋‘ CJK ๋ฌธ์ž๋ฅผ ํฌํ•จํ•˜๊ณ  ์žˆ์—ˆ์œผ๋ฉฐ, ํ•ด๋‹น ๋ฌธ์„œ์—์„œ๋Š” ํ† ํฐ ์ˆ˜๊ฐ€ ๊ฐ์†Œํ–ˆ์Šต๋‹ˆ๋‹ค.

์ถ”๊ฐ€๋กœ ์ฝ”๋“œ ๋ฐ ์ˆ˜ํ•™ ์ฝ”ํผ์Šค๋ฅผ ํฌํ•จํ•œ 14๊ฐœ ์ฝ”ํผ์Šค 5,200๊ฐœ ๋ฌธ์„œ์— ๋Œ€ํ•ด encode โ†’ decode round-trip์„ ๊ฒ€์‚ฌํ–ˆ์Šต๋‹ˆ๋‹ค. ์ˆ˜์ • ์ „ํ›„์˜ ์‹คํŒจ ๊ฑด์ˆ˜๋Š” ๋™์ผํ–ˆ์œผ๋ฉฐ, ์ˆ˜์ •์œผ๋กœ ์ธํ•ด ์ƒˆ๋กœ ๋ฐœ์ƒํ•œ ๋ถˆ์ผ์น˜๋Š” ์—†์Šต๋‹ˆ๋‹ค.

ํ† ํฌ๋‚˜์ด์ € ์ˆ˜์ •๋งŒ ์ ์šฉํ•˜๋Š” ๊ฒฝ์šฐ ์ƒˆ๋กญ๊ฒŒ ํ• ๋‹น๋œ 4,960๊ฐœ์˜ token id๋Š” ๊ธฐ์กด ๋ชจ๋ธ์—์„œ ๋‹ค๋ฅธ ๋‹ค๋ฌธ์ž ํ† ํฐ์— ๋Œ€์‘ํ•˜๋˜ embedding์„ ๊ฐ€์ง€๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ํ•ด๋‹น ํ–‰์€ ๋ชจ๋ธ ํ•™์Šต ๋˜๋Š” continued pretraining ์ „์— ๋‹ค์‹œ ์ดˆ๊ธฐํ™”ํ•˜๋Š” ๊ฒƒ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

util/init\_embeddings.py๋Š” ์ƒˆ ๋‹จ์ผ ํ•œ์ž์˜ UTF-8 ํ‘œํ˜„์— ํ•ด๋‹นํ•˜๋Š” byte token embedding์˜ ํ‰๊ท ๊ฐ’์œผ๋กœ ํ•ด๋‹น ํ–‰์„ ์ดˆ๊ธฐํ™”ํ•ฉ๋‹ˆ๋‹ค.

์˜ˆ๋ฅผ ๋“ค์–ด ๋ฌธ์ž ๆˆ‘๊ฐ€ ๊ธฐ์กด ๋ชจ๋ธ์—์„œ ๋‹ค์Œ๊ณผ ๊ฐ™์ด ์ฒ˜๋ฆฌ๋˜์—ˆ๋‹ค๋ฉด,

ๆˆ‘ โ†’ <0xE6> <0x88> <0x91>

์ƒˆ ๆˆ‘ token์˜ embedding์€ ์„ธ byte token embedding์˜ ํ‰๊ท ์œผ๋กœ ์ดˆ๊ธฐํ™”ํ•ฉ๋‹ˆ๋‹ค.

E(ๆˆ‘) = (E(<0xE6>) + E(<0x88>) + E(<0x91>)) / 3

์ด๋Š” ์ƒˆ CJK token์„ ๋ฌด์ž‘์œ„ ๋˜๋Š” zero initializationํ•˜๋Š” ๋Œ€์‹ , ๊ธฐ์กด ๋ชจ๋ธ์ด ํ•ด๋‹น ๋ฌธ์ž๋ฅผ ํ‘œํ˜„ํ•  ๋•Œ ์‚ฌ์šฉํ•˜๋˜ embedding์„ ์ดˆ๊ธฐ๊ฐ’์œผ๋กœ ์ด์šฉํ•˜๊ธฐ ์œ„ํ•œ ๊ฒƒ์ž…๋‹ˆ๋‹ค.

์‹ค์ œ continued training์—์„œ๋Š” zero initialization์— ๋น„ํ•ด ์ดˆ๊ธฐ embedding gradient ์ฆ๊ฐ€๊ฐ€ ์ž‘๊ณ  ์ˆ˜๋ ด์ด ์•ˆ์ •์ ์ด๋ฏ€๋กœ ์ด ๋ฐฉ์‹์„ ๊ธฐ๋ณธ๊ฐ’์œผ๋กœ ๊ถŒ์žฅํ•ฉ๋‹ˆ๋‹ค.

ํฌํ•จ ํŒŒ์ผ

  • tokenizer.json
    ์ˆ˜์ •๋œ tokenizer. vocab 137,216 / merges 225,319.
  • replacement_map.json
    ์žฌ์‚ฌ์šฉ๋œ token id์™€ ๊ธฐ์กด ํ† ํฐ, ์ƒˆ ๋‹จ์ผ ํ•œ์ž์˜ ๋Œ€์‘ ๊ด€๊ณ„ 4,960๊ฑด.
  • util/build_tokenizer_surgery.py
    tokenizer ์žฌ๊ตฌ์„ฑ ์Šคํฌ๋ฆฝํŠธ.
  • util/init_embeddings.py
    ์ƒˆ CJK token์— ๋Œ€์‘ํ•˜๋Š” embedding ํ–‰ ์ดˆ๊ธฐํ™” ์Šคํฌ๋ฆฝํŠธ.
  • util/rename_legacy_special.py
    <s>, </s>๋ฅผ <|s|>, <|/s|>๋กœ ๋ณ€๊ฒฝํ•˜๋Š” ์Šคํฌ๋ฆฝํŠธ.
  • generation_config.json
  • tokenizer_config.json
  • chat_template.jinja

์ ์šฉ ๋ฒ”์œ„

์ถ”๊ฐ€ํ•œ ๋‹จ์ผ ํ•œ์ž 4,960์ž๋Š” FineWeb2 ์ค‘๊ตญ์–ด ๋ฐ ์ผ๋ณธ์–ด ํ‘œ๋ณธ ์•ฝ 630๋งŒ ๋ฌธ์ž์—์„œ ๊ณ„์‚ฐํ•œ ๋ฌธ์ž ๋นˆ๋„๋ฅผ ๊ธฐ์ค€์œผ๋กœ ์„ ์ •ํ–ˆ์œผ๋ฉฐ, ํ•ด๋‹น ํ‘œ๋ณธ์—์„œ 99.735%์˜ ๋ฌธ์ž ์ถœํ˜„์„ ์ปค๋ฒ„ํ•ฉ๋‹ˆ๋‹ค. ๋‹ค๋ฅธ ์–ธ์–ด ๋ถ„ํฌ๋‚˜ ์ „๋ฌธ ๋„๋ฉ”์ธ์—์„œ๋Š” ์ปค๋ฒ„๋ฆฌ์ง€๊ฐ€ ๋‹ฌ๋ผ์งˆ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

vocab ํฌ๊ธฐ๋ฅผ ์œ ์ง€ํ•˜๊ธฐ ์œ„ํ•ด ๊ธฐ์กด ๋‹ค๋ฌธ์ž ํ•œ์ž ํ† ํฐ ์ค‘ ๋‚ฎ์€ BPE rank์˜ 4,960๊ฐœ๋ฅผ ์ œ๊ฑฐํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด ๋ฌธ์ž์—ด๋“ค์€ ๋” ์ด์ƒ ๋‹จ์ผ token์œผ๋กœ ํ‘œํ˜„๋˜์ง€ ์•Š์ง€๋งŒ, ์ƒˆ ๋‹จ์ผ ํ•œ์ž์™€ ๊ธฐ์กด merge์˜ ์กฐํ•ฉ์œผ๋กœ ๋ชจ๋‘ encoding ๋ฐ decodingํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์ผ๋ถ€ ์ €๋นˆ๋„ ๋ฌธ์ž์—ด์—์„œ token ์ˆ˜๊ฐ€ ์ฆ๊ฐ€ํ•  ์ˆ˜ ์žˆ์œผ๋‚˜ ๋ฌธ์ž์—ด ์ •๋ณด ์ž์ฒด๊ฐ€ ์†์‹ค๋˜์ง€๋Š” ์•Š์Šต๋‹ˆ๋‹ค.

์ด๋ฒˆ ์ˆ˜์ •์€ ํ•œ์ž tokenization ๋ฌธ์ œ๋งŒ์„ ๋Œ€์ƒ์œผ๋กœ ํ•ฉ๋‹ˆ๋‹ค. ํ•œ๊ธ€, ์ผ๋ณธ์–ด ๊ฐ€๋‚˜, ๊ธฐํ˜ธ ๋ฐ ๊ธฐํƒ€ ๊ธฐ์กด์— ์ •์ƒ์ ์œผ๋กœ ์ฒ˜๋ฆฌ๋˜๋˜ token ์˜์—ญ์€ ์ˆ˜์ •ํ•˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค.

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. ๐Ÿ™‹ Ask for provider support