VAETKI tokenizer โ CJK repair update
์๋ณธ ํ ํฌ๋์ด์ NC-AI-consortium-VAETKI/VAETKI์ ํ์๋ฌผ์
๋๋ค. vocab ํฌ๊ธฐ(137,216)์ ๊ธฐ์กด ํ ํฐ id ๋ ๊ทธ๋๋ก ์ ์ง๋๋ฉฐ, ์ธ์ด ๋น์จ ์กฐ์ ๋ฉ์ปค๋์ฆ ์ ์ฉ ๋จ๊ณ์์ ๋ฐ์ํ ์ค๋ฅ๋ฅผ ์์ ํ์ฌ, ๋๋ฌ ๋ถ๊ฐ๋ฅํ๋ ํ์ ์ฌ๋กฏ ๋ฌธ์ ๋ฅผ ์์ ํฉ๋๋ค.
VAETKI ํ ํฌ๋์ด์ (vocab 137,216, byte-fallback BPE)์ ๊ตฌํ ์ค๋ฅ๋ฅผ ์์ ํ ๋ฒ์ ์ ๋๋ค. ๋ชจ๋ธ ๊ฐ์ค์น๋ ํฌํจํ์ง ์๊ณ ํ ํฌ๋์ด์ ์ ์ค์ ๋ง ๋ฐฐํฌํฉ๋๋ค. ํ์ฌ ๋ฐฐํฌ๋๊ณ ์๋ ๋ชจ๋ธ์์๋, ์์ ๋ ๋ถ๋ถ์ ๋ฐ๋ผ ์ค/์ผ ๋ฌธ์๊ฐ ํํ๋๋ ์์ญ์ ๋ํ ์ถ๊ฐ ํ์ต์ด ํ์ํ๋, ๋จ์ํ ์ถ๋ก ๋ง ํ์ฉํ๋ ๊ฒฝ์ฐ์๋ ์ฌ์ฉํ์ง ์๋๋ก ์ฃผ์ ๋ถํ๋๋ฆฝ๋๋ค.
์์ฝ
vocab ์ ๋ค๋ฌธ์ ํ์ ํญ๋ชฉ 21,895(ๆไปฌ ไธญๅฝ ไธไธช โฆ)์ ๋ํด ์กฐ๋ฆฝ seed๊ฐ ๋๋ ๋ฌธ์๊ฐ ์กด์ฌํ์ง ์์ ๋๋ฌํ์ง ์๋ ํ ํฐ ์์ญ์ด ๋ฐ์ํ๊ณ , ์ด ๋๋ฌธ์ CJK ํ์ ํํธ๊ฐ ๊ณผ๋ํ๊ฒ byte-fallback ๋๋ ๋ฌธ์ ๊ฐ ๋ฐ์ํฉ๋๋ค. ์ด ํ ํฌ๋์ด์ ๋ ํด๋น ์ค๋ฅ๋ฅผ ์ ๊ฑฐํฉ๋๋ค.
- ๊ธฐ์กด ์ค๊ตญ์ด ํ
์คํธ์ 93%(์:
ๆโ<0xE6><0x88><0x91>), ๊ธฐ์กด ํ์ ํฌํจ ์ผ๋ณธ์ด์ 67% ๊ฐ byte-fallback๋ฉ๋๋ค. - ๋ฌธ์๋น ํ ํฐ: ์ค๊ตญ์ด 2.4, ์ผ๋ณธ์ด 1.2 (๋ ์ผ์ด๋ 0.30)์ผ๋ก, ํด๋น ๋ค๋ฌธ์ ํ์ ์๋ฒ ๋ฉ 21,895ํ์ ์ ๋ฐ์ดํธ๊ฐ ์ฌ๋ฐ๋ฅด๊ฒ ๋์ง ์๋ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ์ต๋๋ค.
์์ ๋ ํญ๋ชฉ
๊ธฐ์กด vocab์๋ ๆไปฌ, ไธญๅฝ, ไธไธช ๋ฑ ๋ค๋ฌธ์ ํ์ ํญ๋ชฉ 21,895๊ฐ๊ฐ ํฌํจ๋์ด ์์ผ๋, ์ด๋ค์ ๊ตฌ์ฑํ๋ ๋จ์ผ ํ์๊ฐ ์ถฉ๋ถํ vocab์ ์กด์ฌํ์ง ์์ ํด๋น BPE merge์ ๋๋ฌํ ์ ์๋ ๋ฌธ์ ๊ฐ ์์ต๋๋ค. ๊ทธ ๊ฒฐ๊ณผ ํ์๋ฅผ ํฌํจํ ์ค๊ตญ์ด์ ์ผ๋ณธ์ด ์ ๋ ฅ์ ์๋น ๋ถ๋ถ์ด UTF-8 byte token์ผ๋ก ๋ถํด๋ฉ๋๋ค.
๊ธฐ์กด ํ ํฌ๋์ด์ ์์๋ ์ค๊ตญ์ด ํ ์คํธ์ ์ฝ 93%, ํ์๋ฅผ ํฌํจํ ์ผ๋ณธ์ด ํ ์คํธ์ ์ฝ 67%์์ byte-fallback์ด ๋ฐ์ํฉ๋๋ค. ์ด์ ๋ฐ๋ผ ์ค๊ตญ์ด๋ ๋ฌธ์๋น ์ฝ 2.4 token, ์ผ๋ณธ์ด๋ ์ฝ 1.2 token์ ์ฌ์ฉํ๋ฉฐ, vocab์ ์กด์ฌํ๋ ๋ค๋ฌธ์ ํ์ ํ ํฐ 21,895๊ฐ ์ญ์ ์ ์์ ์ผ๋ก ์ ํ๋๊ธฐ ์ด๋ ต์ต๋๋ค.
๋ณธ ๋ฒ์ ์์๋ ๋ค์๊ณผ ๊ฐ์ด vocab๊ณผ merge๋ฅผ ์ฌ๊ตฌ์ฑํ์ต๋๋ค.
CJK ์ฝํผ์ค ๋ฌธ์ ๋น๋๋ฅผ ๊ธฐ์ค์ผ๋ก ๋จ์ผ ํ์ 4,960์๋ฅผ ์ถ๊ฐํ์ต๋๋ค. ๊ธฐ์กด ๋ค๋ฌธ์ ํ์ ํ ํฐ ๊ฐ์ด๋ฐ BPE rank๊ฐ ๋์ 16,935๊ฐ๋ฅผ ์ ์งํ์ต๋๋ค. ์ ์ง๋ ๋ค๋ฌธ์ ํ์๊ฐ ์ ๋จ์ผ ๋ฌธ์ ํ ํฐ์ผ๋ก๋ถํฐ ์กฐ๋ฆฝ๋ ์ ์๋๋ก 16,935๊ฐ์ merge๋ฅผ ์ฌ์์ฑํ์ต๋๋ค. ํ์ํ vocab slot์ ๊ธฐ์กด ๋ค๋ฌธ์ ํ์ ํ ํฐ ์ค BPE rank๊ฐ ๋ฎ์ 4,960๊ฐ๋ฅผ ๋์ฒดํ์ฌ ํ๋ณดํ์ต๋๋ค. ํ๊ธ, ๊ธฐํธ, CJK ๋ฌธ์ฅ๋ถํธ, byte token 256๊ฐ, ํน์ ๋ฐ reserved token 2,167๊ฐ๋ ๋ณ๊ฒฝํ์ง ์์์ต๋๋ค. ์ต์ข vocab ํฌ๊ธฐ๋ ๊ธฐ์กด๊ณผ ๋์ผํ 137,216์ ๋๋ค.
ํ ํฐ์ ์ฐ์ ์์๋ ๊ธฐ์กด vocab id๋ฅผ BPE rank๋ก ๊ฐ์ฃผํ์ฌ ์ ์งํ์ต๋๋ค. ๋ณ๊ฒฝ ํ vocab์ ๋จ์ ์๋ ๋ค๋ฌธ์ ํ์ ํ ํฐ์ ๋ชจ๋ ๋จ์ผ ๋ฌธ์ ๋ฐ ํ์ merge๋ก๋ถํฐ ๊ตฌ์ฑ ๊ฐ๋ฅํฉ๋๋ค.
๊ธฐ์กด embedding ๋ฐ LM head์์ shape ํธํ์ฑ์ ์ ์งํ๊ธฐ ์ํด token id ์์ฒด๋ ์ฌ๋ฐฐ์นํ์ง ์์ต๋๋ค. ์ ๊ฑฐ๋ 4,960๊ฐ ํ ํฐ์ id์ ์ ๋จ์ผ ํ์๋ฅผ ๋์์ํค๋ ๋ฐฉ์์ ๋๋ค.
ํน์ ํ ํฐ ์ ๋ฆฌ
๊ธฐ์กด vocab์์ <s>์ </s>๋ special token์ผ๋ก ํ์๋์ด ์์ผ๋, ์ด ํ ํฌ๋์ด์ ์ BOS์ EOS๋ <|START|>์ <|END|>์
๋๋ค. <s>์ </s>๋ ์ ์ด ํ ํฐ์ผ๋ก ์ฌ์ฉ๋์ง ์์ผ๋ฉด์ HTML์ ๋์ผํ ํ๊ทธ ๋ฌธ์์ด๊ณผ ์ถฉ๋ํฉ๋๋ค.
์ด ๋๋ฌธ์ ํ
์คํธ์ ํฌํจ๋ <s> ํ๊ทธ๊ฐ special token์ผ๋ก ์ธ์ฝ๋ฉ๋๊ณ , skip_special_tokens=True๋ก ๋์ฝ๋ฉํ ๋ ํด๋น ๋ฌธ์์ด์ด ๊ฒฐ๊ณผ์์ ์ฌ๋ผ์ง๋๋ค. ์ฝ๋ ์ฝํผ์ค ์ฝ 633๋ง ๋ฌธ์์์ <s>๋ 2ํ ๊ด์ธก๋์์ต๋๋ค. ํ์ต ์
๋ ฅ์๋ ์ํฅ์ด ์์ผ๋ ๋์ฝ๋ฉ ๊ฒฐ๊ณผ์์ ๋ฌธ์์ด์ด ์์ค๋ฉ๋๋ค.
๋ณธ ๋ฒ์ ์์๋ ๋ ํ ํฐ์ <|s|>์ <|/s|>๋ก ๋ณ๊ฒฝํ์ต๋๋ค. token id 1๊ณผ 2๋ ๊ทธ๋๋ก ์ ์ง๋๋ฏ๋ก embedding ๋ฐ LM head์์ ํธํ์ฑ์๋ ์ํฅ์ด ์์ผ๋ฉฐ, merge ์ญ์ ๋ณ๊ฒฝ๋์ง ์์ต๋๋ค. ๋ณ๊ฒฝ ํ ํ
์คํธ์ <s> ํ๊ทธ๋ ์ผ๋ฐ ๋ฌธ์๋ก ๋ถํด๋์ด round-trip์ด ๋ณด์กด๋ฉ๋๋ค.
<pad>์ <unk>๋ ์ค์ ํ
์คํธ์ ์ถฉ๋ํ ๊ฐ๋ฅ์ฑ์ด ๋ฎ์ special token์ผ๋ก ์ ์งํ์ต๋๋ค.
ํ ํฐํ ๊ฒฐ๊ณผ
FineWeb2์ ์ค๊ตญ์ด ๋ฐ ์ผ๋ณธ์ด ํ๋ณธ์ ๊ธฐ์ค์ผ๋ก ์์ ์ ํ์ ํ ํฐํ๋ฅผ ๋น๊ตํ์ต๋๋ค.
| ์ฝํผ์ค | ํ ํฐ ์ ๋ณํ | chars/token | byte-fallback |
|---|---|---|---|
| ์ค๊ตญ์ด (FineWeb2 cmn) | โ73.3% | 0.42 โ 1.56 | 92.9% โ 0.5% |
| ์ผ๋ณธ์ด (FineWeb2 jpn) | โ55.5% | 0.83 โ 1.87 | 67.6% โ 0.2% |
| ์ผ๋ณธ์ด/์ค๊ตญ์ด ํผํฉ | โ53.3% | 0.75 โ 1.60 | 67.6% โ 0.5% |
| ํ๊ตญ์ด / ๋ ์ผ์ด / ์คํ์ธ์ด | 0.0% | ๋ณํ ์์ | ๋ณํ ์์ |
| ์ฝ๋ / ์ํ | 0.0% | ๋ณํ ์์ | ๋ณํ ์์ |
์ค๊ตญ์ด์์๋ ๊ธฐ์กด ํ ํฐ ์์ ์ฝ 26.7%, ์ผ๋ณธ์ด์์๋ ์ฝ 44.5% ์์ค์ผ๋ก ๊ฐ์ํ์ต๋๋ค. ์ด๋ ์ ์์ถ ๊ท์น์ ๋ณ๋๋ก ์ถ๊ฐํ ๊ฒฐ๊ณผ๋ผ๊ธฐ๋ณด๋ค, ๊ธฐ์กด vocab์ ์ด๋ฏธ ์กด์ฌํ๋ CJK BPE ๊ตฌ์กฐ๊ฐ ์ค์ ๋ก ์ฌ์ฉ๋ ์ ์๋๋ก ๋ณต๊ตฌํ ๊ฒฐ๊ณผ์ ๋๋ค.
ํ๊ท ๊ฒ์ฆ
CJK ์์ ์ด ๋ค๋ฅธ ์ธ์ด ๋ฐ ์ฝ๋ ํ ํฐํ์ ์ํฅ์ ์ฃผ์ง ์๋์ง ๋ณ๋๋ก ํ์ธํ์ต๋๋ค.
- ํ๊ตญ์ด, ๋ ์ผ์ด, ์คํ์ธ์ด ๋ฌธ์ ๊ฐ 200๊ฐ
- mid-training ๋ฐ์ดํฐ 200๊ฐ
- Nemotron Synthetic-Code 400๊ฐ
์ ๋ฐ์ดํฐ์์๋ ์์ ์ ํ token id sequence๊ฐ ๋ชจ๋ ๋์ผํ์ต๋๋ค.
์ฝ๋ ๋ฐ ์ํ ์ฝํผ์ค ์ ์ฒด ๋น๊ต์์๋ ํ ํฐ ์๊ฐ ์ฆ๊ฐํ ๋ฌธ์๋ ์์์ต๋๋ค. ํ ํฐ์ด์ด ๋ณ๊ฒฝ๋ ๋ฌธ์๋ ๋ชจ๋ CJK ๋ฌธ์๋ฅผ ํฌํจํ๊ณ ์์์ผ๋ฉฐ, ํด๋น ๋ฌธ์์์๋ ํ ํฐ ์๊ฐ ๊ฐ์ํ์ต๋๋ค.
์ถ๊ฐ๋ก ์ฝ๋ ๋ฐ ์ํ ์ฝํผ์ค๋ฅผ ํฌํจํ 14๊ฐ ์ฝํผ์ค 5,200๊ฐ ๋ฌธ์์ ๋ํด encode โ decode round-trip์ ๊ฒ์ฌํ์ต๋๋ค. ์์ ์ ํ์ ์คํจ ๊ฑด์๋ ๋์ผํ์ผ๋ฉฐ, ์์ ์ผ๋ก ์ธํด ์๋ก ๋ฐ์ํ ๋ถ์ผ์น๋ ์์ต๋๋ค.
ํ ํฌ๋์ด์ ์์ ๋ง ์ ์ฉํ๋ ๊ฒฝ์ฐ ์๋กญ๊ฒ ํ ๋น๋ 4,960๊ฐ์ token id๋ ๊ธฐ์กด ๋ชจ๋ธ์์ ๋ค๋ฅธ ๋ค๋ฌธ์ ํ ํฐ์ ๋์ํ๋ embedding์ ๊ฐ์ง๊ณ ์์ต๋๋ค. ๋ฐ๋ผ์ ํด๋น ํ์ ๋ชจ๋ธ ํ์ต ๋๋ continued pretraining ์ ์ ๋ค์ ์ด๊ธฐํํ๋ ๊ฒ์ด ํ์ํฉ๋๋ค.
util/init\_embeddings.py๋ ์ ๋จ์ผ ํ์์ UTF-8 ํํ์ ํด๋นํ๋ byte token embedding์ ํ๊ท ๊ฐ์ผ๋ก ํด๋น ํ์ ์ด๊ธฐํํฉ๋๋ค.
์๋ฅผ ๋ค์ด ๋ฌธ์ ๆ๊ฐ ๊ธฐ์กด ๋ชจ๋ธ์์ ๋ค์๊ณผ ๊ฐ์ด ์ฒ๋ฆฌ๋์๋ค๋ฉด,
ๆ โ <0xE6> <0x88> <0x91>
์ ๆ token์ embedding์ ์ธ byte token embedding์ ํ๊ท ์ผ๋ก ์ด๊ธฐํํฉ๋๋ค.
E(ๆ) = (E(<0xE6>) + E(<0x88>) + E(<0x91>)) / 3
์ด๋ ์ CJK token์ ๋ฌด์์ ๋๋ zero initializationํ๋ ๋์ , ๊ธฐ์กด ๋ชจ๋ธ์ด ํด๋น ๋ฌธ์๋ฅผ ํํํ ๋ ์ฌ์ฉํ๋ embedding์ ์ด๊ธฐ๊ฐ์ผ๋ก ์ด์ฉํ๊ธฐ ์ํ ๊ฒ์ ๋๋ค.
์ค์ continued training์์๋ zero initialization์ ๋นํด ์ด๊ธฐ embedding gradient ์ฆ๊ฐ๊ฐ ์๊ณ ์๋ ด์ด ์์ ์ ์ด๋ฏ๋ก ์ด ๋ฐฉ์์ ๊ธฐ๋ณธ๊ฐ์ผ๋ก ๊ถ์ฅํฉ๋๋ค.
ํฌํจ ํ์ผ
tokenizer.json
์์ ๋ tokenizer. vocab 137,216 / merges 225,319.replacement_map.json
์ฌ์ฌ์ฉ๋ token id์ ๊ธฐ์กด ํ ํฐ, ์ ๋จ์ผ ํ์์ ๋์ ๊ด๊ณ 4,960๊ฑด.util/build_tokenizer_surgery.py
tokenizer ์ฌ๊ตฌ์ฑ ์คํฌ๋ฆฝํธ.util/init_embeddings.py
์ CJK token์ ๋์ํ๋ embedding ํ ์ด๊ธฐํ ์คํฌ๋ฆฝํธ.util/rename_legacy_special.py<s>,</s>๋ฅผ<|s|>,<|/s|>๋ก ๋ณ๊ฒฝํ๋ ์คํฌ๋ฆฝํธ.generation_config.jsontokenizer_config.jsonchat_template.jinja
์ ์ฉ ๋ฒ์
์ถ๊ฐํ ๋จ์ผ ํ์ 4,960์๋ FineWeb2 ์ค๊ตญ์ด ๋ฐ ์ผ๋ณธ์ด ํ๋ณธ ์ฝ 630๋ง ๋ฌธ์์์ ๊ณ์ฐํ ๋ฌธ์ ๋น๋๋ฅผ ๊ธฐ์ค์ผ๋ก ์ ์ ํ์ผ๋ฉฐ, ํด๋น ํ๋ณธ์์ 99.735%์ ๋ฌธ์ ์ถํ์ ์ปค๋ฒํฉ๋๋ค. ๋ค๋ฅธ ์ธ์ด ๋ถํฌ๋ ์ ๋ฌธ ๋๋ฉ์ธ์์๋ ์ปค๋ฒ๋ฆฌ์ง๊ฐ ๋ฌ๋ผ์ง ์ ์์ต๋๋ค.
vocab ํฌ๊ธฐ๋ฅผ ์ ์งํ๊ธฐ ์ํด ๊ธฐ์กด ๋ค๋ฌธ์ ํ์ ํ ํฐ ์ค ๋ฎ์ BPE rank์ 4,960๊ฐ๋ฅผ ์ ๊ฑฐํ์ต๋๋ค. ์ด ๋ฌธ์์ด๋ค์ ๋ ์ด์ ๋จ์ผ token์ผ๋ก ํํ๋์ง ์์ง๋ง, ์ ๋จ์ผ ํ์์ ๊ธฐ์กด merge์ ์กฐํฉ์ผ๋ก ๋ชจ๋ encoding ๋ฐ decodingํ ์ ์์ต๋๋ค. ๋ฐ๋ผ์ ์ผ๋ถ ์ ๋น๋ ๋ฌธ์์ด์์ token ์๊ฐ ์ฆ๊ฐํ ์ ์์ผ๋ ๋ฌธ์์ด ์ ๋ณด ์์ฒด๊ฐ ์์ค๋์ง๋ ์์ต๋๋ค.
์ด๋ฒ ์์ ์ ํ์ tokenization ๋ฌธ์ ๋ง์ ๋์์ผ๋ก ํฉ๋๋ค. ํ๊ธ, ์ผ๋ณธ์ด ๊ฐ๋, ๊ธฐํธ ๋ฐ ๊ธฐํ ๊ธฐ์กด์ ์ ์์ ์ผ๋ก ์ฒ๋ฆฌ๋๋ token ์์ญ์ ์์ ํ์ง ์์์ต๋๋ค.