Erabo-2B-c035
ๆฅๆฌ่ชใฎๆฅญๅๆๆธใ่ชญใใงใ้ธๆ่ขใใๅคๆญใ1ใค้ธใถๅฐๅใขใใซใงใใ ๅคๆญ็จใขใใซ Mapika/decider-2b ใใใจใซใๆฅๆฌ่ชใจ่ฑ่ชใฎๅฎๅๅคๆญใซ็ตใฃใฆ่ฟฝๅ ๅญฆ็ฟใใพใใใๆ็ซ ใฏๆธใใใใใใฎใกใผใซใฎ็ฎ็ใฏใฉใใใใใใฎใซใผใซใชใๅฎ่กใใฆใใใใใจใใฃใๅใใซใ้ธใใ ้ธๆ่ขใจๅ้ธๆ่ขใฎ็ขบ็ใง็ญใใพใใ
Eraboใฎ่ใๆน
Erabo-2Bใฏใๅไฝใงไฝใงใๆฑบใใไธ่ฝใขใใซใจใใฆใฏไฝใฃใฆใใพใใใๆฅญๅใฎๆตใใฎๆๅใซ็ฝฎใใฆใใใใฎๅคๆญใฏใใใงๆฑบใใฆใใใใไบบใไธไฝใฎLLMใซๅงใญใในใใใใๆฏใๅใใๅๅฆ็ใฎๆ ๅฝใงใใ
ๆ่กใจใใฆใฏLoRAใซใใ่ฟฝๅ ๅญฆ็ฟใงใๆๆณ่ชไฝใซ็ฎๆฐใใใฏใใใพใใใๅทฅๅคซใใใฎใฏใไฝใๅญฆใฐใใใฉใฎ้ใฟใ้ธใถใใฎๅบๆบใงใใใใณใใใผใฏใฎๆญฃ่งฃ็ใ ใใ่ฟฝใใใจใฏใใใใใใใชใใใฎใใใใใใชใ๏ผ่ฆ็ขบ่ช๏ผใใจ่ฟใใใใจใๆใ้่ฆใใพใใใ
ๆฏใๅใๅฝนใฎๅคฑๆใซใฏ2ใคใฎๆนๅใใใใพใใไฝใงใใ่ฆ็ขบ่ชใใซใใใขใใซใฏๅฎๅ จใงใใใไปๅใใฎๅฝนใซ็ซใกใพใใใไฝใงใๆฑบใใฆใใพใใขใใซใฏไพฟๅฉใงใใใๆฑบใใฆใฏใใใชใๆกไปถใพใง้ใใฆใใพใใพใใๅ ใฎใขใใซใฏๅ่ ๅฏใใงใ็ขบ่ชใฎ่ฆใใชใ่ฆๅๅคๆญ160ๅใฎใใก101ๅใใ่ฆ็ขบ่ชใใซใใฆใใพใใใErabo-2Bใฏใใใ29ๅใพใงๆธใใใคใคใใ่ฆ็ขบ่ชใใๆญฃ่งฃใฎ80ๅใฎใใก70ๅใงใฏไฟ็ใๆฎใใฆใใพใใ
้ใฟใฎ้ธใณๆนใใใใฎ่ใๆนใซๅใใใพใใใ42ๅใฎๅฎ้จใตใคใฏใซใงๅ่ฃใไฝใใใไฟ็ใในใๅ้กใงใ่ฆ็ขบ่ชใใ้ธในใๆฐใๆธใใชใใใจใใๅญฆ็ฟๅใซๆกไปถใจใใฆๆฑบใใฆๆฏในใฆใใพใใๆญฃ่งฃ็ใไธใใฃใฆใใใใฎๆกไปถใๆบใใใชใใฃใๅ่ฃใฏๅ ฌ้ใใฆใใพใใใ
ใใใชใจใใซไฝฟใใพใ
- ๅใๅใใใ็คพๅ ใกใผใซใฎไปๅใ๏ผไพ้ ผใปๆญใใป้็ฅใปๅใๅใใใป่ฌ็ฝชใชใฉใใกใผใซใฎ็ฎ็ใฎๅ้ก๏ผ
- ใไธกๆนใฎ็ขบ่ชใๆธใใ ใๅฎ่กใใฎใใใช็คพๅ ใซใผใซใซๆฒฟใฃใใๅฎ่กใป่ฆ้ใใป่ฆ็ขบ่ชใฎๅคๆญ
- ๅคงใใชLLMใซๆธกใๅใฎไธๆฌกๆฏใๅใใ2Bใจๅฐใใใ่ชๅใฎใใใคในไธใงๅใใใพใ
ใชใ2Bใ
ๆฑ็จLLMใจใใฆ่ฆใใจ2Bใฏๅฐใใใ่ณขใใงใฏๅคงใใชใขใใซใซใใชใใพใใใใใ ใ้ธๆ่ขใใ้ธใถๅคๆญใซ็จ้ใ็ตใใฐใ2BใงใไธๆฌกไปๅใใไปปใใใใๆฐดๆบใซใชใใพใใๅไบบใฎPCใฎGPUใงใๅใใใๅคงใใใงใๆฅญๅใซใผใซใๅคใใฃใฆใๆๅ ใง่ฟฝๅ ๅญฆ็ฟใ็ดใใพใใDeciderใทใชใผใบ๏ผ0.8Bใ35B๏ผใฎไธญใงใใใใฆใณใญใผใๆฐใฏ2B็ใ็ชๅบใใฆๅคใใ็ด่ฟ1ใๆใง็ด33ไธๅใ4B็ใฎ็ด11ๅใงใ๏ผ2026ๅนด10ๆ19ๆฅๆ็นใHugging Face๏ผใ
ๅ ใฎใขใใซใใไฝใๅคใใฃใใ
ๅ ใฎ decider-2b ใฏใๅค่จ่ชใฎ Qwen3.5-2B ใใใจใซใใๆฑ็จใฎๅคๆญใขใใซใงใใErabo-2B ใฏใใใซๆฅๆฌ่ชใฎๆฅญๅใกใผใซใ็คพๅ ใซใผใซใฎๅคๆญใๅญฆ็ฟใใใๆฅๆฌ่ชใจ่ฑ่ชใฎๅคๆญใซๅฏใใพใใใๆฅๆฌ่ชใป่ฑ่ชไปฅๅคใฎ่จ่ชใฎๆง่ฝใฏใ็ถญๆใ็ฎๆจใซใใฆใใพใใใ
| ๅญฆ็ฟๅ | Erabo-2B | |
|---|---|---|
| ็คพๅ ใซใผใซใซๆฒฟใฃใๅคๆญ๏ผ3ๆ๏ผ | 55.6% | 75.3% |
| ใกใผใซใฎ็ฎ็ใๅฝใฆใ๏ผ8ๆ๏ผ | 52.0% | 72.5% |
| ๆฅๆฌ่ชใฎๅธธ่ญๅ้ก๏ผJGLUE๏ผ | 82.5% | 84.0% |
ๅใใฆใใชใใใจ
ๆ็ซ ใฎ็ๆใป่ฆ็ดใปใใฃใใใๅบๅ็ขบ็ใใใฎใพใพไฟกใใ่ชๅๅฎ่กใๆณๅใปๅป็ใป้้ญใซ้ขใใๆ็ตๅคๆญใซใฏๅใใพใใใไบบใๆๅพใซ็ขบ่ชใใๅๆใงไฝฟใฃใฆใใ ใใใ
ใใฎใขใใซใฎไฝ็ฝฎใฅใ
Erabo-2B-c035 ใฏใMapika/decider-2b๏ผQwen3.5-2B-Base ใใใจใซใใๅคๆญ็จใขใใซ๏ผใ LoRA ใง่ฟฝๅ ๅญฆ็ฟใใใใฎ็ตๆใใใผในใซ็ตฑๅใใใๆฅๆฌ่ชใใใณ่ฑ่ชๅใใฎ้ธๆ่ข๏ผChoice๏ผๅคๆญใขใใซใงใใใใญในใใฎ่ช็ฑ็ๆใฏ่กใใใcontextใquestionใrubricใoptions ใๅ ฅๅใจใใฆๅใๅใใ้ธๆ่ขIDใจใใฎ็ขบ็ใๅบๅใใพใใ
ใผใญใใไบๅๅญฆ็ฟใ่กใฃใใขใใซใงใฏใชใใๆขๅญใฎ 2B ๅคๆญ็จใขใใซใซๆฅๆฌ่ชใฎๆฅญๅๆๆธใๅญฆ็ฟใใใๅคๆญๆใฎๅบๅๅฝขๅผใๆฏใ่ใใๆดใใ้ฉๅฟใขใใซ๏ผๆฏใ่ใใฎ็ฏๆญฃ๏ผใซไฝ็ฝฎใฅใใใใพใใๅญฆ็ฟ่ฆๆจกใฏ็ด 1,397 ๅใป88 ในใใใ๏ผๆดๆฐ๏ผใซใจใฉใพใใไธ่ฌ็ใชๆฅๆฌ่ช LLM ใจๆฏในใฆ 3ใ4 ๆกใปใฉๅฐใใใชใฃใฆใใพใใใใฎใใใ็นๅฎใฎ้ๅฎ็ใชๅคๆญใฟในใฏใซใใใ็ฒพๅบฆๆนๅใฏ็ขบ่ชใงใใใใฎใฎใๆฅๆฌ่ช่ฝๅๅ จ่ฌใๅไธใใใจไธปๅผตใใใใฎใงใฏใใใพใใใ
ๅ ฌ้ใใ้ใฟใฏใ42ๅใฎๅฎ้จใตใคใฏใซใงไฝใฃใๅ่ฃใฎไธญใงใๆใๆฅญๅใซ้ฉใใฆใใใจๅคๆญใใใใฎใงใใๅ่ฃใฏๅญฆ็ฟๅใซๆฑบใใๅใๆกไปถใงๆฏในใๆญฃ่งฃ็ใ้ซใใฆใๆกไปถใๆบใใใชใใฃใ8ใคใฏๆก็จใใฆใใพใใใ
ไฝฟใๆน
ใใฎใชใใธใใชใ1ใคใใฆใณใญใผใใใใฐๅใใพใใใใผในใขใใซใจใขใใใฟใ็ตใฟๅใใใไฝๆฅญใฏ่ฆใใพใใใ
pip install torch transformers==5.17.0 accelerate==1.15.0 huggingface_hub==1.31.0
hf download tanakaisworking/Erabo-2B --local-dir Erabo-2B
cd Erabo-2B
python erabo_predict.py --input requests.jsonl --output predictions.json
NVIDIA GPUใApple Silicon ใฎ MacใCPU ใฎใฉใใงใๅใใไฝฟใใ็ฐๅขใ่ชๅใง้ธใณใพใ๏ผ--device cuda / mps / cpu ใงๆๅฎใใงใใพใ๏ผใ้ใฟใฏ bf16 ใง็ด3.8GB ใงใใใกใขใช8GBใฎ M1 Mac ใงใๅไฝใ็ขบ่ชใใพใใ๏ผ1ๅใใใ1ใ2็ง๏ผใ
ใใฎใขใใซใฏๆ็ซ ใ็ๆใใใ้ธๆ่ขใฎ็ญใใฎไฝ็ฝฎใฎ logits ใ่ชญใใง็ขบ็ใๅบใใพใใใใฎใใ LM Studio ใ Ollama ใฎใใฃใใ็ป้ขใงใฏไฝฟใใพใใใๆจ่ซใซใฏๅๆขฑใฎ erabo_predict.py ใจ erabo_inference/ ใไฝฟใฃใฆใใ ใใใ้ๅธธใฎๅฏพ่ฉฑใปใใฃใใ็ๆใงใฎๅ่ณชใฏ่ฉไพกใใฆใใพใใใ
ๅ ฅๅใใผใฟใฏ JSONL ๅฝขๅผใจใใๅ่กใซใฏไปฅไธใฎ 4 ้ ็ฎใฎใฟใ่จ่ฟฐใใพใใ
context: ๅคๆญๅฏพ่ฑกใจใชใๆฌๆ
question: ๅคๆญใๆฑใใๅใ
rubric: ๅคๆญใฎๅบๆบ
options: 2ใ10ไปถใฎ {"id", "text"} ใๆ ผ็ดใใใชในใ
{"context": "ไปถๅ๏ผๆใกๅใใๆฅ็จใฎไปถ\n\nๅ ๆฅใๆๆกใใใ ใใๆใกๅใใใงใใใ็คพๅ ใฎ่ชฟๆดใใคใใใไปๅใฏ่ฆ้ใใใฆใใใ ใใใๅญใใพใใใพใใฎๆฉไผใซใใฒใใใใใ้กใใใใใพใใ", "question": "ใใฎใกใผใซใฎไธปใช็ฎ็ใฏใฉใใงใใใ", "rubric": "ๆฌๆๅ จไฝใใ้ใๆใๆใๆฑใใฆใใใใจใ้ธใณใพใใ", "options": [{"id": "request", "text": "ไพ้ ผ"}, {"id": "refusal", "text": "ๆญใ"}, {"id": "thanks", "text": "ๆ่ฌ"}, {"id": "apology", "text": "่ฌ็ฝช"}, {"id": "invite", "text": "ๅง่ช"}, {"id": "cheer", "text": "ๆฟๅฑ"}, {"id": "notice", "text": "้็ฅ"}, {"id": "inquiry", "text": "ๅใๅใใ"}]}
ไธๅฏงใซๆธใใใๆญใใฎใกใผใซใใๆญใใใจๅคๅฎใใๅบๅใงใใ้ธใใ ้ธๆ่ขIDใจใๅ้ธๆ่ขใฎ็ขบ็ใ่ฟใใพใใ
[{"input_index": 0, "choice_id": "refusal", "probabilities": {"request": 0.011, "refusal": 0.956, "thanks": 0.011, "apology": 0.010, "invite": 0.004, "cheer": 0.002, "notice": 0.004, "inquiry": 0.002}}]
ๅบๅ็ขบ็ใฏ่ผๆญฃใใใฆใใชใใใใ็ขบ็ใฎ้พๅคใใใจใซๅฆ็ใ่ชๅๅฎ่กใใใใใช็จ้ใงใฏใไบๅใซๅฅ้ใญใฃใชใใฌใผใทใงใณใๅฎๆฝใใๅฟ ่ฆใใใใพใใ 1ๅ ฅๅใใใใฎๆๅคง้ทใฏ 2048 token ใงใไธ้ใ่ถ ใใๅ ดๅใฏใใญในใใๅใ่ฉฐใใใซใจใฉใผใ่ฟใใพใใ
ใใฎใใผใธใฎๆฐๅคใฏใNVIDIA T4 ไธใงใใผในใขใใซใ 4bit NF4 ใง่ชญใฟ่พผใฟใ็ตฑๅๅใฎ adapter๏ผadapter/๏ผใ้ใญใๆงๆใงๆธฌใใพใใใใใฎๆงๆใฏ --adapter ใงๅ็พใงใใพใ๏ผNVIDIA GPU ใจใ่ฟฝๅ ใง peft==0.21.0 bitsandbytes==0.50.2 ใๅฟ ่ฆใงใ๏ผใ็ตฑๅใขใใซใฏ้ๅญๅใใชใใถใ็ขบ็ใๅฐใๅคใใใพใใๅใๅ้กใ้ๅธธใฎไธฆใณ้ ใงๆฏในใๆญฃ่งฃๆฐใฏใใกใผใซใฎ็ฎ็ใป็บ่ฉฑ่ก็บ 400ๅใง 221โ210ๅใ่ฆๅๅคๆญ 240ๅใง 179โ183ๅใ่ฑ่ช MultiNLI 503ๅใง 436โ432ๅใงใใ๏ผๅทฆใๆธฌๅฎๆงๆใๅณใ M1 Mac ไธใฎ็ตฑๅใขใใซ๏ผใ
ๅ ฌ้ใใผในใขใใซใจใฎๆฏ่ผ๏ผJGLUE๏ผ
| JGLUE | ๅ ฌ้ใใผใน | Erabo-2B |
|---|---|---|
| JNLI dev 2้ ๅนณๅ | 64.7% | 65.3% |
| JNLI dev ้ๅธธ้ | 76.9% | 67.2% |
| JNLI dev ้้ | 52.5% | 63.3% |
| JNLI dev ไธฆใณ้ ใๅคใใฆใๅใ็ญใใฎๅฒๅ | 67.1% | 95.3% |
| JCommonsenseQA valid 2้ ๅนณๅ | 82.5% | 84.0% |
| JCommonsenseQA valid ้ๅธธ้ | 82.4% | 83.8% |
| JCommonsenseQA valid ้้ | 82.6% | 84.1% |
| JCommonsenseQA valid ไธฆใณ้ ใๅคใใฆใๅใ็ญใใฎๅฒๅ | 90.1% | 91.6% |
JGLUE ใซใใ่ฉไพกใฏใๅญฆ็ฟใป่ชฟๆดใป่ผๆญฃใซใฏไธๅไฝฟ็จใใใ่ฉไพก่จญๅฎใๅบๅฎใใๅพใซไธๅบฆใ ใๅฎๆฝใใใใฎใงใใJNLI ใฎ้ๅธธ้ ใงใฏๅ ฌ้ใใผในใขใใซใฎในใณใขใๆใ้ซใใชใฃใฆใใพใใใใใใฏ้ธๆ่ขใฎไธฆใณ้ ใซๅผใใใใใ็ตๆใงใใใ้้ ใซใใใจในใณใขใฏๅคงใใไฝไธใใพใใใใฎใใใใขใใซใฎๆฏ่ผใซใใใฃใฆใฏ 2 ้ ใฎๅนณๅๅคใใ้ธๆ่ขใฎไธฆใณ้ ใๅคใใ้ใฎไธ่ด็ใซ็็ฎใใฆใใ ใใใ
้็บ็จใใผใฟใงใฎๆธฌๅฎ๏ผ้ธๆ่ข3้ใใฎไธฆใณ้ ใฎๅนณๅ๏ผ
| ่ฉไพกใปใใ | ๅๆฐ | ๅ ฌ้ใใผใน | Erabo-2B |
|---|---|---|---|
| ใกใผใซใฎ็ฎ็ 8ๆ๏ผๅญฆ็ฟใซไฝฟใฃใฆใใชใ200้๏ผ | 200 | 52.0% | 72.5% |
| ใกใผใซใฎ็บ่ฉฑ่ก็บ 4ๆ๏ผๅใ200้๏ผ | 200 | 34.7% | 37.8% |
| ใกใผใซ4ๅคๆญ๏ผไฝๆฅญใป่ฟไฟกใปๅฟ่ซพใปๆ้๏ผ | 37 | 64.9% | 65.8% |
| ใกใผใซ4ๅคๆญ๏ผๅฅๅ ด้ขใฎๅฏพ็ งใกใผใซ๏ผ | 192 | 88.5% | 88.0% |
| ่ฆๅๅคๆญ 3ๆ | 240 | 55.6% | 75.3% |
| ่ฆๅๅคๆญ๏ผๅฅๅฝขๅผ๏ผ | 81 | 56.8% | 65.8% |
| MASSIVE ๆๅณๅ้ก๏ผ8็จฎ๏ผ | 293 | 87.5% | 95.1% |
| MASSIVE ๆๅณๅ้ก๏ผๅฅใฎ9็จฎ๏ผ | 99 | 96.0% | 97.6% |
| ๆๅณๅ้กใฎ้ฃๅ๏ผ่จใๆใใป่จๆญฃๅ ฅใ๏ผ | 48 | 100.0% | 97.2% |
| ่ฑ่ช MultiNLI๏ผ่ฑ่ชๅใฎ็ถญๆ็ขบ่ช๏ผ | 503 | 83.4% | 86.5% |
้็
- ๅญฆ็ฟใใผใฟใฎๆญฃ่งฃใฉใใซใฏใๅ ฌ้ใใผใฟใปใใใๆใคๆขๅญใฎไธๆตใฉใใซใใใใใฏๅฝใใญใธใงใฏใใๆฉๆขฐ็ๆใใๆญฃ่งฃ๏ผoracle๏ผใซๅบใฅใใฆใใพใใ็ฌฌไธ่ ใฎไบบ้ใๅๅฅใซ็ฒพๆปใปไฝๆใใๆฅญๅๅใใฎๆญฃ่งฃใใผใฟใฏๅซใพใใฆใใพใใใ
- ไธ่จใฎ่กจใซ็คบใใๆธฌๅฎ็ตๆใฏใใใใใ้็บไธญใซๅ็ งใใฆใใ้็บ็จใใผใฟใงใฎๅคใงใใใๆช็ฅใฎใใผใฟใซๅฏพใใๆฑๅๆง่ฝใฏๅฎ่จผใใใฆใใพใใใ
- ๅบๅ็ขบ็ใฏๆช่ผๆญฃใงใใๅ ฌ่กจๅคใฏ 4bit NF4๏ผadapter ๆงๆใงใฎๆธฌๅฎใงใ็ตฑๅใขใใซ๏ผbf16๏ผใฎๅ จ่ฉไพกใปใใใงใฎๅๆธฌๅฎใฏใใฆใใพใใใ
- ๆฅญๅใซๅฐๅ ฅใใ้ใฏใไบบ้ใซใใๆ็ต็ขบ่ช๏ผHuman-in-the-Loop๏ผใๅๆใจใใฆ้็จใใฆใใ ใใใๆณๅใปๅป็ใป่ฒกๅใชใฉใซ้ขใใ้ๅคงใชๆ็ตๅคๆญใซใฏๅฉ็จใงใใพใใใ
ๅญฆ็ฟใงใขใใซใใๅใใใใฎ๏ผๅใใฆใใชใใใฎ
- ๅใใฆใใชใใใฎ๏ผๆญฃ่งฃใฉใใซใชใฉ๏ผ: ไปใฎๆๅธซใขใใซใฎๅคๆญใ่ธ็ใใใใผใฟใฏไธๅๅซใใงใใพใใใๆญฃ่งฃใฉใใซใฎๅ ่จณใจใใฆใใกใผใซใฎ็ฎ็ใ็บ่ฉฑ่ก็บใซใฏไธๆตใใผใฟใปใใใฎ็ๆๆกไปถใ็จใใ่ฑ่ชใฟในใฏใใใณ MASSIVE ใซใฏไธๆตใฎไบบๆใฉใใซใๆก็จใใฆใใพใใใพใใ่ฆๅ็ณปใฟในใฏใฏๅฝใใญใธใงใฏใใ้็บใใๅฎ่กๅฏ่ฝ oracle ใซใใๆฉๆขฐ่จ็ฎ็ตๆใงใใใใกใผใซ4ๅคๆญใฏๅฝใใญใธใงใฏใใ็ฌ่ชใซๅๆณจ้ใไปไธใใใใผใฟใงใใ
- ๅใใฆใใใใฎ๏ผใใญในใๆฌๆ๏ผ: Japanese-Mail-Bench ใฎใกใผใซๆฌๆใฏ Preferred Networks๏ผPFN๏ผใฎๅ ฌ้ใใผใฟใๅฉ็จใใฆใใใๅฝใใญใธใงใฏใใ็ฌ่ช็ๆใใใใฎใงใฏใใใพใใใไธๆนใ่ฆๅ็ณปใใผใฟใฏๅฝใใญใธใงใฏใใไผ็ปใป่จญ่จใใไธใงใใใญใฐใฉใ ใซใใฃใฆ็ตใฟๅใใใฆ็ๆใปๆกๅผตใใใใญในใใงใ๏ผๆญฃ่งฃใฉใใซใใใญใฐใฉใ ๅดใง็ฎๅบใใฆใใพใ๏ผใใใใใฎใใผใฟใซใใใฆใใๆๅธซใขใใซใฎๅคๆญใๅ็ญใใฎใใฎใฏๅญฆ็ฟใซไฝฟ็จใใฆใใพใใใ
- Japanese-Mail-Bench ใฎ test split ใๅญฆ็ฟใใผใฟใซๅซใใฆใใใใใๅใใณใใใผใฏใๆฌใขใใซใฎๅ ฌๅนณใชๆง่ฝ่ฉไพกใซไฝฟใใใจใฏใงใใพใใใ
ใขใใซใฎ่ฉณ็ดฐ
| ้ ็ฎ | ๅ ๅฎน |
|---|---|
| ใใผในใขใใซ | Mapika/decider-2b๏ผrevision 533964dae8be954c5b5e19fa4948e48408094c1e๏ผใใใจใฏ Qwen/Qwen3.5-2B-Base |
| ้ ๅธ็ฉ | adapter ใใใผในใซ็ตฑๅใใ้ใฟ๏ผbf16ใ็ด3.8GB๏ผใจใ็ตฑๅๅใฎ LoRA adapter๏ผadapter/ใ็ด67MB๏ผ |
| LoRA ่จญๅฎ | rank 16 / alpha 32 / dropout 0ใattention ใจ MLP ใฎๅ จ็ทๅฝขๅฑคใๅฏพ่ฑก |
| ๆจ่ซๆใฎ่ชญใฟ่พผใฟ | ็ตฑๅใขใใซใฏ bf16ใๅ ฌ่กจๅคใฎๆธฌๅฎใฏ 4bit NF4๏ผdouble quant๏ผใฎใใผในใซ adapter ใ้ใญใ่จ็ฎใฏ bf16ใๅบๅใฎๆธฉๅบฆใฏไธๆตใฎ Choice ่จญๅฎ 1.164 |
| ๅบๅ | ้ธๆ่ขใใจใฎ็ขบ็๏ผๆช่ผๆญฃ๏ผใจใๆใ็ขบ็ใฎ้ซใ้ธๆ่ขID |
| ๅฏพๅฟ่จ่ช | ๆฅๆฌ่ชใป่ฑ่ช |
| ใฉใคใปใณใน | Apache-2.0๏ผใใผในใขใใซใจๅใ๏ผ |
ๅญฆ็ฟใฎๆ้
ๅญฆ็ฟใฏ2ๆฎต้ใง่กใใพใใใใฉใกใใๅๅ้กใ1ๅใใคไฝฟใ1ๅจ๏ผ1 epoch๏ผใงใใ
| ็ฌฌ1ๆฎต้ | ็ฌฌ2ๆฎต้๏ผErabo-2B๏ผ | |
|---|---|---|
| ๅบ็บ็น | ๅ ฌ้ใใผใน | ็ฌฌ1ๆฎต้ใฎ็ตๆ |
| ใใผใฟ | MASSIVE ๆฅๆฌ่ช 8ๆๅณ 1,000ๅ | ไธ่กจใฎ5็จฎ้ก 1,397ๅ |
| ๆดๆฐๅๆฐ | 63 | 88 |
| ๅญฆ็ฟ็ | 1e-4 | 2e-5 |
| ใใฎไป | batch 16ใAdamWใweight decay 0.01ใๅพ้ ใฏใชใใ 1.0ใseed 42 | batch 16ใAdamWใweight decay 0.01ใๅพ้ ใฏใชใใ 1.0ใseed 24009 |
| ๆๅคฑ | ๆญฃ่งฃ้ธๆ่ขใฎ cross entropy | ๆญฃ่งฃ้ธๆ่ขใฎ cross entropy |
็ฌฌ2ๆฎต้ใฏ Tesla T4 1ๆใง็ด39ๅใGPU ใกใขใชใฎใใผใฏใฏ็ด3.76GB ใงใใใ็ฐๅขใฏ torch 2.11.0ใtransformers 5.17.0ใpeft 0.21.0ใbitsandbytes 0.50.2 ใงใใ้ธๆ่ขใฎไธฆใณ้ ใฏๅญฆ็ฟไธญใๅ้กใใจใซๅ ฅใๆฟใใฆใใพใใ
ๅญฆ็ฟใใผใฟ
็ฌฌ2ๆฎต้ใงไฝฟใฃใ1,397ๅใฎๅ ่จณใงใใ
| ๅบๅ ธ | ๅๆฐ | ๅ ๅฎน | ใฉใคใปใณใน |
|---|---|---|---|
| Japanese-Mail-Bench๏ผPFN๏ผ | 500 | ๆชไฝฟ็จใฎ250้ใใใใใซใ็ฎ็ใใจใ็บ่ฉฑ่ก็บใใฎ2ๅ | Apache 2.0 |
| Japanese-Mail-Bench๏ผPFN๏ผ | 173 | 40้ใซใไฝๆฅญใๅฟ ่ฆใใป่ฟไฟกใๅฟ ่ฆใใปๅฟ่ซพใใปๆ้ใฏใฉใใใใฎๅคๆญใไปใ็ดใใ153ๅใจใๆ้ใฎ่จใๅใใๅคใใ20ๅ | Apache 2.0 |
| MultiNLI 1.0 | 204 | ่ฑ่ชใฎๅซๆๅคๅฎ๏ผๅซๆใปไธญ็ซใป็็พใฎ3ๆ๏ผใgovernment / slate / telephone / travel ใฎ4ใธใฃใณใซใใๅ51ๅ | ๅ่ซๆใฎๆกไปถ |
| MASSIVE 1.1 ja-JP | 160 | ๆฅๆฌ่ชใฎๆๅณๅ้ก8ๆใใๅ20ๅ๏ผ็ฌฌ1ๆฎต้ใฎๆง่ฝใไฟใคใใ๏ผ | CC BY 4.0 |
| Erabo-jp ่ฆๅๅคๆญใใผใฟ | 360 | ็คพๅ ใซใผใซใซๆฒฟใฃใฆใๅฎ่กใป่ฆ้ใใป่ฆ็ขบ่ชใใ้ธใถ3ๆใ10็จฎ้กใฎ่ซ็๏ผANDใORใไพๅคใๅๆญขๆๅฎใ่จๆญฃใ3ใคใฎใใก2ใคใๆฐๅคใฎ็ฏๅฒใๆๅญใฎๆกไปถใชใฉ๏ผใใๅ36ๅ | Apache 2.0๏ผๆฌใขใใซใจๅใ๏ผ |
ๅใใผใฟใฎไธญ่บซใฏๆฌกใฎใจใใใงใใ
- ใกใผใซใฎ็ฎ็๏ผ8ๆ๏ผ: ไพ้ ผใปๆญใใปๆ่ฌใป่ฌ็ฝชใปๅง่ชใปๆฟๅฑใป้็ฅใปๅใๅใใใๆญฃ่งฃใฏใกใผใซใ็ๆใใใจใใฎ่จญๅฎๅคใงใใ
- ใกใผใซใฎ็บ่ฉฑ่ก็บ๏ผ4ๆ๏ผ: ใ้กใใป่ชฌๆใป่ณชๅใปๆ็คบใ
- MASSIVE ใฎ8ๆๅณ: ใขใฉใผใ ใฎ่จญๅฎใป็ขบ่ชใป่งฃ้คใใซใฌใณใใผใฎ็ป้ฒใป็ขบ่ชใปๅ้คใ้ณๆฅฝใฎๅ็ใๅคฉๆฐใฎ่ณชๅใ
- ่ฆๅๅคๆญใใผใฟ: ๅๅบซใฎๆฌๅ ฅใๅบ่ใฎๅไปใชใฉ6ใคใฎๅ ด้ขใใ่ชฌๆๆใปๅไป่จ้ฒใปๅฏพ่ฉฑใฎ3ใคใฎๆธใๆนใง่กจใใใใฎใงใใๆกไปถใซใฏใๆ็ซใปไธๆ็ซใปๆช็ขบ่ชใใใใใใๆช็ขบ่ชใใใฃใฆใ็ต่ซใๅบใๅ้กใใจใ็ขบ่ชใใชใใจๆฑบใใใใชใๅ้กใใฎไธกๆนใๅซใฟใพใใ
่ฉไพกใใผใฟ
้็บ็จใฎ่ฉไพกใใผใฟใฏใ้ธๆ่ขใ้ๅธธใฎ้ ใป้้ ใปใฉใณใใ ้ ใฎ3้ใใซไธฆในใๆญฃ่งฃ็ใฎๅนณๅใงๆฏในใฆใใพใใJGLUE ใฏ้ๅธธใฎ้ ใจ้้ ใฎ2้ใใงใใๆฏในใใขใใซๅๅฃซใฏใๅใๅ ฅๅใปๅใ่ชญใฟ่พผใฟๆกไปถใงๆธฌใใพใใใ
| ่ฉไพกใปใใ | ๅๆฐ | ๅ ๅฎน | ๅญฆ็ฟใจใฎ้ขไฟ |
|---|---|---|---|
| JGLUE JNLI dev | 1,199 | ๆฅๆฌ่ชใฎๅซๆๅคๅฎ | ๅญฆ็ฟใป่ชฟๆดใซๆชไฝฟ็จใ่จญๅฎใๅบๅฎใใๅพใซไธๅบฆใ ใๆธฌๅฎ |
| JGLUE JCommonsenseQA valid | 1,090 | ๆฅๆฌ่ชใฎๅธธ่ญ5ๆ | ๅไธ |
| ใกใผใซใฎ็ฎ็ใป็บ่ฉฑ่ก็บ | 200้๏ผ400ๅ๏ผ | ๅญฆ็ฟใซไฝฟใฃใฆใใชใ Japanese-Mail-Bench ใฎใกใผใซ | ๅญฆ็ฟใกใผใซใจ้่คใชใ |
| ใกใผใซ4ๅคๆญ | 37 | ๅญฆ็ฟใจใฏๅฅใฎใกใผใซใซๅใ4ๅคๆญใไปใใใใฎ | ๅญฆ็ฟใกใผใซใจ้่คใชใ |
| ๅฅๅ ด้ขใฎๅฏพ็ งใกใผใซ | 192 | 1ใๆใ ใๆกไปถใๅคใใใกใผใซใฎๅฏพ๏ผ48้ร4ๅคๆญ๏ผ | ่ฉไพกๅฐ็จ |
| ่ฆๅๅคๆญ 3ๆ | 240 | ๅญฆ็ฟใจใฏๅฅใฎๅ ด้ข๏ผๅฑ็คบไผใปๅณๆธๅฎคใปๅๅ้ ๅธ๏ผใจๆธใๆน | ่ฉไพกๅฐ็จ |
| ่ฆๅๅคๆญ๏ผๅฅๅฝขๅผ๏ผ | 81 | ๆ้ขใฎๅฝขๅผใ็ฐใชใ่ฆๅๅ้ก | ่ฉไพกๅฐ็จ |
| MASSIVE ๆๅณๅ้ก | 293 / 99 | 8็จฎใฎๆๅณใๅฅใฎ9็จฎใฎๆๅณ | ่ฉไพกๅฐ็จ |
| ๆๅณๅ้กใฎ้ฃๅ | 48 | ่จใๆใใ่จๆญฃใๅซใไพ้ ผ | ่ฉไพกๅฐ็จ |
| ่ฑ่ช MultiNLI | 503 | ่ฑ่ชใฎๅซๆๅคๅฎ | ่ฉไพกๅฐ็จ |
ไธๆตใใผใฟใฎๅธฐๅฑ่กจ็คบใซใคใใฆใฏ NOTICE.md ใใ็ขบ่ชใใ ใใใๆฌใขใใซใฎใฉใคใปใณในใฏ Apache-2.0 ใงใใใชใใใใผในใขใใซใใใณๅๅญฆ็ฟใใผใฟใฎๅฉ็จๆกไปถใฏใใใใใใฎๆไพๅ ใฎ่ฆ็ดใปใฉใคใปใณในใซๆบๆ ใใพใใ
- Downloads last month
- 77