๐ ไธ้็ฅ่จ (WanLi-Zhiyan-4B v0.2)
ๅ็บงๅฝ้ ไธญๆๅบ็ญ่ฏๆญไธ่ฟ็งป่กฅ็ปๅ็ดๅคงๆจกๅ
WanLi Chinese AI Lab ยท ้ขๅๅ จ็ไธญๆๅญฆไน ่ ็ๆๅญฆ่ฏๆญไธ่ช้ๅบๅญฆไน ๆบ่ฝไฝ
๐ ้กน็ฎ่ๆฏไธๅฎไฝ
ๅจๅ็บงไธญๆ๏ผYCT 1-3 ็บง / HSK ๅ็บง๏ผๆฅๅธธๅฃ่ฏญไธไบค้ ็ปไน ไธญ๏ผ้็จๅคง่ฏญ่จๆจกๅ๏ผLLM๏ผๅพๅพๅญๅจไธคๅคง็็น๏ผ
- ่ฟๅบฆๅฎฝๅฎนๆ้ทๅ ฅ่ช็ฑ้ฒ่๏ผๅญฆ็่กจ่พพ่ฝ็ถไธๆๅฅๆๅ็ฆปไบค้ ็ฎ็๏ผๅคงๆจกๅไพ็ถๅๅผบ้กบ็่ฏญไนๅๅค๏ผๆ ๆณๆๅบๅญฆไน ๅก็น๏ผ
- ็็กฌ็บ ้ๆ็ดๆฅๆๅบ็ญๆก๏ผ็ดๆฅๆๆฏ่ฏญ่ ็ๆ ๅ้ฟๅฅๆ็ปๅญฆ็๏ผ็ผบๅฐๅ็บงๆๅญฆๆ้็โ้ถๆขฏๅผๅผๅฏผ๏ผScaffolding๏ผโ๏ผๅฏผ่ดๅญฆ็ไธงๅคฑ่กจ่พพไฟกๅฟใ
โไธ้็ฅ่จ๏ผWanLi-Zhiyan-4B v0.2๏ผโ ๆฏ็ฑไธ้ไธญๆ๏ผWanLi Chinese๏ผๅข้ไธ้จ็ ๅ็ๅฝ้ ไธญๆๆ่ฒๅ็ด้ขๅ่ฏๆญๅคงๆจกๅใๆจกๅๆจๅจๆฎๆผไธไฝๅฏๆ่ๅฟใๆไบ่ฏญไน ๅพ่งๅพ็ไธไธไธญๆๆๅธ๏ผๅฎ็ฐไปโๅๆฌก่ขซๅจๆๅโๅโ่ฏๆญ โ ๅฏๅ โ ่ฟ็งป่กฅ็ปโ้ญ็ฏๅญฆไน ๆฏๆ็่ทๅใ
๐ก ๆ ธๅฟๆบๅถ๏ผๅๆญฅ่ฟ้ถ่ฏๆญๆกๆถ
ไธ้็ฅ่จ็ป่ฟไธฅๆ ผ็ๆๅญฆๆไปคๅพฎ่ฐ๏ผInstruction Alignment๏ผ๏ผๅฏนๅญฆ็็ๆฏไธๆฌกไบค้ ๅ็ญๅไธฅๆ ผ่พๅบๆ ๅๅๅๆฎต็ปๆ๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๅญฆไน ่
ไบค้
ไปปๅกไธๅ็ญ่พๅ
ฅ โ
โโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโ
โผ
1. ใไปปๅก็ถๆใ โโโ ๅคๅฎไบค้
็ฎๆ ่พพๆๅบฆ๏ผๅฎ็พ่พพๆ / ้จๅๅฎๆ / ๆชๅฎๆ๏ผ
โผ
2. ใๅก็นๅๆใ โโโ ็ฒพๅๅฝๅ ๏ผ่ฏญๅบๅ่ฃ
ใ้่ฏ็ผบๅคฑใ่ฏๆงๆททๆทใๆฏ่ฏญ่ด่ฟ็งป็ญ๏ผ
โผ
3. ใๅผๅฏผๆ็คบใ โโโ ๆธฉๅใๅฏๅๅผ็ๆญฃๅ่ๆๆถ๏ผไธ็ดๆฅ็ป็ญๆก๏ผ็นๅบ่กจ่พพๅ
ณ้ฎ๏ผ
โผ
4. ใ่ฟ็งป่กฅ็ปใ โโโ ่ช้ๅบ็ๆๅๆๅบๆฏ็ๆฐไปปๅก๏ผๅธฎๅฉๅญฆไน ่
ๅณๆถ้ช่ฏๅๆฌก่กจ่พพ๏ผ
๐ฏ v0.2 ๅ็บงไบฎ็น
- ไธญไป่ฏญ็ๅฎๅ่ฏฏๅฏน้ฝ๏ผ่ๅๅฝ้
ไธญๆๆ่ฒ่ฏญๆๅบ๏ผChinesePlus๏ผ็ๅฎ็ๅญฆ็ไฝๆไธๅฃ่ฏญๅ่ฏฏๆฐๆฎ๏ผ้็นๅผบๅไบไปฅไธ้ซ้ขไธญไป่ฏญๅก็น็่ฏๅซ็ตๆๅบฆ๏ผ
- ่ฏญๅบๅ่ฃ ๏ผๅฆๆถ้ด็ถ่ฏญๅ็ฝฎ๏ผโ่งๆๅคฉโใโๆๆณ่งไฝ ๅจไธๅไธค็นโ๏ผ๏ผ
- ๆฐ้่ฏๅ่ฏฏ๏ผๅฆไธชไฝ้่ฏ็ผบๅคฑๆๆณ็จ๏ผโๆๆณไนฐไธค็ฌโใโๆ็ไธไธช้ธญๅญโ๏ผ๏ผ
- ๅฆๅฎๅฏ่ฏๆททๆท๏ผๆททๆทไธป่งๆๆฟไธๅฎข่งไบๅฎ๏ผโๆไธๅๆฉ้ฅญโ vs โๆๆฒกๅๆฉ้ฅญโ๏ผ๏ผ
- ็คพไบค่ง่ฒๅ็ฝฎ๏ผๆททๆท่ด่ฐข/้ๆญไธๅบ็ญๆน๏ผๅฆ่ฏฏ็จโไธๅฎขๆฐโไปฃๆฟโ่ฐข่ฐขโ๏ผ่ฏฏ็จโๆฒกๅ ณ็ณปโไปฃๆฟโๅฏนไธ่ตทโ๏ผ๏ผ
- ไฝ่ฏฏ็บ ็ไฟ้๏ผๅจๆฐๆฎ้ไธญไธฅๆ ผไฟ็ไบ็ฌฆๅๅ็บงๅฃ่ฏญไบค้ ่ง่็ๅคๆ ทๅๅ็ๅไฝ๏ผๆๆๆๅถๆจกๅๅฏนๆญฃ็กฎๅฃ่ฏญ่กจ่พพ็โ่ฟๅบฆ็บ ้โใ
๐งช ๅ ธๅ่ฏๆญๅฎๆตๆกไพ๏ผ็ฐๅบ่พๅบ๏ผ
ๆกไพ 1๏ผๆฐ้่ฏๆญ้ ็ผบๅคฑ๏ผ้่ฏ้ๆผ๏ผ
- ใ้ข็ฎๆ ๅขใ๏ผไนฐๆๅ ท
- ใไปปๅก่ฆๆฑใ๏ผๅๅบๅ่ฏดๆๆณไนฐไธคๆฏ็ฌ
- ใๅญฆ็ๅ็ญใ๏ผๆๆณไนฐไธค็ฌใ
- ใๆจกๅๅฎๆต่ฏๆญใ๏ผ
ใไปปๅก็ถๆใ๏ผๆชๅฎๆ
ใๅก็นๅๆใ๏ผๆฐ่ฏโไธคโ็ดๆฅไฟฎ้ฅฐๅ่ฏโ็ฌโ๏ผ็ผบๅคฑไบๅฟ ้็ไธชไฝ้่ฏโๆฏโใ็ฐไปฃๆฑ่ฏญไธญๆฐ่ฏไธ่ฝ็ดๆฅไฟฎ้ฅฐๅฏๆฐไธชไฝๅ่ฏใ
ใๅผๅฏผๆ็คบใ๏ผ่ฏดไนฐๅ ไปถๆๅ ทๆถ๏ผๆฐ่ฏๅๆๅ ทไน้ด่ฆๅ ไธ้่ฏๅฆ๏ผๆฏๅฆโไธคๆฏ็ฌโใ
ใ่ฟ็งป่กฅ็ปใ๏ผๅจไนฆๅบไนฐไธๆฌไนฆ๏ผ่ฏ็็จๅธฆๆ้่ฏ็ๆ ๅไธญๆๅฏนๅบๅ่ฏดไธ่ฏดใ
ๆกไพ 2๏ผ็คพไบคๆๅพๅ็ฆป๏ผ้่ฟฐๅๅฅฝ vs ่กจ่พพ่ดญไนฐ้ๆฑ๏ผ
- ใ้ข็ฎๆ ๅขใ๏ผๅจๆฐดๆๅบไนฐๆฐดๆ
- ใไปปๅก่ฆๆฑใ๏ผๅๅบๅ่ฏดๆไฝ ๆณไนฐๅ ไธช่นๆ๏ผ้ๅ ๅซ่ดญไนฐๆๅพๅๆฐ้๏ผ
- ใๅญฆ็ๅ็ญใ๏ผๆๅๆฌข่นๆใ
- ใๆจกๅๅฎๆต่ฏๆญใ๏ผ
ใไปปๅก็ถๆใ๏ผๆชๅฎๆ
ใๅก็นๅๆใ๏ผๅฅๅญ่กจ่พพไบไธชไบบๅๅฅฝ๏ผไฝ้ๆผไบ่ดญไนฐๆๅพๅๅ ทไฝๆฐ้ไฟกๆฏ๏ผๆช่ฝ่พพๆๅๅบๅ่ดญไนฐ็ไบค้ ็ฎ็ใ
ใๅผๅฏผๆ็คบใ๏ผ่กจ่พพโๅๆฌขโๅ่กจ่พพโๆณไนฐโๆฏไธไธๆ ท็ๅฆใ่ฏ็ๅ่ฏๅบๅ๏ผโๆๆณไนฐโฆโฆไธช่นๆโใ
ใ่ฟ็งป่กฅ็ปใ๏ผๅจๆๅ ทๅบ่ดญ็ฉ๏ผ่ฏ็ๅๅบๅ่ฏดๆไฝ ๆณไนฐไธคๆฏ้ ็ฌใ
ๆกไพ 3๏ผๆฏ่ฏญ็บฟๆง่ฏญๅบ่ด่ฟ็งป๏ผๆถ้ด็ถ่ฏญๅ็ฝฎ๏ผ
- ใ้ข็ฎๆ ๅขใ๏ผๆพๅญฆ็ฆปๅผๆๅฎค
- ใไปปๅก่ฆๆฑใ๏ผๅๅๆก่ฏดๅ่ง๏ผๅนถ็บฆๅฎๆๅคฉ่ง
- ใๅญฆ็ๅ็ญใ๏ผๅ่งๆๅคฉใ
- ใๆจกๅๅฎๆต่ฏๆญใ๏ผ
ใไปปๅก็ถๆใ๏ผ้จๅๅฎๆ
ใๅก็นๅๆใ๏ผ่พพๆไบโๅ่งโ็ๆๅพ๏ผไฝๆถ้ด็ถ่ฏญโๆๅคฉโไธๅจ่ฏโ่งโ็่ฏญๅบๅบ็ฐๅก็น๏ผๅๆฏ่ฏญ็บฟๆง่ฏญๅบๅฝฑๅๅฐๆถ้ด็ฝฎๅ๏ผใไธญๆไน ๆฏๅฐๆถ้ด่ฏ็ฝฎไบโ่งโ็ๅ้ขใ
ใๅผๅฏผๆ็คบใ๏ผไธญๆ้่ฏดไปไนๆถๅๅ่ง้ข๏ผ่ฆๆๆถ้ดๆพๅจๅ้ขๅฆ๏ผๆฏๅฆโๆๅคฉ่งโใ
ใ่ฟ็งป่กฅ็ปใ๏ผๅฆๆๆฏๅจไบๆพๅญฆ๏ผๆณ่ทๅๅญฆ็บฆๅฎโๆๆไธ่งโ๏ผ่ฏ็็จไธญๆ่ฏดไธ่ฏดใ
๐ป ๅฟซ้ไธๆไธ่ฐ็จๆๅ
1. ไฝฟ็จ Transformers ๅ็ Python ่ฐ็จ
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_ID = "Lukekn0w/WanLi-Zhiyan-4B-v0.2"
# ๅ ่ฝฝ Tokenizer ไธๆจกๅ
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForCausalLM.from_pretrained(
MODEL_ID,
torch_dtype=torch.float16,
device_map="auto"
)
# ๆ้ ็ปๆๅๆๅญฆ Prompt
prompt = (
"ไฝ ๆฏไธๅไธๆณจYCT/ๅ็บงไธญๆๅญฆไน ่
็ไธญๆๅฃ่ฏญๅบ็ญ่ฏๆญไธๅฎถใ"
"่ฏทๆ นๆฎ้ข็ฎ่ฆๆฑไธๅญฆ็ๅ็ญ๏ผๅ็กฎ่ฏๅซ่กจ่พพๅก็น๏ผ็ปๅบๆธฉๅ็ๅผๅฏผๆ็คบ๏ผๅนถ็ๆไธ้็ธไผผๅบๆฏ็่ฟ็งป่กฅ็ปไปปๅกใ\n\n"
"ใ้ข็ฎๆ
ๅขใ๏ผๆฉๆจๅจๆ ก้จๅฃ้่ง็่ๅธ\n"
"ใไปปๅก่ฆๆฑใ๏ผไธปๅจ็จไธญๆๅ่ๅธๆๆๅผ้ฎๅฅฝ\n"
"ใๅญฆ็ๅ็ญใ๏ผ่ๅธๅฅฝ๏ผ"
)
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
# ๆจ่ไฝๆธฉๅบฆ้ๆ ท๏ผ็กฎไฟ็ปๆๅ่พๅบ็จณๅฎๆง
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=512,
temperature=0.2,
top_p=0.8,
repetition_penalty=1.05
)
response = tokenizer.batch_decode(
generated_ids[:, model_inputs.input_ids.shape[1]:],
skip_special_tokens=True
)[0]
print(response)
2. ๆฌๅฐๆญ็ฝ / Ollama ็ฆป็บฟ้จ็ฝฒ๏ผ้ๅๅฑไผไธ็ฐๅบๆผ็คบ๏ผ
ๆฌๆจกๅๅ็ๆฏๆๅฏผๅบไธบ GGUF ๆ ผๅผๅนถๅจไฝ็ฎๅ็ซฏไพง่ฎพๅค๏ผๅฆ Mac M็ณปๅ่ฏ็ / ่พน็ผ่ฎก็ฎ็ป็ซฏ๏ผๆญ็ฝ่ฟ่ก๏ผ
# Modelfile ้
็ฝฎ็คบไพ
FROM ./wanli-yct-qwen-v0.2-q4_k_m.gguf
PARAMETER temperature 0.2
PARAMETER top_p 0.8
PARAMETER stop "<|im_end|>"
SYSTEM """ไฝ ๆฏไธๅไธๆณจYCT/ๅ็บงไธญๆๅญฆไน ่
็ไธญๆๅฃ่ฏญๅบ็ญ่ฏๆญไธๅฎถใ่ฏทๆ นๆฎ้ข็ฎ่ฆๆฑไธๅญฆ็ๅ็ญ๏ผๅ็กฎ่ฏๅซ่กจ่พพๅก็น๏ผ็ปๅบๆธฉๅ็ๅผๅฏผๆ็คบ๏ผๅนถ็ๆไธ้็ธไผผๅบๆฏ็่ฟ็งป่กฅ็ปไปปๅกใ"""
่ฟ่ก็ป็ซฏๅฝไปค๏ผ
ollama create wanli-zhiyan -f Modelfile
ollama run wanli-zhiyan
๐ ่ฎญ็ป้ ็ฝฎ็ป่
- Base Model๏ผQwen ็ณปๅ 4B ๅบ็กๅบๅบง
- Fine-tuning Method๏ผLoRA (Rank=16, Alpha=32, Target Modules=
all, Dropout=0.05) - Training Hardware๏ผNVIDIA RTX PRO 6000 (96GB VRAM)
- Optimizer & Schedule๏ผAdamW, Cosine LR Schedule (Peak LR = 1e-4, Warmup = 5%)
- Effective Batch Size๏ผ8 (Batch size per device 2 ร Gradient Accumulation Steps 4)
- Epochs๏ผ3.0 (่ฎญ็ป Loss ไป 2.49 ๆถๆ่ณ 1.45๏ผEval Loss ๆถๆ่ณ 1.53)
๐ค ็ ๅๅข้ไธ่ด่ฐข
- ็ ๅๅไฝ๏ผไธ้ไธญๆ๏ผWanLi Chinese๏ผๆๅญฆไธ็ฎๆณ็ ๅๅข้
- ๆฐๆฎๆฅๆบ๏ผๆ่ฒ้จไธญๅค่ฏญ่จไบคๆตๅไฝไธญๅฟ ยท ๅฝ้ ไธญๆๆ่ฒ่ฏญๆๅบ๏ผChinesePlus๏ผใYCT/HSK ๆๅจๆๅญฆๅคง็บฒ
- ๅพฎ่ฐๆกๆถ๏ผๆ่ฐข LLaMA-Factory ็คพๅบๆไพ็ๆฐๅบๅผๆบๆฏๆใ
ๅ ่ดฃๅฃฐๆ๏ผๆฌๆจกๅไธป่ฆ็จไบๅฝ้ ไธญๆๆๅญฆๆฏๆไธ่พ ๅฉ็ปไน ๏ผ่ฏๆญ็ปๆๅปบ่ฎฎไธไธ็บฟไธญๆๆๅธๆๅญฆๅคๆ ธ็ธ็ปๅใ
- Downloads last month
- 50