๐ŸŒ ไธ‡้‡Œ็Ÿฅ่จ€ (WanLi-Zhiyan-4B v0.2)

ๅˆ็บงๅ›ฝ้™…ไธญๆ–‡ๅบ”็ญ”่ฏŠๆ–ญไธŽ่ฟ็งป่กฅ็ปƒๅž‚็›ดๅคงๆจกๅž‹

WanLi Chinese AI Lab ยท ้ขๅ‘ๅ…จ็ƒไธญๆ–‡ๅญฆไน ่€…็š„ๆ•™ๅญฆ่ฏŠๆ–ญไธŽ่‡ช้€‚ๅบ”ๅญฆไน ๆ™บ่ƒฝไฝ“

Hugging Face Model License Base Model Framework


๐Ÿ“Œ ้กน็›ฎ่ƒŒๆ™ฏไธŽๅฎšไฝ

ๅœจๅˆ็บงไธญๆ–‡๏ผˆYCT 1-3 ็บง / HSK ๅˆ็บง๏ผ‰ๆ—ฅๅธธๅฃ่ฏญไธŽไบค้™…็ปƒไน ไธญ๏ผŒ้€š็”จๅคง่ฏญ่จ€ๆจกๅž‹๏ผˆLLM๏ผ‰ๅพ€ๅพ€ๅญ˜ๅœจไธคๅคง็—›็‚น๏ผš

  1. ่ฟ‡ๅบฆๅฎฝๅฎนๆˆ–้™ทๅ…ฅ่‡ช็”ฑ้—ฒ่Š๏ผšๅญฆ็”Ÿ่กจ่พพ่™ฝ็„ถไธๆˆๅฅๆˆ–ๅ็ฆปไบค้™…็›ฎ็š„๏ผŒๅคงๆจกๅž‹ไพ็„ถๅ‹‰ๅผบ้กบ็€่ฏญไน‰ๅ›žๅค๏ผŒๆ— ๆณ•ๆŒ‡ๅ‡บๅญฆไน ๅก็‚น๏ผ›
  2. ็”Ÿ็กฌ็บ ้”™ๆˆ–็›ดๆŽฅๆŠ›ๅ‡บ็ญ”ๆกˆ๏ผš็›ดๆŽฅๆŠŠๆฏ่ฏญ่€…็š„ๆ ‡ๅ‡†้•ฟๅฅๆŠ›็ป™ๅญฆ็”Ÿ๏ผŒ็ผบๅฐ‘ๅˆ็บงๆ•™ๅญฆๆ‰€้œ€็š„โ€œ้˜ถๆขฏๅผๅผ•ๅฏผ๏ผˆScaffolding๏ผ‰โ€๏ผŒๅฏผ่‡ดๅญฆ็”Ÿไธงๅคฑ่กจ่พพไฟกๅฟƒใ€‚

โ€œไธ‡้‡Œ็Ÿฅ่จ€๏ผˆWanLi-Zhiyan-4B v0.2๏ผ‰โ€ ๆ˜ฏ็”ฑไธ‡้‡Œไธญๆ–‡๏ผˆWanLi Chinese๏ผ‰ๅ›ข้˜Ÿไธ“้—จ็ ”ๅ‘็š„ๅ›ฝ้™…ไธญๆ–‡ๆ•™่‚ฒๅž‚็›ด้ข†ๅŸŸ่ฏŠๆ–ญๅคงๆจกๅž‹ใ€‚ๆจกๅž‹ๆ—จๅœจๆ‰ฎๆผ”ไธ€ไฝๅฏŒๆœ‰่€ๅฟƒใ€ๆ‡‚ไบŒ่ฏญไน ๅพ—่ง„ๅพ‹็š„ไธ“ไธšไธญๆ–‡ๆ•™ๅธˆ๏ผŒๅฎž็ŽฐไปŽโ€œๅ•ๆฌก่ขซๅŠจๆ‰“ๅˆ†โ€ๅ‘โ€œ่ฏŠๆ–ญ โž” ๅฏๅ‘ โž” ่ฟ็งป่กฅ็ปƒโ€้—ญ็Žฏๅญฆไน ๆ”ฏๆŒ็š„่ทƒๅ‡ใ€‚


๐Ÿ’ก ๆ ธๅฟƒๆœบๅˆถ๏ผšๅ››ๆญฅ่ฟ›้˜ถ่ฏŠๆ–ญๆก†ๆžถ

ไธ‡้‡Œ็Ÿฅ่จ€็ป่ฟ‡ไธฅๆ ผ็š„ๆ•™ๅญฆๆŒ‡ไปคๅพฎ่ฐƒ๏ผˆInstruction Alignment๏ผ‰๏ผŒๅฏนๅญฆ็”Ÿ็š„ๆฏไธ€ๆฌกไบค้™…ๅ›ž็ญ”ๅ‡ไธฅๆ ผ่พ“ๅ‡บๆ ‡ๅ‡†ๅŒ–ๅ››ๆฎต็ป“ๆž„๏ผš

                    โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”
                    โ”‚  ๅญฆไน ่€…ไบค้™…ไปปๅŠกไธŽๅ›ž็ญ”่พ“ๅ…ฅ โ”‚
                    โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”ฌโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜
                                  โ–ผ
 1. ใ€ไปปๅŠก็Šถๆ€ใ€‘ โ”€โ”€โ”€ ๅˆคๅฎšไบค้™…็›ฎๆ ‡่พพๆˆๅบฆ๏ผˆๅฎŒ็พŽ่พพๆˆ / ้ƒจๅˆ†ๅฎŒๆˆ / ๆœชๅฎŒๆˆ๏ผ‰
                                  โ–ผ
 2. ใ€ๅก็‚นๅˆ†ๆžใ€‘ โ”€โ”€โ”€ ็ฒพๅ‡†ๅฝ’ๅ› ๏ผˆ่ฏญๅบๅ€’่ฃ…ใ€้‡่ฏ็ผบๅคฑใ€่ฏๆ€งๆททๆท†ใ€ๆฏ่ฏญ่ดŸ่ฟ็งป็ญ‰๏ผ‰
                                  โ–ผ
 3. ใ€ๅผ•ๅฏผๆ็คบใ€‘ โ”€โ”€โ”€ ๆธฉๅ’Œใ€ๅฏๅ‘ๅผ็š„ๆญฃๅ‘่„šๆ‰‹ๆžถ๏ผˆไธ็›ดๆŽฅ็ป™็ญ”ๆกˆ๏ผŒ็‚นๅ‡บ่กจ่พพๅ…ณ้”ฎ๏ผ‰
                                  โ–ผ
 4. ใ€่ฟ็งป่กฅ็ปƒใ€‘ โ”€โ”€โ”€ ่‡ช้€‚ๅบ”็”ŸๆˆๅŒๆž„ๅœบๆ™ฏ็š„ๆ–ฐไปปๅŠก๏ผˆๅธฎๅŠฉๅญฆไน ่€…ๅณๆ—ถ้ชŒ่ฏๅ†ๆฌก่กจ่พพ๏ผ‰

๐ŸŽฏ v0.2 ๅ‡็บงไบฎ็‚น

  • ไธญไป‹่ฏญ็œŸๅฎžๅ่ฏฏๅฏน้ฝ๏ผš่žๅˆๅ›ฝ้™…ไธญๆ–‡ๆ•™่‚ฒ่ฏญๆ–™ๅบ“๏ผˆChinesePlus๏ผ‰็œŸๅฎž็•™ๅญฆ็”Ÿไฝœๆ–‡ไธŽๅฃ่ฏญๅ่ฏฏๆ•ฐๆฎ๏ผŒ้‡็‚นๅผบๅŒ–ไบ†ไปฅไธ‹้ซ˜้ข‘ไธญไป‹่ฏญๅก็‚น็š„่ฏ†ๅˆซ็ตๆ•ๅบฆ๏ผš
    • ่ฏญๅบๅ€’่ฃ…๏ผšๅฆ‚ๆ—ถ้—ด็Šถ่ฏญๅŽ็ฝฎ๏ผˆโ€œ่งๆ˜Žๅคฉโ€ใ€โ€œๆˆ‘ๆƒณ่งไฝ ๅœจไธ‹ๅˆไธค็‚นโ€๏ผ‰๏ผ›
    • ๆ•ฐ้‡่ฏๅ่ฏฏ๏ผšๅฆ‚ไธชไฝ“้‡่ฏ็ผบๅคฑๆˆ–ๆณ›็”จ๏ผˆโ€œๆˆ‘ๆƒณไนฐไธค็ฌ”โ€ใ€โ€œๆˆ‘็œ‹ไธ‰ไธช้ธญๅญโ€๏ผ‰๏ผ›
    • ๅฆๅฎšๅ‰ฏ่ฏๆททๆท†๏ผšๆททๆท†ไธป่ง‚ๆ„ๆ„ฟไธŽๅฎข่ง‚ไบ‹ๅฎž๏ผˆโ€œๆˆ‘ไธๅƒๆ—ฉ้ฅญโ€ vs โ€œๆˆ‘ๆฒกๅƒๆ—ฉ้ฅญโ€๏ผ‰๏ผ›
    • ็คพไบค่ง’่‰ฒๅ€’็ฝฎ๏ผšๆททๆท†่‡ด่ฐข/้“ๆญ‰ไธŽๅบ”็ญ”ๆ–น๏ผˆๅฆ‚่ฏฏ็”จโ€œไธๅฎขๆฐ”โ€ไปฃๆ›ฟโ€œ่ฐข่ฐขโ€๏ผŒ่ฏฏ็”จโ€œๆฒกๅ…ณ็ณปโ€ไปฃๆ›ฟโ€œๅฏนไธ่ตทโ€๏ผ‰๏ผ›
  • ไฝŽ่ฏฏ็บ ็އไฟ้šœ๏ผšๅœจๆ•ฐๆฎ้›†ไธญไธฅๆ ผไฟ็•™ไบ†็ฌฆๅˆๅˆ็บงๅฃ่ฏญไบค้™…่ง„่Œƒ็š„ๅคšๆ ทๅŒ–ๅˆ็†ๅ˜ไฝ“๏ผŒๆœ‰ๆ•ˆๆŠ‘ๅˆถๆจกๅž‹ๅฏนๆญฃ็กฎๅฃ่ฏญ่กจ่พพ็š„โ€œ่ฟ‡ๅบฆ็บ ้”™โ€ใ€‚

๐Ÿงช ๅ…ธๅž‹่ฏŠๆ–ญๅฎžๆต‹ๆกˆไพ‹๏ผˆ็Žฐๅœบ่พ“ๅ‡บ๏ผ‰

ๆกˆไพ‹ 1๏ผšๆ•ฐ้‡่ฏๆญ้…็ผบๅคฑ๏ผˆ้‡่ฏ้—ๆผ๏ผ‰

  • ใ€้ข˜็›ฎๆƒ…ๅขƒใ€‘๏ผšไนฐๆ–‡ๅ…ท
  • ใ€ไปปๅŠก่ฆๆฑ‚ใ€‘๏ผšๅ‘ๅบ—ๅ‘˜่ฏดๆ˜Žๆƒณไนฐไธคๆ”ฏ็ฌ”
  • ใ€ๅญฆ็”Ÿๅ›ž็ญ”ใ€‘๏ผšๆˆ‘ๆƒณไนฐไธค็ฌ”ใ€‚
  • ใ€ๆจกๅž‹ๅฎžๆต‹่ฏŠๆ–ญใ€‘๏ผš

    ใ€ไปปๅŠก็Šถๆ€ใ€‘๏ผšๆœชๅฎŒๆˆ
    ใ€ๅก็‚นๅˆ†ๆžใ€‘๏ผšๆ•ฐ่ฏโ€œไธคโ€็›ดๆŽฅไฟฎ้ฅฐๅ่ฏโ€œ็ฌ”โ€๏ผŒ็ผบๅคฑไบ†ๅฟ…้œ€็š„ไธชไฝ“้‡่ฏโ€œๆ”ฏโ€ใ€‚็Žฐไปฃๆฑ‰่ฏญไธญๆ•ฐ่ฏไธ่ƒฝ็›ดๆŽฅไฟฎ้ฅฐๅฏๆ•ฐไธชไฝ“ๅ่ฏใ€‚
    ใ€ๅผ•ๅฏผๆ็คบใ€‘๏ผš่ฏดไนฐๅ‡ ไปถๆ–‡ๅ…ทๆ—ถ๏ผŒๆ•ฐ่ฏๅ’Œๆ–‡ๅ…ทไน‹้—ด่ฆๅŠ ไธŠ้‡่ฏๅ“ฆ๏ผŒๆฏ”ๅฆ‚โ€œไธคๆ”ฏ็ฌ”โ€ใ€‚
    ใ€่ฟ็งป่กฅ็ปƒใ€‘๏ผšๅœจไนฆๅบ—ไนฐไธ‰ๆœฌไนฆ๏ผŒ่ฏ•็€็”จๅธฆๆœ‰้‡่ฏ็š„ๆ ‡ๅ‡†ไธญๆ–‡ๅฏนๅบ—ๅ‘˜่ฏดไธ€่ฏดใ€‚


ๆกˆไพ‹ 2๏ผš็คพไบคๆ„ๅ›พๅ็ฆป๏ผˆ้™ˆ่ฟฐๅ–œๅฅฝ vs ่กจ่พพ่ดญไนฐ้œ€ๆฑ‚๏ผ‰

  • ใ€้ข˜็›ฎๆƒ…ๅขƒใ€‘๏ผšๅœจๆฐดๆžœๅบ—ไนฐๆฐดๆžœ
  • ใ€ไปปๅŠก่ฆๆฑ‚ใ€‘๏ผšๅ‘ๅบ—ๅ‘˜่ฏดๆ˜Žไฝ ๆƒณไนฐๅ‡ ไธช่‹นๆžœ๏ผˆ้œ€ๅŒ…ๅซ่ดญไนฐๆ„ๅ›พๅ’Œๆ•ฐ้‡๏ผ‰
  • ใ€ๅญฆ็”Ÿๅ›ž็ญ”ใ€‘๏ผšๆˆ‘ๅ–œๆฌข่‹นๆžœใ€‚
  • ใ€ๆจกๅž‹ๅฎžๆต‹่ฏŠๆ–ญใ€‘๏ผš

    ใ€ไปปๅŠก็Šถๆ€ใ€‘๏ผšๆœชๅฎŒๆˆ
    ใ€ๅก็‚นๅˆ†ๆžใ€‘๏ผšๅฅๅญ่กจ่พพไบ†ไธชไบบๅ–œๅฅฝ๏ผŒไฝ†้—ๆผไบ†่ดญไนฐๆ„ๅ›พๅ’Œๅ…ทไฝ“ๆ•ฐ้‡ไฟกๆฏ๏ผŒๆœช่ƒฝ่พพๆˆๅ‘ๅบ—ๅ‘˜่ดญไนฐ็š„ไบค้™…็›ฎ็š„ใ€‚
    ใ€ๅผ•ๅฏผๆ็คบใ€‘๏ผš่กจ่พพโ€œๅ–œๆฌขโ€ๅ’Œ่กจ่พพโ€œๆƒณไนฐโ€ๆ˜ฏไธไธ€ๆ ท็š„ๅ“ฆใ€‚่ฏ•็€ๅ‘Š่ฏ‰ๅบ—ๅ‘˜๏ผšโ€œๆˆ‘ๆƒณไนฐโ€ฆโ€ฆไธช่‹นๆžœโ€ใ€‚
    ใ€่ฟ็งป่กฅ็ปƒใ€‘๏ผšๅœจๆ–‡ๅ…ทๅบ—่ดญ็‰ฉ๏ผŒ่ฏ•็€ๅ‘ๅบ—ๅ‘˜่ฏดๆ˜Žไฝ ๆƒณไนฐไธคๆ”ฏ้“…็ฌ”ใ€‚


ๆกˆไพ‹ 3๏ผšๆฏ่ฏญ็บฟๆ€ง่ฏญๅบ่ดŸ่ฟ็งป๏ผˆๆ—ถ้—ด็Šถ่ฏญๅŽ็ฝฎ๏ผ‰

  • ใ€้ข˜็›ฎๆƒ…ๅขƒใ€‘๏ผšๆ”พๅญฆ็ฆปๅผ€ๆ•™ๅฎค
  • ใ€ไปปๅŠก่ฆๆฑ‚ใ€‘๏ผšๅ‘ๅŒๆกŒ่ฏดๅ†่ง๏ผŒๅนถ็บฆๅฎšๆ˜Žๅคฉ่ง
  • ใ€ๅญฆ็”Ÿๅ›ž็ญ”ใ€‘๏ผšๅ†่งๆ˜Žๅคฉใ€‚
  • ใ€ๆจกๅž‹ๅฎžๆต‹่ฏŠๆ–ญใ€‘๏ผš

    ใ€ไปปๅŠก็Šถๆ€ใ€‘๏ผš้ƒจๅˆ†ๅฎŒๆˆ
    ใ€ๅก็‚นๅˆ†ๆžใ€‘๏ผš่พพๆˆไบ†โ€œๅ†่งโ€็š„ๆ„ๅ›พ๏ผŒไฝ†ๆ—ถ้—ด็Šถ่ฏญโ€œๆ˜Žๅคฉโ€ไธŽๅŠจ่ฏโ€œ่งโ€็š„่ฏญๅบๅ‡บ็Žฐๅก็‚น๏ผˆๅ—ๆฏ่ฏญ็บฟๆ€ง่ฏญๅบๅฝฑๅ“ๅฐ†ๆ—ถ้—ด็ฝฎๅŽ๏ผ‰ใ€‚ไธญๆ–‡ไน ๆƒฏๅฐ†ๆ—ถ้—ด่ฏ็ฝฎไบŽโ€œ่งโ€็š„ๅ‰้ขใ€‚
    ใ€ๅผ•ๅฏผๆ็คบใ€‘๏ผšไธญๆ–‡้‡Œ่ฏดไป€ไนˆๆ—ถๅ€™ๅ†่ง้ข๏ผŒ่ฆๆŠŠๆ—ถ้—ดๆ”พๅœจๅ‰้ขๅ“ฆ๏ผŒๆฏ”ๅฆ‚โ€œๆ˜Žๅคฉ่งโ€ใ€‚
    ใ€่ฟ็งป่กฅ็ปƒใ€‘๏ผšๅฆ‚ๆžœๆ˜ฏๅ‘จไบ”ๆ”พๅญฆ๏ผŒๆƒณ่ทŸๅŒๅญฆ็บฆๅฎšโ€œๆ˜ŸๆœŸไธ€่งโ€๏ผŒ่ฏ•็€็”จไธญๆ–‡่ฏดไธ€่ฏดใ€‚


๐Ÿ’ป ๅฟซ้€ŸไธŠๆ‰‹ไธŽ่ฐƒ็”จๆŒ‡ๅ—

1. ไฝฟ็”จ Transformers ๅŽŸ็”Ÿ Python ่ฐƒ็”จ

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_ID = "Lukekn0w/WanLi-Zhiyan-4B-v0.2"

# ๅŠ ่ฝฝ Tokenizer ไธŽๆจกๅž‹
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID,
    torch_dtype=torch.float16,
    device_map="auto"
)

# ๆž„้€ ็ป“ๆž„ๅŒ–ๆ•™ๅญฆ Prompt
prompt = (
    "ไฝ ๆ˜ฏไธ€ๅไธ“ๆณจYCT/ๅˆ็บงไธญๆ–‡ๅญฆไน ่€…็š„ไธญๆ–‡ๅฃ่ฏญๅบ”็ญ”่ฏŠๆ–ญไธ“ๅฎถใ€‚"
    "่ฏทๆ นๆฎ้ข˜็›ฎ่ฆๆฑ‚ไธŽๅญฆ็”Ÿๅ›ž็ญ”๏ผŒๅ‡†็กฎ่ฏ†ๅˆซ่กจ่พพๅก็‚น๏ผŒ็ป™ๅ‡บๆธฉๅ’Œ็š„ๅผ•ๅฏผๆ็คบ๏ผŒๅนถ็”Ÿๆˆไธ€้“็›ธไผผๅœบๆ™ฏ็š„่ฟ็งป่กฅ็ปƒไปปๅŠกใ€‚\n\n"
    "ใ€้ข˜็›ฎๆƒ…ๅขƒใ€‘๏ผšๆ—ฉๆ™จๅœจๆ ก้—จๅฃ้‡่ง็Ž‹่€ๅธˆ\n"
    "ใ€ไปปๅŠก่ฆๆฑ‚ใ€‘๏ผšไธปๅŠจ็”จไธญๆ–‡ๅ‘่€ๅธˆๆ‰“ๆ‹›ๅ‘ผ้—ฎๅฅฝ\n"
    "ใ€ๅญฆ็”Ÿๅ›ž็ญ”ใ€‘๏ผš่€ๅธˆๅฅฝ๏ผ"
)

messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# ๆŽจ่ไฝŽๆธฉๅบฆ้‡‡ๆ ท๏ผŒ็กฎไฟ็ป“ๆž„ๅŒ–่พ“ๅ‡บ็จณๅฎšๆ€ง
generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=512,
    temperature=0.2,
    top_p=0.8,
    repetition_penalty=1.05
)

response = tokenizer.batch_decode(
    generated_ids[:, model_inputs.input_ids.shape[1]:], 
    skip_special_tokens=True
)[0]

print(response)

2. ๆœฌๅœฐๆ–ญ็ฝ‘ / Ollama ็ฆป็บฟ้ƒจ็ฝฒ๏ผˆ้€‚ๅˆๅฑ•ไผšไธŽ็Žฐๅœบๆผ”็คบ๏ผ‰

ๆœฌๆจกๅž‹ๅŽŸ็”Ÿๆ”ฏๆŒๅฏผๅ‡บไธบ GGUF ๆ ผๅผๅนถๅœจไฝŽ็ฎ—ๅŠ›็ซฏไพง่ฎพๅค‡๏ผˆๅฆ‚ Mac M็ณปๅˆ—่Šฏ็‰‡ / ่พน็ผ˜่ฎก็ฎ—็ปˆ็ซฏ๏ผ‰ๆ–ญ็ฝ‘่ฟ่กŒ๏ผš

# Modelfile ้…็ฝฎ็คบไพ‹
FROM ./wanli-yct-qwen-v0.2-q4_k_m.gguf

PARAMETER temperature 0.2
PARAMETER top_p 0.8
PARAMETER stop "<|im_end|>"

SYSTEM """ไฝ ๆ˜ฏไธ€ๅไธ“ๆณจYCT/ๅˆ็บงไธญๆ–‡ๅญฆไน ่€…็š„ไธญๆ–‡ๅฃ่ฏญๅบ”็ญ”่ฏŠๆ–ญไธ“ๅฎถใ€‚่ฏทๆ นๆฎ้ข˜็›ฎ่ฆๆฑ‚ไธŽๅญฆ็”Ÿๅ›ž็ญ”๏ผŒๅ‡†็กฎ่ฏ†ๅˆซ่กจ่พพๅก็‚น๏ผŒ็ป™ๅ‡บๆธฉๅ’Œ็š„ๅผ•ๅฏผๆ็คบ๏ผŒๅนถ็”Ÿๆˆไธ€้“็›ธไผผๅœบๆ™ฏ็š„่ฟ็งป่กฅ็ปƒไปปๅŠกใ€‚"""

่ฟ่กŒ็ปˆ็ซฏๅ‘ฝไปค๏ผš

ollama create wanli-zhiyan -f Modelfile
ollama run wanli-zhiyan

๐Ÿ“Š ่ฎญ็ปƒ้…็ฝฎ็ป†่Š‚

  • Base Model๏ผšQwen ็ณปๅˆ— 4B ๅŸบ็ก€ๅบ•ๅบง
  • Fine-tuning Method๏ผšLoRA (Rank=16, Alpha=32, Target Modules=all, Dropout=0.05)
  • Training Hardware๏ผšNVIDIA RTX PRO 6000 (96GB VRAM)
  • Optimizer & Schedule๏ผšAdamW, Cosine LR Schedule (Peak LR = 1e-4, Warmup = 5%)
  • Effective Batch Size๏ผš8 (Batch size per device 2 ร— Gradient Accumulation Steps 4)
  • Epochs๏ผš3.0 (่ฎญ็ปƒ Loss ไปŽ 2.49 ๆ”ถๆ•›่‡ณ 1.45๏ผŒEval Loss ๆ”ถๆ•›่‡ณ 1.53)

๐Ÿค ็ ”ๅ‘ๅ›ข้˜ŸไธŽ่‡ด่ฐข

  • ็ ”ๅ‘ๅ•ไฝ๏ผšไธ‡้‡Œไธญๆ–‡๏ผˆWanLi Chinese๏ผ‰ๆ•™ๅญฆไธŽ็ฎ—ๆณ•็ ”ๅ‘ๅ›ข้˜Ÿ
  • ๆ•ฐๆฎๆฅๆบ๏ผšๆ•™่‚ฒ้ƒจไธญๅค–่ฏญ่จ€ไบคๆตๅˆไฝœไธญๅฟƒ ยท ๅ›ฝ้™…ไธญๆ–‡ๆ•™่‚ฒ่ฏญๆ–™ๅบ“๏ผˆChinesePlus๏ผ‰ใ€YCT/HSK ๆƒๅจๆ•™ๅญฆๅคง็บฒ
  • ๅพฎ่ฐƒๆก†ๆžถ๏ผšๆ„Ÿ่ฐข LLaMA-Factory ็คพๅŒบๆไพ›็š„ๆฐๅ‡บๅผ€ๆบๆ”ฏๆŒใ€‚

ๅ…่ดฃๅฃฐๆ˜Ž๏ผšๆœฌๆจกๅž‹ไธป่ฆ็”จไบŽๅ›ฝ้™…ไธญๆ–‡ๆ•™ๅญฆๆ”ฏๆŒไธŽ่พ…ๅŠฉ็ปƒไน ๏ผŒ่ฏŠๆ–ญ็ป“ๆžœๅปบ่ฎฎไธŽไธ€็บฟไธญๆ–‡ๆ•™ๅธˆๆ•™ๅญฆๅคๆ ธ็›ธ็ป“ๅˆใ€‚

Downloads last month
50
Safetensors
Model size
5B params
Tensor type
BF16
ยท
Inference Providers NEW
This model isn't deployed by any Inference Provider. ๐Ÿ™‹ Ask for provider support

Model tree for Lukekn0w/WanLi-Zhiyan-4B-v0.2

Base model

Qwen/Qwen2.5-3B
Adapter
(1,514)
this model