MayoIsJS/i-wanna-be-the-tiny-ko

"내가 오픈소스로 공개된 데이터, 집에서 사용하는 컴퓨터만을 이용하여 어디까지 사전학습할 수 있을까?"라는 궁금증으로 학습한 소형 언어모델입니다.

데이터

다음 나열한 데이터를 웹 데이터 크기에 맞춰 샘플링해 사용했습니다.

• minpeter/fineweb-2-edu-korean - 웹
• HuggingFaceFW/finepdfs-edu - PDF
• devngho/korean-textbooks-edu - 합성, 추가 필터링 적용
• Avelina/python-edu-cleaned - 코드
• KORMo-Team/Cosmopedia-ko-synth - 합성(논리 중심)

학습

• lr: 2e-4
• lr 스케쥴러: WSD(2% warmup, 10% decay, 최소 lr: 0)
• 에폭: 3
• 배치 크기: (per_device_train_batch_size: 2) * (gradient_accumulation_steps: 8) = 16
• 패킹: bfd_split

학습은 토큰 수는 최종 step 수로 계산했을 때 17b 정도 나왔습니다. 패킹이 모든 패딩을 완벽하게 채워준다는 보장은 없으니 대충 17b보다 작으면서 17b 근처 정도라고 생각하시면 됩니다.