Junping0645 commited on
Commit
323253c
·
verified ·
1 Parent(s): b0b97ab

QLoRA adapter: 사투리 시드 + 멀티턴 보강 (eval_loss 1.366)

Browse files
README.md CHANGED
@@ -1,3 +1,78 @@
1
  ---
2
- license: apache-2.0
 
 
 
 
 
 
 
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
+ base_model: EleutherAI/polyglot-ko-3.8b
3
+ library_name: peft
4
+ pipeline_tag: text-generation
5
+ language:
6
+ - ko
7
+ tags:
8
+ - base_model:adapter:EleutherAI/polyglot-ko-3.8b
9
+ - lora
10
+ - transformers
11
+ - korean
12
+ - chatbot
13
  ---
14
+
15
+ # 말동무 — 독거 어르신용 AI 대화 챗봇 (QLoRA 어댑터)
16
+
17
+ `EleutherAI/polyglot-ko-3.8b`를 QLoRA(4bit NF4)로 파인튜닝한 LoRA 어댑터입니다.
18
+ 독거 어르신과 짧고 따뜻한 존댓말로 대화하며, 먼저 공감하고 필요시 안부를 챙기는 페르소나로 학습했습니다.
19
+
20
+ ## 학습 데이터
21
+ - 단발 대화 11,266개: 16개 카테고리(건강/외로움/손주/명절 등) × 8개 감정, GPT-4o-mini로 생성 + 실제 어르신 인터뷰 전사에서 추출한 사투리/구어체 발화 1,266개(사투리 입력 이해 보강용)
22
+ - 멀티턴 대화 1,000편(대화당 평균 7.1턴) → 턴마다 슬라이딩 윈도우로 확장해 3,546개 학습 샘플로 변환
23
+ - 최종 train 14,072 / val 740
24
+
25
+ ## 학습 설정
26
+ - LoRA: r=8, alpha=16, dropout=0.1, target_modules=["query_key_value", "dense"] (GPT-NeoX 어텐션 위주로 좁게 타깃 — 과적합 억제)
27
+ - 4bit NF4 양자화(bitsandbytes), MAX_LENGTH=768
28
+ - batch_size=2, gradient_accumulation_steps=8 (유효 배치 16), 5 epoch 캡 + EarlyStoppingCallback(patience=3)
29
+ - 결과: epoch 3.296에서 early stopping, **eval_loss 1.366**, RTX 3060 Ti(8GB)에서 141.9분 소요, peak VRAM 3.4GB
30
+
31
+ ## 사용법
32
+
33
+ 베이스 모델(7.6GB)을 4bit로 로드한 뒤 이 어댑터를 얹습니다.
34
+
35
+ ```python
36
+ import torch
37
+ from peft import PeftModel
38
+ from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
39
+
40
+ BASE_MODEL = "EleutherAI/polyglot-ko-3.8b"
41
+ ADAPTER = "Junping0645/Vtuber" # 이 리포
42
+
43
+ tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
44
+ bnb = BitsAndBytesConfig(
45
+ load_in_4bit=True,
46
+ bnb_4bit_quant_type="nf4",
47
+ bnb_4bit_compute_dtype=torch.float16,
48
+ bnb_4bit_use_double_quant=True,
49
+ )
50
+ base = AutoModelForCausalLM.from_pretrained(BASE_MODEL, quantization_config=bnb, device_map={"": 0})
51
+ model = PeftModel.from_pretrained(base, ADAPTER)
52
+ model.eval()
53
+
54
+ prompt = "### 어르신: 요즘 많이 외롭습니다.\n### 말동무:"
55
+ inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
56
+ out = model.generate(**inputs, max_new_tokens=80, do_sample=True, temperature=0.8,
57
+ top_p=0.9, repetition_penalty=1.15,
58
+ pad_token_id=tokenizer.eos_token_id, eos_token_id=tokenizer.eos_token_id)
59
+ print(tokenizer.decode(out[0], skip_special_tokens=True))
60
+ ```
61
+
62
+ ### 멀티턴(대화 이력 유지)
63
+
64
+ 이전 턴들을 같은 포맷으로 이어붙이면 문맥을 반영한 답변이 나옵니다(학습 시 사용한 포맷과 동일해야 함):
65
+
66
+ ```
67
+ ### 어르신: 손주가 다음 주에 놀러 온대요.
68
+ ### 말동무: 정말요? 기대되시겠어요! 즐거운 시간 보내시길 바래요.
69
+ ### 어르신: 몇 살인지 안 물어보셨네요, 이번에 초등학교 들어가요.
70
+ ### 말동무: 그렇군요! 요즘 아이들은 빠르죠.
71
+ ### 어르신: 걔가 오면 뭘 해주면 좋아할까요?
72
+ ### 말동무:
73
+ ```
74
+
75
+ ## 참고
76
+ - VRAM: 학습 3.4GB / 추론 약 3.3GB (RTX 3060 Ti 8GB 기준)
77
+ - Framework: PEFT 0.19.1, transformers 5.13.0, bitsandbytes 0.49.2, torch 2.11.0+cu128
78
+ - 개인 프로젝트용 비공개 모델입니다.
adapter_config.json ADDED
@@ -0,0 +1,43 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "alora_invocation_tokens": null,
3
+ "alpha_pattern": {},
4
+ "arrow_config": null,
5
+ "auto_mapping": null,
6
+ "base_model_name_or_path": "EleutherAI/polyglot-ko-3.8b",
7
+ "bias": "none",
8
+ "corda_config": null,
9
+ "ensure_weight_tying": false,
10
+ "eva_config": null,
11
+ "exclude_modules": null,
12
+ "fan_in_fan_out": false,
13
+ "inference_mode": true,
14
+ "init_lora_weights": true,
15
+ "layer_replication": null,
16
+ "layers_pattern": null,
17
+ "layers_to_transform": null,
18
+ "loftq_config": {},
19
+ "lora_alpha": 16,
20
+ "lora_bias": false,
21
+ "lora_dropout": 0.1,
22
+ "lora_ga_config": null,
23
+ "megatron_config": null,
24
+ "megatron_core": "megatron.core",
25
+ "modules_to_save": null,
26
+ "peft_type": "LORA",
27
+ "peft_version": "0.19.1",
28
+ "qalora_group_size": 16,
29
+ "r": 8,
30
+ "rank_pattern": {},
31
+ "revision": null,
32
+ "target_modules": [
33
+ "query_key_value",
34
+ "dense"
35
+ ],
36
+ "target_parameters": null,
37
+ "task_type": "CAUSAL_LM",
38
+ "trainable_token_indices": null,
39
+ "use_bdlora": null,
40
+ "use_dora": false,
41
+ "use_qalora": false,
42
+ "use_rslora": false
43
+ }
adapter_model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:663e23f4d7ce13500be6a1c04b00afab542b482407308c9ac3df78cda556f524
3
+ size 18892264
tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json ADDED
@@ -0,0 +1,16 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "backend": "tokenizers",
3
+ "eos_token": "<|endoftext|>",
4
+ "extra_special_tokens": [
5
+ "<|endoftext|>",
6
+ "<|sep|>",
7
+ "<|acc|>",
8
+ "<|tel|>",
9
+ "<|rrn|>"
10
+ ],
11
+ "is_local": false,
12
+ "local_files_only": false,
13
+ "model_max_length": 1000000000000000019884624838656,
14
+ "pad_token": "<|endoftext|>",
15
+ "tokenizer_class": "TokenizersBackend"
16
+ }