Upload merged fine-tuned model

cf106ac verified 8 months ago

1.56 kB

---
license: apache-2.0
base_model: Qwen/Qwen3-0.6B
tags:
- fine-tuned
- merged
- lora
- qwen
datasets:
- tatsu-lab/alpaca
language:
- ko
- en
---
# Fine-tuned Merged Model

이 모델은 Qwen/Qwen3-0.6B을 기반으로 LoRA(Low-Rank Adaptation) 기법을 사용해 파인튜닝한 후, 기본 모델과 병합된 완전한 모델입니다.

## 모델 정보
- **베이스 모델**: Qwen/Qwen3-0.6B
- **파인튜닝 방법**: LoRA (Low-Rank Adaptation)
- **데이터셋**: tatsu-lab/alpaca
- **모델 타입**: 완전 병합된 모델 (Full Merged Model)

## 사용 방법

```python
from transformers import AutoTokenizer, AutoModelForCausalLM
# 병합된 모델과 토크나이저 로드 (별도의 어댑터 로드 불필요)
tokenizer = AutoTokenizer.from_pretrained("Whitewinter/model-merged", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "Whitewinter/model-merged",
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
# 추론
prompt = "### Instruction:\nExplain what machine learning is.\n\n### Response:\n"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=200, temperature=0.7)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)
```

## 특징
- LoRA 어댑터가 기본 모델과 완전히 병합되어 있어 별도의 어댑터 로드가 불필요합니다.
- 표준 transformers 라이브러리만으로 모델을 사용할 수 있습니다.
- 추론 시 속도가 빠르고 메모리 효율적입니다.

	---
	license: apache-2.0
	base_model: Qwen/Qwen3-0.6B
	tags:
	- fine-tuned
	- merged
	- lora
	- qwen
	datasets:
	- tatsu-lab/alpaca
	language:
	- ko
	- en
	---

	# Fine-tuned Merged Model

	이 모델은 Qwen/Qwen3-0.6B을 기반으로 LoRA(Low-Rank Adaptation) 기법을 사용해 파인튜닝한 후, 기본 모델과 병합된 완전한 모델입니다.

	## 모델 정보
	- 베이스 모델: Qwen/Qwen3-0.6B
	- 파인튜닝 방법: LoRA (Low-Rank Adaptation)
	- 데이터셋: tatsu-lab/alpaca
	- 모델 타입: 완전 병합된 모델 (Full Merged Model)

	## 사용 방법

	```python
	from transformers import AutoTokenizer, AutoModelForCausalLM

	# 병합된 모델과 토크나이저 로드 (별도의 어댑터 로드 불필요)
	tokenizer = AutoTokenizer.from_pretrained("Whitewinter/model-merged", trust_remote_code=True)
	model = AutoModelForCausalLM.from_pretrained(
	"Whitewinter/model-merged",
	trust_remote_code=True,
	torch_dtype=torch.bfloat16,
	device_map="auto"
	)

	# 추론
	prompt = "### Instruction:\nExplain what machine learning is.\n\n### Response:\n"
	inputs = tokenizer(prompt, return_tensors="pt")
	outputs = model.generate(**inputs, max_new_tokens=200, temperature=0.7)
	response = tokenizer.decode(outputs[0], skip_special_tokens=True)
	print(response)
	```

	## 특징
	- LoRA 어댑터가 기본 모델과 완전히 병합되어 있어 별도의 어댑터 로드가 불필요합니다.
	- 표준 transformers 라이브러리만으로 모델을 사용할 수 있습니다.
	- 추론 시 속도가 빠르고 메모리 효율적입니다.