Update README.md
Browse files
README.md
CHANGED
|
@@ -16,7 +16,7 @@ ChatYuan-7B是一个支持中英双语的功能型对话语言大模型。它是
|
|
| 16 |
## 使用方式
|
| 17 |
为了遵守LLaMA模型许可证，我们将ChatYuan-7B权重发布为增量权重。您可以将我们的增量权重与原始的LLaMA权重相加，得到ChatYuan-7B权重。
|
| 18 |
|
| 19 |
-
1. 通过原始[LLaMA-7B](https://github.com/facebookresearch/llama)生成LLaMA的hf模型(LLaMA-7B-HF)，可以参考[指导](https://huggingface.co/docs/transformers/main/model_doc/llama)
|
| 20 |
2. 合并LLaMA-7B的hf模型和ChatYuan-7B模型
|
| 21 |
### 合并脚本
|
| 22 |
```shell
|
|
@@ -38,7 +38,7 @@ tokenizer = AutoTokenizer.from_pretrained(ckpt)
|
|
| 38 |
## 推理方式
|
| 39 |
|
| 40 |
```python
|
| 41 |
-
prompt = "用户:
|
| 42 |
input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
|
| 43 |
generate_ids = model.generate(input_ids, max_new_tokens=1024, do_sample = True, temperature = 0.7)
|
| 44 |
output = tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
|
|
|
|
| 16 |
## 使用方式
|
| 17 |
为了遵守LLaMA模型许可证，我们将ChatYuan-7B权重发布为增量权重。您可以将我们的增量权重与原始的LLaMA权重相加，得到ChatYuan-7B权重。
|
| 18 |
|
| 19 |
+
1. 通过原始[LLaMA-7B](https://github.com/facebookresearch/llama)生成LLaMA的hf模型(LLaMA-7B-HF)，可以参考[指导](https://huggingface.co/docs/transformers/main/model_doc/llama), 也可以直接使用[llama-7b-hf](https://huggingface.co/decapoda-research/llama-7b-hf)
|
| 20 |
2. 合并LLaMA-7B的hf模型和ChatYuan-7B模型
|
| 21 |
### 合并脚本
|
| 22 |
```shell
|
|
|
|
| 38 |
## 推理方式
|
| 39 |
|
| 40 |
```python
|
| 41 |
+
prompt = "用户:怎么让自己精力充沛，列5点建议\n小元: "
|
| 42 |
input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
|
| 43 |
generate_ids = model.generate(input_ids, max_new_tokens=1024, do_sample = True, temperature = 0.7)
|
| 44 |
output = tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
|