Instructions to use lrds-code/boana-7b-instruct with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use lrds-code/boana-7b-instruct with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="lrds-code/boana-7b-instruct")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("lrds-code/boana-7b-instruct")
model = AutoModelForCausalLM.from_pretrained("lrds-code/boana-7b-instruct", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

PEFT
How to use lrds-code/boana-7b-instruct with PEFT:
```
Task type is invalid.
```
Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use lrds-code/boana-7b-instruct with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "lrds-code/boana-7b-instruct"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "lrds-code/boana-7b-instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/lrds-code/boana-7b-instruct

SGLang

How to use lrds-code/boana-7b-instruct with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "lrds-code/boana-7b-instruct" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "lrds-code/boana-7b-instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "lrds-code/boana-7b-instruct" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "lrds-code/boana-7b-instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use lrds-code/boana-7b-instruct with Docker Model Runner:
```
docker model run hf.co/lrds-code/boana-7b-instruct
```

lrds-code commited on Jan 22, 2024

Commit

abe9546

verified ·

1 Parent(s): d9249ae

Update README.md

Browse files

Files changed (1) hide show

README.md +16 -14

README.md CHANGED Viewed

@@ -21,7 +21,7 @@ tags:
 # Boana-7B
 <p align="center">
-  <img width="250" alt="Boana Logo" src="https://cdn-uploads.huggingface.co/production/uploads/658c21f4c1229bf113295773/BE5877BjlswYK3Ue1FiOK.png">
 </p>
 Boana-7B is an LLM trained on portuguese language data. The model is based on [LLaMA2-7B](https://huggingface.co/meta-llama/Llama-2-7b-chat-hf), a 7B parameter version of LLaMA-2. The LLM Boana project aims to provide more LLM options in portuguese, while also providing less complex models so that users with less computational power can take advantage of the LLMs.
@@ -84,17 +84,19 @@ outputs = model.generate(input_ids=inputs['input_ids'], attention_mask=inputs['a
 print(tokenizer.decode(outputs[0], skip_special_tokens=True))
-## Pergunta: Como desenvolver habilidades de programação em python?
-## Resposta: 1. Crie um projeto simples: Comece criando um projeto simples, como um programa que lê um arquivo .txt e exibe os dados.
-##           2. Estudar o código: Estudar o código do projeto que você criou anteriormente.
-##           3. Revisar o código: Revisar o código para verificar se ele está correto e se está funcionando corretamente.
-##           4. Testar o código: Testar o código para verificar se ele está funcionando corretamente.
-##           5. Modificar o código: Modificar o código para corrigir problemas ou adicionar novos recursos.
-##           6. Documentar o código: Documentar o código para que outros desenvolvedores possam ler e usar o código.
-##           7. Depurar o código: Depurar o código para verificar se ele está funcionando corretamente.
-##           8. Fazer testes de integração: Fazer testes de integração para verificar se o código funciona corretamente com outros programas.
-##           9. Fazer testes de desempenho: Fazer testes de desempenho para verificar se o código funciona corretamente em diferentes sistemas e configurações.
-##           10. Fazer testes de segurança: Fazer testes de segurança para verificar se o código é seguro e não pode ser usado para invasão de segurança.
 ```

 # Boana-7B
 <p align="center">
+  <img width="250" alt="Boana Logo" src="https://cdn-uploads.huggingface.co/production/uploads/658c21f4c1229bf113295773/_Dc6z1IAL-zUiy0LMSSqf.png">
 </p>
 Boana-7B is an LLM trained on portuguese language data. The model is based on [LLaMA2-7B](https://huggingface.co/meta-llama/Llama-2-7b-chat-hf), a 7B parameter version of LLaMA-2. The LLM Boana project aims to provide more LLM options in portuguese, while also providing less complex models so that users with less computational power can take advantage of the LLMs.
 print(tokenizer.decode(outputs[0], skip_special_tokens=True))
+## Abaixo está uma instrução que descreve uma tarefa. Escreva uma resposta que complete adequadamente o pedido.
+##                 ### Instrução:
+##                 Como desenvolver habilidades de programação em python?
+##                 ### Resposta:
+##                 Aqui estão algumas dicas para aprender Python:
+##                 1. Comece com os fundamentos. Aprenda as principais palavras-chave e conceitos básicos, como variáveis, tipos de dados, funções, módulos, etc.
+##                 2. Pratique com exercícios. Experimentar com diferentes tipos de problemas pode ajudá-lo a entender melhor o idioma.
+##                 3. Leia documentação. Aprenda sobre as funcionalidades específicas do Python e como elas são usadas.
+##                 4. Use recursos on-line. Há muitos recursos disponíveis online que podem ajudá-lo a aprender Python, como cursos, tutoriales, livros, etc.
+##                 5. Participe de comunidades. Encontre um grupo de pessoas que compartilham seus interesses e se conectem com eles.
+##                 6. Faça perguntas. Se você tiver alguma dúvida ou precisar de ajuda, não hesite em perguntar.
+##                 7. Aprenda com outros. Aprenda com outros programadores e compartilhe suas próprias ideias.
+##                 8. Desenvolva projetos. Crie algo que possa ser útil para você ou para outras pessoas.
+##                 9. Lembre-se de que aprender é um processo contínuo. Não se esqueça de continuar praticando e aprendendo novas coisas.
+##                 10. Certifique-se de ter paciência. Aprender um idioma é um processo lento e exigente, mas valerá a pena.
 ```