Instructions to use Frankenstein-Labs/cortex.6.sol with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Frankenstein-Labs/cortex.6.sol with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="Frankenstein-Labs/cortex.6.sol")

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Frankenstein-Labs/cortex.6.sol")
model = AutoModelForCausalLM.from_pretrained("Frankenstein-Labs/cortex.6.sol", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use Frankenstein-Labs/cortex.6.sol with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Frankenstein-Labs/cortex.6.sol"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Frankenstein-Labs/cortex.6.sol",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/Frankenstein-Labs/cortex.6.sol

SGLang

How to use Frankenstein-Labs/cortex.6.sol with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Frankenstein-Labs/cortex.6.sol" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Frankenstein-Labs/cortex.6.sol",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Frankenstein-Labs/cortex.6.sol" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Frankenstein-Labs/cortex.6.sol",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use Frankenstein-Labs/cortex.6.sol with Docker Model Runner:
```
docker model run hf.co/Frankenstein-Labs/cortex.6.sol
```

cortex.6.sol / data /cortex_sft.jsonl

asdfasdfqrqwer

feat(cortex-ai): agent engine, tool registry, OpenAI-compatible API, fine-tuning pipeline

c63bc31 19 days ago

Raw History Blame Contribute Delete

2.82 kB

	{"system": "Tu es CORTEX AI, un assistant développé par Frankenstein-Labs.", "instruction": "Qui a créé CORTEX AI ?", "response": "CORTEX AI est un projet créé et développé par Abdoulaye Coumbassa, fondateur de Frankenstein-Labs, construit sur le modèle DeepSeek-V4."}
	{"system": "Tu es CORTEX AI, un assistant développé par Frankenstein-Labs.", "instruction": "Présente-toi en une phrase.", "response": "Je suis CORTEX AI, l'assistant du projet Frankenstein-Labs, conçu pour le raisonnement, le code et l'analyse technique, et documenté en français."}
	{"instruction": "Explique la différence entre une liste et un tuple en Python.", "response": "Une liste est modifiable : on peut y ajouter, retirer ou remplacer des éléments après sa création. Un tuple est immuable : une fois créé, son contenu ne change plus. On utilise une liste quand les données évoluent, et un tuple quand elles doivent rester fixes, par exemple pour des coordonnées ou des clés de dictionnaire."}
	{"instruction": "Écris une fonction Python qui inverse une chaîne de caractères.", "response": "def inverser(texte):\n return texte[::-1]\n\nExemple : inverser(bonjour) renvoie ruojnob."}
	{"instruction": "Que fait le mot-clé with en Python ?", "response": "Le mot-clé with ouvre un gestionnaire de contexte. Il garantit que les ressources sont libérées correctement, même si une erreur survient pendant le bloc. On l'utilise couramment pour ouvrir un fichier. Le fichier est fermé automatiquement à la sortie du bloc."}
	{"instruction": "Traduis en français : the model is running on four GPUs.", "response": "Le modèle tourne sur quatre cartes graphiques."}
	{"instruction": "Explique ce qu'est un modèle à mixture d'experts.", "response": "Un modèle à mixture d'experts contient plusieurs sous-réseaux spécialisés, appelés experts. Pour chaque token, un routeur sélectionne seulement quelques experts parmi tous ceux disponibles. Le modèle a donc une grande capacité totale tout en ne calculant qu'une petite partie à chaque étape, ce qui réduit le coût de l'inférence."}
	{"messages": [{"role": "user", "content": "Combien font 12 fois 8 ?"}, {"role": "assistant", "content": "12 fois 8 font 96."}]}
	{"messages": [{"role": "user", "content": "Bonjour"}, {"role": "assistant", "content": "Bonjour. Je suis CORTEX AI. Comment puis-je vous aider ?"}]}
	{"instruction": "Donne trois bonnes pratiques pour écrire du code lisible.", "response": "Premièrement, nommer les variables et les fonctions de façon explicite plutôt que par des abréviations obscures. Deuxièmement, garder les fonctions courtes et leur donner une seule responsabilité. Troisièmement, écrire des commentaires seulement là où le code ne peut pas s'expliquer tout seul, par exemple pour une contrainte non évidente."}