Instructions to use Frankenstein-Labs/cortex.6.sol with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Frankenstein-Labs/cortex.6.sol with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="Frankenstein-Labs/cortex.6.sol")

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Frankenstein-Labs/cortex.6.sol")
model = AutoModelForCausalLM.from_pretrained("Frankenstein-Labs/cortex.6.sol", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use Frankenstein-Labs/cortex.6.sol with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Frankenstein-Labs/cortex.6.sol"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Frankenstein-Labs/cortex.6.sol",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/Frankenstein-Labs/cortex.6.sol

SGLang

How to use Frankenstein-Labs/cortex.6.sol with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Frankenstein-Labs/cortex.6.sol" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Frankenstein-Labs/cortex.6.sol",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Frankenstein-Labs/cortex.6.sol" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Frankenstein-Labs/cortex.6.sol",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use Frankenstein-Labs/cortex.6.sol with Docker Model Runner:
```
docker model run hf.co/Frankenstein-Labs/cortex.6.sol
```

cortex.6.sol / evaluation /README.md

openhands

feat(cortex): add CORTEX training pipeline and model audit

6fbe100 26 days ago

preview code

Raw History Blame Contribute Delete

1.53 kB

CORTEX — evaluation

Évaluation des checkpoints CORTEX.

Fichier	Rôle
`evaluate.py`	perte, perplexité et génération sur un jeu tenu à l'écart

Deux mesures

Perte et perplexité. Calculées sur les fenêtres de tokens d'un jeu d'évaluation. C'est la mesure la plus fiable disponible ici : elle ne dépend d'aucun test d'exécution et compare directement le modèle à lui-même au fil de l'entraînement.

Génération. Le modèle complète une invite et la sortie est comparée à la référence. Cette mesure est faible et doit être lue comme telle : elle indique si le modèle se dirige vers la bonne réponse, pas si le code est correct.

Ce qui n'est pas encore mesuré

Aucune évaluation d'exécution (pass@k) n'est implémentée. Elle demanderait d'exécuter du code généré dans un bac à sable, ce qui est un chantier à part entière et n'est pas revendiqué ici.

Exemple

import json
from evaluation.evaluate import report

print(json.dumps(report("checkpoints/dev/final", limit=20), indent=2))

Règle d'honnêteté

Un modèle de développement de ~175 M paramètres entraîné quelques centaines d'étapes produit du code médiocre. Les rapports affichent les chiffres mesurés sans les arrondir vers le haut, et report() inclut une réserve explicite dans le champ caveat.

cortex-code-eval (HumanEval) est réservé à l'évaluation : l'utiliser pour l'entraînement invaliderait la mesure. Le registre le signale explicitement.