TRL

TRL é um framework de pós-treinamento para modelos de fundação. Ele inclui métodos como SFT, GRPO e DPO. Cada método possui um treinador dedicado que se baseia na classe Trainer e escala de uma única GPU para clusters multinó.

from datasets import load_dataset
from trl import GRPOTrainer
from trl.rewards import accuracy_reward

dataset = load_dataset("trl-lib/DeepMath-103K", split="train")

trainer = GRPOTrainer(
    model="Qwen/Qwen2-0.5B-Instruct",
    reward_funcs=accuracy_reward,
    train_dataset=dataset,
)
trainer.train()

Integração com Transformers

O TRL estende as APIs do Transformers e adiciona configurações específicas de método.

• Os treinadores do TRL são construídos sobre o Trainer. Treinadores específicos de método, como o GRPOTrainer, adicionam geração, pontuação de recompensa e cálculo de perda. As classes de configuração estendem o TrainingArguments com campos específicos de método.

• O carregamento do modelo usa AutoConfig.from_pretrained() e, em seguida, instancia a classe do modelo a partir da configuração usando o from_pretrained dessa classe.

Recursos

• Documentação do TRL
• Palestra Fine Tuning with TRL