TRL

TRLは、基盤モデル向けのポストトレーニングフレームワークです。SFT、GRPO、DPOなどの手法が含まれており、各手法には専用のトレーナーが用意されています。これらのトレーナーはTrainerクラスを基盤として構築されており、単一GPUからマルチノードクラスタまでスケールします。

from datasets import load_dataset
from trl import GRPOTrainer
from trl.rewards import accuracy_reward

dataset = load_dataset("trl-lib/DeepMath-103K", split="train")

trainer = GRPOTrainer(
    model="Qwen/Qwen2-0.5B-Instruct",
    reward_funcs=accuracy_reward,
    train_dataset=dataset,
)
trainer.train()

Transformers の統合

TRLはTransformersのAPIを拡張し、メソッド固有の設定を追加します。

• TRLのトレーナーはTrainerを基盤としています。GRPOTrainerのようなメソッド固有のトレーナーは、生成、報酬スコアリング、損失計算を追加します。設定クラスは、メソッド固有のフィールドをTrainingArgumentsに拡張します。

• モデルの読み込みでは、まず AutoConfig.from_pretrained() を使用し、その後、その設定から該当クラスの from_pretrained を用いてモデルクラスをインスタンス化します。

リソース

• TRL ドキュメント
• TRLによるファインチューニングのトーク