update

examples/tutorials/rlhf/gpt2_sst2_ppo/step_2_train_model_two_gpu.py

@@ -164,7 +164,7 @@ def main():
         num_mini_batches=2,
         num_sample_generations=100,
         # total_episodes=100000,  # 最多训练多少个样本。
-        response_length=512,
+        response_length=1024,
         # stop_token=tokenizer.eos_token, # stop_token 和 stop_token_id 只设置一个。
         stop_token_id=tokenizer.eos_token_id,
         batch_size=16,