| July 15: | |
| training data数据问题： | |
| 这说明你的 abstract_train.json 文件是 每行一个 JSON 对象（NDJSON 格式），而不是一个标准的 JSON 数组。 | |
| 把数据下载到PLLM1.0本地地址再上传到hdfs文件夹下： hadoop fs -put datasets/abstract_test_fixed.json /mnt/hdfs/pllm/yutong/abstract_test_fixed.json | |
| 本地文件转移到HDFS地址： | |
| 转移命令：hadoop fs -put 本地文件 HDFS目录 | |
| 覆盖转移：hadoop fs -put -f ... | |
| 查看结果：hadoop fs -ls HDFS目录 | |
| 在train.llm文件中：这个错误是因为 evaluation_strategy 参数名在新版本的 transformers 中已经改为 eval_strategy | |
| pip install 'accelerate>=0.26.0‘ #trainer需要安装accelerate |