July 15: training data数据问题： 这说明你的 abstract_train.json 文件是 每行一个 JSON 对象（NDJSON 格式），而不是一个标准的 JSON 数组。 把数据下载到PLLM1.0本地地址再上传到hdfs文件夹下： hadoop fs -put datasets/abstract_test_fixed.json /mnt/hdfs/pllm/yutong/abstract_test_fixed.json
本地文件转移到HDFS地址： 转移命令：hadoop fs -put 本地文件 HDFS目录 覆盖转移：hadoop fs -put -f ... 查看结果：hadoop fs -ls HDFS目录
在train.llm文件中：这个错误是因为 evaluation_strategy 参数名在新版本的 transformers 中已经改为 eval_strategy
pip install 'accelerate>=0.26.0‘ #trainer需要安装accelerate