File size: 703 Bytes
4b1637c | 1 2 3 4 5 6 7 8 9 10 11 12 13 | July 15:
training data数据问题：
这说明你的 abstract_train.json 文件是 每行一个 JSON 对象（NDJSON 格式），而不是一个标准的 JSON 数组。
把数据下载到PLLM1.0本地地址再上传到hdfs文件夹下： hadoop fs -put datasets/abstract_test_fixed.json /mnt/hdfs/pllm/yutong/abstract_test_fixed.json
本地文件转移到HDFS地址：
转移命令：hadoop fs -put 本地文件 HDFS目录
覆盖转移：hadoop fs -put -f ...
查看结果：hadoop fs -ls HDFS目录
在train.llm文件中：这个错误是因为 evaluation_strategy 参数名在新版本的 transformers 中已经改为 eval_strategy
pip install 'accelerate>=0.26.0‘ #trainer需要安装accelerate |