| --- |
| license: apache-2.0 |
| language: |
| - zh |
| library_name: fairseq |
| tags: |
| - BART |
| - pytorch |
| - CGEC |
| metrics: |
| - bleu |
| pipeline_tag: translation |
| --- |
| |
| # 中文语法纠错任务介绍 |
| Task:中文语法纠错任务(Chinese Grammatical Error Correction,CGEC) |
| CGEC任务输入一句中文文本，文本纠错技术对句子中存在拼写、语法、语义等错误进行自动纠正，输出纠正后的文本。 |
| # 中文语法纠错方法 |
| 主流的方法为seq2seq和seq2edits，常用的中文纠错数据集包括Lang8、NLPCC18和CGED等。 |
| # 模型描述 |
| 我们采用基于transformer的seq2seq方法建模文本纠错任务。模型选择上，我们使用中文BART作为预训练模型，然后在Lang8和CGED训练数据上进行finetune。 |
| 在不引入额外资源的情况下，本模型在LANG8测试集上达到了SOTA。 |
| # 模型训练 |
| 模型训练是基于fairseq库进行训练的。 |
| # 如何使用 |
| step1: 下载fairseq库，并进行安装 |
| step2: 使用interactive.py方法进行推理 |
| python -u ${FAIRSEQ_DIR}/interactive.py $PROCESSED_DIR \ |
| --task syntax-enhanced-translation \ |
| --path ${MODEL_PATH} \ |
| --beam ${BEAM} \ |
| --nbest ${N_BEST} \ |
| -s src \ |
| -t tgt \ |
| --buffer-size 1000 \ |
| --batch-size 32 \ |
| --num-workers 12 \ |
| --log-format tqdm \ |
| --remove-bpe \ |
| --fp16 \ |
| --output_file $OUTPUT_DIR/output.nbest \ |
| <$OUTPUT_DIR/lang8_test.char |
