scripts/tokenize.sh

src=$1
dst=$2
vocab=$3

d2="${vocab##*/}"
#dstrev="${dst}/${vocab%.*}"
dstrev="${dst}/${d2%.*}"

echo $dstrev
mkdir -p $dstrev
cp $vocab $dstrev

#spm_encode --vocabulary --model=$vocab --output_format=piece < $src/train.src > $dstrev/train.src
spm_encode --model=$vocab --output_format=piece < $src/train.src > $dstrev/train.src
spm_encode --model=$vocab --output_format=piece < $src/train.dst > $dstrev/train.dst
spm_encode --model=$vocab --output_format=piece < $src/valid.src > $dstrev/valid.src
spm_encode --model=$vocab --output_format=piece < $src/valid.dst > $dstrev/valid.dst
spm_encode --model=$vocab --output_format=piece < $src/test.src > $dstrev/test.src
spm_encode --model=$vocab --output_format=piece < $src/test.dst> $dstrev/test.dst