한국어 스트리밍 키워드 검출 모델 (Zipformer tiny)

브라우저나 모바일에서 돌릴 수 있는 작은 한국어 키워드 검출(KWS) 모델입니다. 스트리밍 Zipformer + RNN-T 구조이고, sherpa-onnx의 KeywordSpotter로 실행합니다. 키워드는 다시 학습하지 않고 텍스트로 바꿔 넣을 수 있습니다.

빠른 시작

pip install sherpa-onnx sentencepiece soundfile numpy
python kws_demo.py --keywords 대부분,대통령,올림픽,운전자 test_wavs/0.wav test_wavs/1.wav

test_wavs/0.wav: 대부분 (~4.4s)
test_wavs/1.wav: 운전자 (~2.8s)

키워드 파일은 sherpa-onnx 형식입니다. 한 줄에 키워드 하나를 BPE 토큰, 가산점, 문턱값, 이름 순으로 적습니다. kws_demo.py가 bpe.model로 토큰을 만들어 줍니다.

▁대 부 분 :1.0 #0.35 @대부분

파일	내용
`encoder.int8.onnx`, `decoder.int8.onnx`, `joiner.int8.onnx`	배포용 int8 모델 (8.5 + 0.4 + 0.4 MB)
`encoder.onnx`, `decoder.onnx`, `joiner.onnx`	fp32 모델
`tokens.txt`, `bpe.model`	음절 기반 unigram BPE 2,000
`pretrained.pt`	icefall 체크포인트 (미세조정용)
`kws_demo.py`	sherpa-onnx 예제
`test_wavs/`	FLEURS ko_kr test 음성 2개 (CC BY 4.0)

ONNX는 청크 16 프레임(320 ms), 왼쪽 문맥 128 프레임으로 내보냈습니다.

평가셋	CER	FRR@τ0.35	FA/h@τ0.35	FRR@1FA/h	FRR@0.1FA/h
KsponSpeech eval_clean	13.8%	25.6%	0.81	23.1%	31.4%
KsponSpeech eval_other	14.7%	15.9%	2.00	35.2%	100%
FLEURS ko test	14.6%	5.9%	0.00	4.9%	4.9%
AI Hub 명령어	4.7%	6.5%	9.51	37.7%	61.3%
AI Hub 소음 명령어	7.7%	8.7%	32.48	83.0%	92.6%

CER: 스트리밍 그리디 디코딩, 음절 단위, 공백 무시.
KWS: 평가셋마다 자주 나오는 3음절 이상 명사 20개를 키워드로 썼습니다(icefall 방식).
- FRR은 놓친 양성 비율, FA/h는 키워드가 없는 음성 1시간당 오탐 수입니다.
- FRR@1FA/h는 오탐이 시간당 1회 이하가 되는 가장 낮은 문턱값에서의 FRR입니다.
AI Hub 평가셋: 두 세트 모두 검증 세트에서 3,000개 발화를 뽑았습니다.
- 명령어 평가셋은 학습과 겹치지 않는 화자만 썼습니다.
- 평가 문장과 같은 문장의 발화는 학습 데이터에서 모두 뺐습니다.
오탐 평가 음성이 1~3.5시간뿐이라 FRR@1FA/h와 FRR@0.1FA/h는 오탐 한두 건에 크게 흔들립니다. τ0.35 수치를 함께 보세요.

소음 환경의 오탐이 많습니다. τ0.35에서 시간당 32회입니다. 실제 서비스에서는 문턱값을 올리거나 2단계 검증을 두는 것이 좋습니다.
학습 데이터의 이름 표현에 끌립니다. 명령어 대본에 예시 이름으로 자주 나오는 "홍길동"이 무관한 발화에서 검출되는 경우가 있습니다.
발음이 비슷한 단어를 헷갈립니다. "도서 반납"을 "도서관"으로, "지하 일 층"을 "지하철"로 잡는 경우가 있습니다.
표기가 다르면 다른 키워드로 봅니다. "티비"와 "티브이"는 따로 등록해야 합니다.
숫자와 영문은 학습 전사에서 뺐습니다. 숫자는 "삼 층"처럼 한글로 적은 키워드를 쓰세요.

항목	값
구조	인코더 6스택 × 2층, dim 128, feedforward 192 / 디코더·조이너 192
파라미터	6.61M (학습 전용 층 포함)
데이터	5,559시간, 4,189,980개 발화
증강	MUSAN CutMix(p=0.5, SNR 10~20 dB), SpecAugment
학습	12 epoch, fp16, RTX 5090 1장, epoch당 약 1시간 45분
모델 선택	KsponSpeech dev CER로 epoch 12(평균 1) 선택

자세한 데이터 처리와 재현 방법은 학습 코드 저장소의 README에 있습니다.

모델과 예제 코드는 Apache License 2.0으로 배포합니다.
학습 데이터는 포함하지 않습니다. 학습에는 AI Hub 데이터(KsponSpeech 포함), Zeroth-Korean, FLEURS를 썼습니다.
학습 코드는 icefall(Apache 2.0) 레시피를 바탕으로 합니다.
test_wavs/의 음성은 FLEURS(CC BY 4.0) ko_kr test 세트에서 가져왔습니다.

Downloads last month: -; Downloads are not tracked for this model. How to track

Inference Providers NEW

This model isn't deployed by any Inference Provider. 🙋 Ask for provider support