ryusei-46's picture
端末の検証ページ(tiny・A・B の比較、長時間、Wake Lock、結果の JSON)を追加
3ec1ed2 verified
Raw History Blame Contribute Delete
2.4 kB
// 文字の後始末と簡易 WER。正規化は 11-10・11-11 の採点(Whisper の BasicTextNormalizer、発音区別符号は残す)の写し:
// 小文字 → [..] <..> と (..) を消す → NFKC → 記号・句読点・結合文字(Unicode の M・S・P)を空白に → 空白をまとめる。
export function normalize(s) {
let t = (s ?? "").replace(/<[a-z]{2}-[A-Z]{2}>/g, "").toLowerCase();
t = t.replace(/[<[][^>\]]*[>\]]/g, "");
t = t.replace(/\(([^)]+?)\)/g, "");
t = t.normalize("NFKC").replace(/[\p{M}\p{S}\p{P}]/gu, " ").toLowerCase();
return t.replace(/\s+/g, " ").trim();
}
/** 語の編集距離(置換・削除・挿入の数)と正解の語数。 */
export function wordErrors(ref, hyp) {
const r = normalize(ref).split(" ").filter(Boolean);
const h = normalize(hyp).split(" ").filter(Boolean);
if (r.length === 0) return { errors: 0, words: 0 };
let prev = new Int32Array(h.length + 1);
let cur = new Int32Array(h.length + 1);
for (let j = 0; j <= h.length; j++) prev[j] = j;
for (let i = 1; i <= r.length; i++) {
cur[0] = i;
for (let j = 1; j <= h.length; j++) {
const sub = prev[j - 1] + (r[i - 1] === h[j - 1] ? 0 : 1);
cur[j] = Math.min(sub, prev[j] + 1, cur[j - 1] + 1);
}
[prev, cur] = [cur, prev];
}
return { errors: prev[h.length], words: r.length };
}
/**
* SentencePiece の片を文字にする("▁" は空白、"<0xNN>" は 1 バイト)。空白は onnx-asr と同じ規則で整える
* (`\A\s|\s\B|(\s)\b`: 先頭の空白と、語の文字が続かない空白(句読点の前の "▁," など)を消す)。
*/
const utf8 = new TextEncoder();
export function detokenize(pieces) {
const bytes = [];
for (const p of pieces) {
const m = /^<0x([0-9A-Fa-f]{2})>$/.exec(p);
if (m) bytes.push(Number.parseInt(m[1], 16));
else for (const b of utf8.encode(p.replaceAll("▁", " "))) bytes.push(b);
}
const s = new TextDecoder().decode(new Uint8Array(bytes));
return s.replace(/^\s/u, "").replace(/\s(?![\p{L}\p{N}_])/gu, "").replace(/\s/gu, " ");
}
/** onnx-asr の配置の vocab.txt("片 id" の行)を id 順の配列にする。 */
export function parseVocab(text) {
const out = [];
for (const line of text.split(/\r?\n/)) {
const i = line.lastIndexOf(" ");
if (i > 0) out[Number(line.slice(i + 1))] = line.slice(0, i);
}
return out;
}