Darayut commited on
Commit
e2525c9
·
verified ·
1 Parent(s): 1a193bb

Release pruned (80% sparsity) Khmer + English omniASR CTC model

Browse files
README.md ADDED
@@ -0,0 +1,94 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - km
5
+ - en
6
+ library_name: pytorch
7
+ pipeline_tag: automatic-speech-recognition
8
+ tags:
9
+ - omnilingual-asr
10
+ - ctc
11
+ - wav2vec2
12
+ - structured-pruning
13
+ - khmer
14
+ ---
15
+
16
+ # sota-base
17
+
18
+ A **73M-parameter** Khmer + English CTC speech recogniser, made by structured pruning of
19
+ Meta's Omnilingual ASR `omniASR_CTC_300M` to **80% encoder sparsity**. It is the Base size of a pair,
20
+ named after DiariZen's Base-s80 / Large-s80 pruned WavLM models. The other size is
21
+ [Darayut/sota-large](https://huggingface.co/Darayut/sota-large).
22
+
23
+ ## Results
24
+
25
+ Test sets; greedy CTC decoding, no language model. CER for Khmer, WER for English, in %. Lower is better.
26
+
27
+ | Model | Params | GMAC / s audio | DDD-Test (km) | FLEURS-km | FLEURS-en | LibriSpeech test-clean | LibriSpeech test-other |
28
+ |---|---|---|---|---|---|---|---|
29
+ | `omniASR_CTC_300M` (stock) | 325M | 18.3 | 9.65 | 16.26 | – | 6.53 | 14.45 |
30
+ | [omniASR-CTC-300M-km-en](https://huggingface.co/Darayut/omniASR-CTC-300M-km-en) (fine-tuned teacher) | 325M | 18.3 | 3.68 | 12.64 | 19.51 | 5.89 | 13.86 |
31
+ | **sota-base** | **73M** | **5.8** | **2.60** | **16.39** | **30.24** | **11.15** | **27.36** |
32
+
33
+ - **Khmer:** on DDD-Test it is more accurate than both its unpruned fine-tuned teacher and the stock model.
34
+ - **English:** it keeps much less of its teacher's accuracy, with about 1.5–2× the teacher's WER.
35
+ - **In-domain test sets:** FLEURS-km and FLEURS-en train are in the training mix, so their test sets are in-domain.
36
+
37
+ ## Architecture
38
+
39
+ - **Base:** a wav2vec2-style CTC encoder with Omnilingual's 9,812-entry character vocabulary, which covers Khmer and Latin script.
40
+ - **Pruned parts:** per-layer attention heads and FFN units, so every layer has its own width. `config.json` lists the exact `num_heads` and `ffn_dims`; the encoder has 63M parameters.
41
+ - **Unchanged parts:** the CNN feature extractor and the output layer.
42
+ - **Loading:** the layer widths are non-uniform, so fairseq2 / `omnilingual-asr` cannot load it. Use the bundled `omniprune` code.
43
+
44
+ ## How it was made
45
+
46
+ The recipe follows *Fine-tune Before Structured Pruning* (arXiv 2505.24111), with the pruning method of
47
+ DPHuBERT (arXiv 2305.17651) as used in DiariZen.
48
+
49
+ 1. **Fine-tune.** Train `omniASR_CTC_300M` with CTC on the training mix. The result is the teacher, [omniASR-CTC-300M-km-en](https://huggingface.co/Darayut/omniASR-CTC-300M-km-en).
50
+ 2. **Prune** (12k steps). Hard Concrete L0 gates sit on the attention heads and FFN units. An augmented-Lagrangian constraint ramps the target sparsity to 80%. The pruned model is distilled to the teacher with an L1 − cosine loss on hidden states at layers 6, 12, 18 and 24.
51
+ 3. **Cut.** Remove the pruned units for good.
52
+ 4. **Distil** (5k steps). Keep the mask frozen and continue the layer distillation.
53
+ 5. **Recover** (16k steps). Train with CTC plus a frame-level KL divergence to the teacher's output distribution (temperature 1, weight 1).
54
+
55
+ **Training mix**, 50/50 by language:
56
+ - Khmer: DDD train and FLEURS-km train.
57
+ - English: LibriSpeech train-clean-100 + 360 and FLEURS-en train.
58
+ - FLEURS is fixed at 20% of each language's audio.
59
+
60
+ ## Usage
61
+
62
+ ```bash
63
+ huggingface-cli download Darayut/sota-base --local-dir sota-base
64
+ pip install torch torchaudio soundfile safetensors
65
+ python sota-base/inference.py audio.wav
66
+ ```
67
+
68
+ ```python
69
+ import sys; sys.path.insert(0, "sota-base")
70
+ from inference import load, transcribe
71
+
72
+ model, vocab = load("sota-base", device="cuda")
73
+ print(transcribe(model, vocab, ["audio.wav"]))
74
+ ```
75
+
76
+ Audio of any sample rate is accepted; it is mixed to mono and resampled to 16 kHz. Output text is in the
77
+ Omnilingual character set: lowercase, with no Khmer punctuation.
78
+
79
+ ## Files
80
+
81
+ | File | Contents |
82
+ |---|---|
83
+ | `model.safetensors` | weights |
84
+ | `config.json` | architecture, including per-layer `num_heads` and `ffn_dims` |
85
+ | `vocab.json` | the Omnilingual character vocabulary, in id order |
86
+ | `omniprune/` | model and text code (`model.py`, `hardconcrete.py`, `text.py`) |
87
+ | `inference.py` | load and transcribe |
88
+
89
+ The released files reproduce the training checkpoint's logits exactly: the maximum difference is 0.
90
+
91
+ ## License and attribution
92
+
93
+ - **Weights:** derived from Meta's Omnilingual ASR `omniASR_CTC_300M` (Apache 2.0) and released under Apache 2.0.
94
+ - **`omniprune/hardconcrete.py`:** ported from DiariZen (MIT), itself derived from DPHuBERT and FLOP.
config.json ADDED
@@ -0,0 +1,105 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "conv_layers": [
3
+ [
4
+ 512,
5
+ 10,
6
+ 5
7
+ ],
8
+ [
9
+ 512,
10
+ 3,
11
+ 2
12
+ ],
13
+ [
14
+ 512,
15
+ 3,
16
+ 2
17
+ ],
18
+ [
19
+ 512,
20
+ 3,
21
+ 2
22
+ ],
23
+ [
24
+ 512,
25
+ 3,
26
+ 2
27
+ ],
28
+ [
29
+ 512,
30
+ 2,
31
+ 2
32
+ ],
33
+ [
34
+ 512,
35
+ 2,
36
+ 2
37
+ ]
38
+ ],
39
+ "num_heads": [
40
+ 2,
41
+ 5,
42
+ 4,
43
+ 5,
44
+ 3,
45
+ 10,
46
+ 8,
47
+ 4,
48
+ 1,
49
+ 3,
50
+ 9,
51
+ 5,
52
+ 1,
53
+ 4,
54
+ 5,
55
+ 8,
56
+ 5,
57
+ 11,
58
+ 2,
59
+ 3,
60
+ 0,
61
+ 0,
62
+ 0,
63
+ 0
64
+ ],
65
+ "ffn_dims": [
66
+ 506,
67
+ 326,
68
+ 309,
69
+ 362,
70
+ 554,
71
+ 1112,
72
+ 114,
73
+ 148,
74
+ 266,
75
+ 481,
76
+ 991,
77
+ 1713,
78
+ 106,
79
+ 132,
80
+ 218,
81
+ 300,
82
+ 649,
83
+ 2117,
84
+ 64,
85
+ 159,
86
+ 132,
87
+ 202,
88
+ 270,
89
+ 432
90
+ ],
91
+ "model_dim": 1024,
92
+ "head_dim": 64,
93
+ "pos_conv_kernel": 128,
94
+ "pos_conv_groups": 16,
95
+ "vocab_size": 9812,
96
+ "ffn_dropout": 0.1,
97
+ "attn_dropout": 0.0,
98
+ "layerdrop": 0.05,
99
+ "feature_grad_scale": 0.1,
100
+ "prune_conv": false,
101
+ "prune_heads": false,
102
+ "prune_interm": false,
103
+ "prune_attn_layer": false,
104
+ "prune_ffn_layer": false
105
+ }
inference.py ADDED
@@ -0,0 +1,61 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ """Transcribe audio files with a pruned omniASR CTC model (greedy CTC, no language model).
2
+
3
+ python inference.py audio1.wav [audio2.flac ...] [--model-dir .] [--device cuda]
4
+ """
5
+
6
+ from __future__ import annotations
7
+
8
+ import argparse
9
+ import json
10
+ from pathlib import Path
11
+
12
+ import soundfile as sf
13
+ import torch
14
+ import torchaudio.functional as AF
15
+ from safetensors.torch import load_file
16
+
17
+ from omniprune.model import ArchConfig, PrunableCTC, normalize_audio_
18
+ from omniprune.text import CharVocab
19
+
20
+
21
+ def load(model_dir: str | Path = ".", device: str = "cpu") -> tuple[PrunableCTC, CharVocab]:
22
+ d = Path(model_dir)
23
+ model = PrunableCTC(ArchConfig.from_dict(json.loads((d / "config.json").read_text())))
24
+ model.load_state_dict(load_file(str(d / "model.safetensors")))
25
+ return model.eval().to(device), CharVocab.load(d / "vocab.json")
26
+
27
+
28
+ def read_audio(path: str) -> torch.Tensor:
29
+ wav, sr = sf.read(path, dtype="float32", always_2d=True)
30
+ wav = torch.from_numpy(wav).mean(1)
31
+ return AF.resample(wav, sr, 16000) if sr != 16000 else wav
32
+
33
+
34
+ @torch.no_grad()
35
+ def transcribe(model: PrunableCTC, vocab: CharVocab, paths: list[str]) -> list[str]:
36
+ device = next(model.parameters()).device
37
+ out = []
38
+ for p in paths:
39
+ wav = read_audio(p)[None].to(device)
40
+ lens = torch.tensor([wav.shape[1]], device=device)
41
+ normalize_audio_(wav, lens)
42
+ with torch.autocast(device.type, dtype=torch.bfloat16, enabled=device.type == "cuda"):
43
+ res = model(wav, lens)
44
+ ids = res["logits"][0, : int(res["frame_lens"][0])].argmax(-1)
45
+ out.append(vocab.greedy(ids.tolist()))
46
+ return out
47
+
48
+
49
+ def main() -> None:
50
+ ap = argparse.ArgumentParser()
51
+ ap.add_argument("audio", nargs="+")
52
+ ap.add_argument("--model-dir", default=str(Path(__file__).parent))
53
+ ap.add_argument("--device", default="cuda" if torch.cuda.is_available() else "cpu")
54
+ args = ap.parse_args()
55
+ model, vocab = load(args.model_dir, args.device)
56
+ for p, text in zip(args.audio, transcribe(model, vocab, args.audio)):
57
+ print(f"{p}\t{text}")
58
+
59
+
60
+ if __name__ == "__main__":
61
+ main()
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b7b12a6f9f1b33f633043c45c61678f3a4f1de377e5e3929f15208509f6063e1
3
+ size 291804460
omniprune/__init__.py ADDED
@@ -0,0 +1 @@
 
 
1
+ """Model and text code from omni-prune, the pruning project these weights come from."""
omniprune/hardconcrete.py ADDED
@@ -0,0 +1,95 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ """Hard Concrete gates for L0 structured pruning.
2
+
3
+ Ported from DiariZen (``diarizen/models/module/wav2vec2/hardconcrete.py``, MIT,
4
+ Jiangyu Han / BUT), itself from DPHuBERT and FLOP (asappresearch/flop). One change:
5
+ a sampled mask can be *pinned* for the duration of a forward pass. With
6
+ per-layer gradient checkpointing a layer's forward runs twice (once for real,
7
+ once to recompute activations during backward); sampling inside the layer would
8
+ draw a different mask the second time and silently corrupt the gradients. The
9
+ model therefore samples every gate once, before the forward pass, outside any
10
+ checkpointed region, and each layer reads the pinned tensor.
11
+ """
12
+
13
+ from __future__ import annotations
14
+
15
+ import math
16
+
17
+ import torch
18
+ import torch.nn as nn
19
+
20
+
21
+ class HardConcrete(nn.Module):
22
+ """A vector of ``n_in`` stochastic gates in [0, 1] with a closed-form expected L0 norm.
23
+
24
+ Training: gates are sampled with the reparameterisation trick, so exact zeros
25
+ and ones have non-zero probability and ``log_alpha`` gets gradients.
26
+ Eval: a deterministic mask keeps the ``round(E[L0])`` largest soft values.
27
+ """
28
+
29
+ def __init__(
30
+ self,
31
+ n_in: int,
32
+ init_mean: float = 0.5,
33
+ init_std: float = 0.01,
34
+ temperature: float = 2 / 3,
35
+ limit_l: float = -0.1,
36
+ limit_r: float = 1.1,
37
+ eps: float = 1e-6,
38
+ ) -> None:
39
+ super().__init__()
40
+ self.n_in = n_in
41
+ self.limit_l = limit_l
42
+ self.limit_r = limit_r
43
+ self.beta = temperature
44
+ self.init_mean = init_mean
45
+ self.init_std = init_std
46
+ self.eps = eps
47
+ self.bias = -self.beta * math.log(-self.limit_l / self.limit_r)
48
+ self.log_alpha = nn.Parameter(torch.zeros(n_in))
49
+ self.compiled_mask: torch.Tensor | None = None
50
+ self.pinned: torch.Tensor | None = None
51
+ self.reset_parameters()
52
+
53
+ def reset_parameters(self) -> None:
54
+ self.compiled_mask = None
55
+ # init_mean is the initial *drop* rate: 0.01 starts with nearly every unit kept.
56
+ mean = math.log(1 - self.init_mean) - math.log(self.init_mean)
57
+ self.log_alpha.data.normal_(mean, self.init_std)
58
+
59
+ def l0_norm(self) -> torch.Tensor:
60
+ """Expected number of non-zero gates (differentiable in ``log_alpha``)."""
61
+ return (self.log_alpha + self.bias).sigmoid().sum()
62
+
63
+ def count(self, mode: str = "expected") -> torch.Tensor | int:
64
+ """Number of kept units: ``expected`` (E[L0], differentiable), ``deterministic``
65
+ (non-zeros of the eval-time mask) or ``full`` (all of them)."""
66
+ if mode == "expected":
67
+ return self.l0_norm()
68
+ if mode == "full":
69
+ return self.n_in
70
+ if mode == "deterministic":
71
+ return self.n_in - round(self.n_in - self.l0_norm().item())
72
+ raise ValueError(mode)
73
+
74
+ def sample(self) -> torch.Tensor:
75
+ if self.training:
76
+ self.compiled_mask = None
77
+ u = self.log_alpha.new_empty(self.n_in).uniform_(self.eps, 1 - self.eps)
78
+ s = torch.sigmoid((torch.log(u / (1 - u)) + self.log_alpha) / self.beta)
79
+ s = s * (self.limit_r - self.limit_l) + self.limit_l
80
+ return s.clamp(min=0.0, max=1.0)
81
+ if self.compiled_mask is None:
82
+ num_zeros = round(self.n_in - self.l0_norm().item())
83
+ # Expected value of each gate, with DPHuBERT's empirically chosen 0.8.
84
+ soft = torch.sigmoid(self.log_alpha.detach() / self.beta * 0.8)
85
+ if num_zeros > 0:
86
+ _, idx = torch.topk(soft, k=num_zeros, largest=False)
87
+ soft[idx] = 0.0
88
+ self.compiled_mask = soft
89
+ return self.compiled_mask
90
+
91
+ def forward(self) -> torch.Tensor:
92
+ return self.pinned if self.pinned is not None else self.sample()
93
+
94
+ def extra_repr(self) -> str:
95
+ return f"n_in={self.n_in}"
omniprune/model.py ADDED
@@ -0,0 +1,554 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ """Prunable wav2vec2 CTC model with the layout of fairseq2's Omnilingual CTC models.
2
+
3
+ The module tree and parameter names mirror ``fairseq2``'s ``Wav2Vec2AsrModel``
4
+ (``encoder_frontend.feature_extractor.layers.N.conv``, ``encoder.layers.N.self_attn.q_proj``,
5
+ ``final_proj``, ...), so an ``omniASR_CTC_*`` checkpoint loads with a near-identity key
6
+ map (``omniprune.convert``) and the forward pass matches fairseq2's frame for frame:
7
+ pre-LN transformer layers, a final encoder LayerNorm, a weight-normed convolutional
8
+ position encoder, and no frontend LayerNorm.
9
+
10
+ Structured pruning follows DPHuBERT / DiariZen (Peng et al. 2023; Han et al. 2025):
11
+ Hard Concrete gates on
12
+ * conv feature-extractor output channels (``prune_conv``)
13
+ * attention heads (``prune_heads``)
14
+ * FFN intermediate units (``prune_interm``)
15
+ * whole attention / FFN sub-layers (``prune_attn_layer`` / ``prune_ffn_layer``, off by default)
16
+ ``num_params()`` is the expected L0 parameter count, differentiable in the gates, which
17
+ the trainer pushes toward the target sparsity with an augmented Lagrangian. ``prune()``
18
+ folds the deterministic gates into the weights, removes the zeroed structures, and
19
+ returns the smaller architecture, which this same class builds and runs.
20
+
21
+ The model dimension (1280 for the 1B) is never pruned, so the CTC head keeps its shape.
22
+ """
23
+
24
+ from __future__ import annotations
25
+
26
+ from dataclasses import asdict, dataclass, field
27
+ from typing import Iterator
28
+
29
+ import torch
30
+ import torch.nn as nn
31
+ import torch.nn.functional as F
32
+ from torch.utils.checkpoint import checkpoint
33
+
34
+ from .hardconcrete import HardConcrete
35
+
36
+ SAMPLE_RATE = 16_000
37
+
38
+
39
+ @dataclass
40
+ class ArchConfig:
41
+ """Everything needed to build the model. Pruning only changes the per-layer sizes."""
42
+
43
+ conv_layers: list[tuple[int, int, int]] # (out_channels, kernel, stride)
44
+ num_heads: list[int] # per encoder layer; 0 = attention removed
45
+ ffn_dims: list[int] # per encoder layer; 0 = FFN removed
46
+ model_dim: int = 1280
47
+ head_dim: int = 80
48
+ pos_conv_kernel: int = 128
49
+ pos_conv_groups: int = 16
50
+ vocab_size: int = 9812
51
+ # Training-time behaviour (not architecture): kept here so a checkpoint rebuilds identically.
52
+ ffn_dropout: float = 0.0
53
+ attn_dropout: float = 0.0
54
+ layerdrop: float = 0.0
55
+ feature_grad_scale: float = 0.1 # fairseq2's wav2vec2 default
56
+ # Which gates exist.
57
+ prune_conv: bool = False
58
+ prune_heads: bool = False
59
+ prune_interm: bool = False
60
+ prune_attn_layer: bool = False
61
+ prune_ffn_layer: bool = False
62
+
63
+ @property
64
+ def num_layers(self) -> int:
65
+ return len(self.num_heads)
66
+
67
+ def to_dict(self) -> dict:
68
+ return asdict(self)
69
+
70
+ @classmethod
71
+ def from_dict(cls, d: dict) -> ArchConfig:
72
+ d = dict(d)
73
+ d["conv_layers"] = [tuple(x) for x in d["conv_layers"]]
74
+ return cls(**d)
75
+
76
+ def with_pruning(self, units: str) -> ArchConfig:
77
+ """Copy with gates for ``units`` (comma list of conv, head, interm, attlayer, ffnlayer)."""
78
+ names = {u.strip() for u in units.split(",") if u.strip()}
79
+ unknown = names - {"conv", "head", "interm", "attlayer", "ffnlayer"}
80
+ if unknown:
81
+ raise ValueError(f"unknown pruning units: {sorted(unknown)}")
82
+ d = self.to_dict()
83
+ d.update(
84
+ prune_conv="conv" in names,
85
+ prune_heads="head" in names,
86
+ prune_interm="interm" in names,
87
+ prune_attn_layer="attlayer" in names,
88
+ prune_ffn_layer="ffnlayer" in names,
89
+ )
90
+ return ArchConfig.from_dict(d)
91
+
92
+
93
+ def omni_ctc_1b_config(vocab_size: int = 9812) -> ArchConfig:
94
+ """omniASR_CTC_1B: xlsr-style 7-layer conv frontend, 48 x (1280, 16 heads, 5120 FFN)."""
95
+ return ArchConfig(
96
+ conv_layers=[(512, 10, 5)] + [(512, 3, 2)] * 4 + [(512, 2, 2)] * 2,
97
+ num_heads=[16] * 48,
98
+ ffn_dims=[5120] * 48,
99
+ model_dim=1280,
100
+ head_dim=80,
101
+ vocab_size=vocab_size,
102
+ )
103
+
104
+
105
+ class _GradScale(torch.autograd.Function):
106
+ @staticmethod
107
+ def forward(ctx, x, scale): # noqa: ANN001
108
+ ctx.scale = scale
109
+ return x.view_as(x)
110
+
111
+ @staticmethod
112
+ def backward(ctx, grad): # noqa: ANN001
113
+ return grad * ctx.scale, None
114
+
115
+
116
+ # --------------------------------------------------------------------------- frontend
117
+
118
+
119
+ class ConvLayer(nn.Module):
120
+ """conv -> LayerNorm over channels -> GELU (fairseq2 ``Wav2Vec2FeatureExtractionLayer``)."""
121
+
122
+ def __init__(self, in_ch: int, out_ch: int, kernel: int, stride: int, gate: bool) -> None:
123
+ super().__init__()
124
+ self.kernel, self.stride = kernel, stride
125
+ self.conv = nn.Conv1d(in_ch, out_ch, kernel, stride=stride, bias=True)
126
+ self.layer_norm = nn.LayerNorm(out_ch)
127
+ self.hard_concrete = HardConcrete(out_ch, init_mean=0.01) if gate else None
128
+
129
+ def forward(self, x: torch.Tensor) -> torch.Tensor:
130
+ x = self.conv(x)
131
+ x = self.layer_norm(x.transpose(1, 2)).transpose(1, 2)
132
+ x = F.gelu(x)
133
+ if self.hard_concrete is not None:
134
+ x = x * self.hard_concrete().to(x.dtype).unsqueeze(-1)
135
+ return x
136
+
137
+ def out_channels(self, mode: str = "expected") -> torch.Tensor | int:
138
+ return self.hard_concrete.count(mode) if self.hard_concrete is not None else self.conv.out_channels
139
+
140
+
141
+ class FeatureExtractor(nn.Module):
142
+ def __init__(self, conv_layers: list[tuple[int, int, int]], gate: bool) -> None:
143
+ super().__init__()
144
+ layers, in_ch = [], 1
145
+ for out_ch, k, s in conv_layers:
146
+ layers.append(ConvLayer(in_ch, out_ch, k, s, gate))
147
+ in_ch = out_ch
148
+ self.layers = nn.ModuleList(layers)
149
+ # Soft gate values of the last conv layer, folded in by prune(): the next op is a
150
+ # LayerNorm over channels, which a per-channel scale does not commute with.
151
+ self.register_buffer("out_scale", torch.ones(in_ch), persistent=True)
152
+
153
+ def forward(self, wav: torch.Tensor) -> torch.Tensor:
154
+ x = wav.unsqueeze(1)
155
+ for layer in self.layers:
156
+ x = layer(x)
157
+ return x.transpose(1, 2) * self.out_scale.to(x.dtype) # (N, T, C)
158
+
159
+ def frame_lengths(self, lengths: torch.Tensor) -> torch.Tensor:
160
+ for layer in self.layers:
161
+ lengths = torch.div(lengths - layer.kernel, layer.stride, rounding_mode="floor") + 1
162
+ lengths = lengths.clamp(min=0)
163
+ return lengths
164
+
165
+
166
+ class Frontend(nn.Module):
167
+ def __init__(self, cfg: ArchConfig) -> None:
168
+ super().__init__()
169
+ c_last = cfg.conv_layers[-1][0]
170
+ self.feature_extractor = FeatureExtractor(cfg.conv_layers, cfg.prune_conv)
171
+ self.post_extract_layer_norm = nn.LayerNorm(c_last)
172
+ self.model_dim_proj = nn.Linear(c_last, cfg.model_dim)
173
+ conv = nn.Conv1d(
174
+ cfg.model_dim, cfg.model_dim, cfg.pos_conv_kernel,
175
+ padding=cfg.pos_conv_kernel // 2, groups=cfg.pos_conv_groups,
176
+ )
177
+ self.pos_conv = nn.utils.parametrizations.weight_norm(conv, name="weight", dim=2)
178
+ self.remove_pad = cfg.pos_conv_kernel % 2 == 0
179
+ self.grad_scale = cfg.feature_grad_scale
180
+ # Run by PrunableCTC.forward in two halves (conv stack, then the rest), since the
181
+ # padding mask is only known once the conv stack has fixed the frame count.
182
+
183
+
184
+ # --------------------------------------------------------------------------- encoder
185
+
186
+
187
+ class SelfAttention(nn.Module):
188
+ def __init__(self, cfg: ArchConfig, num_heads: int) -> None:
189
+ super().__init__()
190
+ d, hd = cfg.model_dim, cfg.head_dim
191
+ self.num_heads, self.head_dim, self.model_dim = num_heads, hd, d
192
+ self.q_proj = nn.Linear(d, num_heads * hd)
193
+ self.k_proj = nn.Linear(d, num_heads * hd)
194
+ self.v_proj = nn.Linear(d, num_heads * hd)
195
+ self.output_proj = nn.Linear(num_heads * hd, d)
196
+ self.dropout_p = cfg.attn_dropout
197
+ self.hard_concrete_for_heads = HardConcrete(num_heads, init_mean=0.01) if cfg.prune_heads else None
198
+ self.hard_concrete_for_layer = HardConcrete(1, init_mean=0.01) if cfg.prune_attn_layer else None
199
+
200
+ def forward(self, x: torch.Tensor, attn_mask: torch.Tensor | None) -> torch.Tensor:
201
+ n, t, _ = x.shape
202
+ shape = (n, t, self.num_heads, self.head_dim)
203
+ q = self.q_proj(x).view(shape).transpose(1, 2)
204
+ k = self.k_proj(x).view(shape).transpose(1, 2)
205
+ v = self.v_proj(x).view(shape).transpose(1, 2)
206
+ out = F.scaled_dot_product_attention(
207
+ q, k, v, attn_mask=attn_mask, dropout_p=self.dropout_p if self.training else 0.0
208
+ ) # (N, H, T, hd)
209
+ if self.hard_concrete_for_heads is not None:
210
+ out = out * self.hard_concrete_for_heads().to(out.dtype).view(1, -1, 1, 1)
211
+ out = self.output_proj(out.transpose(1, 2).reshape(n, t, -1))
212
+ if self.hard_concrete_for_layer is not None:
213
+ out = out * self.hard_concrete_for_layer().to(out.dtype)
214
+ return out
215
+
216
+ def num_params(self, mode: str = "expected") -> torch.Tensor | float:
217
+ h = self.hard_concrete_for_heads.count(mode) if self.hard_concrete_for_heads is not None else self.num_heads
218
+ p = (self.model_dim + 1) * h * self.head_dim * 3 + h * self.head_dim * self.model_dim
219
+ if self.hard_concrete_for_layer is not None:
220
+ p = p * self.hard_concrete_for_layer.count(mode)
221
+ return p + self.model_dim # output bias: kept even when the block is pruned away
222
+
223
+
224
+ class FeedForward(nn.Module):
225
+ def __init__(self, cfg: ArchConfig, dim: int) -> None:
226
+ super().__init__()
227
+ self.model_dim = cfg.model_dim
228
+ self.inner_proj = nn.Linear(cfg.model_dim, dim)
229
+ self.output_proj = nn.Linear(dim, cfg.model_dim)
230
+ self.dropout = nn.Dropout(cfg.ffn_dropout)
231
+ self.hard_concrete_for_intermediate = HardConcrete(dim, init_mean=0.5) if cfg.prune_interm else None
232
+ self.hard_concrete_for_layer = HardConcrete(1, init_mean=0.01) if cfg.prune_ffn_layer else None
233
+
234
+ def forward(self, x: torch.Tensor) -> torch.Tensor:
235
+ x = self.dropout(F.gelu(self.inner_proj(x)))
236
+ if self.hard_concrete_for_intermediate is not None:
237
+ x = x * self.hard_concrete_for_intermediate().to(x.dtype)
238
+ x = self.output_proj(x)
239
+ if self.hard_concrete_for_layer is not None:
240
+ x = x * self.hard_concrete_for_layer().to(x.dtype)
241
+ return x
242
+
243
+ def num_params(self, mode: str = "expected") -> torch.Tensor | float:
244
+ f = (
245
+ self.hard_concrete_for_intermediate.count(mode)
246
+ if self.hard_concrete_for_intermediate is not None
247
+ else self.inner_proj.out_features
248
+ )
249
+ p = (self.model_dim + 1) * f + f * self.model_dim
250
+ if self.hard_concrete_for_layer is not None:
251
+ p = p * self.hard_concrete_for_layer.count(mode)
252
+ return p + self.model_dim # output bias: kept even when the block is pruned away
253
+
254
+
255
+ class EncoderLayer(nn.Module):
256
+ """Pre-LN: x + attn(LN(x)), then x + ffn(LN(x)). Either half may be pruned away."""
257
+
258
+ def __init__(self, cfg: ArchConfig, num_heads: int, ffn_dim: int) -> None:
259
+ super().__init__()
260
+ d = cfg.model_dim
261
+ self.self_attn_layer_norm = nn.LayerNorm(d)
262
+ self.self_attn = SelfAttention(cfg, num_heads) if num_heads > 0 else None
263
+ self.ffn_layer_norm = nn.LayerNorm(d)
264
+ self.ffn = FeedForward(cfg, ffn_dim) if ffn_dim > 0 else None
265
+ # A half pruned to zero units still adds its output projection's bias to the residual
266
+ # stream (output_proj(0) = bias), so prune() keeps that bias here to stay exact.
267
+ self.attn_bias = nn.Parameter(torch.zeros(d)) if num_heads == 0 else None
268
+ self.ffn_bias = nn.Parameter(torch.zeros(d)) if ffn_dim == 0 else None
269
+
270
+ def forward(self, x: torch.Tensor, attn_mask: torch.Tensor | None) -> torch.Tensor:
271
+ if self.self_attn is not None:
272
+ x = x + self.self_attn(self.self_attn_layer_norm(x), attn_mask)
273
+ elif self.attn_bias is not None:
274
+ x = x + self.attn_bias.to(x.dtype)
275
+ if self.ffn is not None:
276
+ x = x + self.ffn(self.ffn_layer_norm(x))
277
+ elif self.ffn_bias is not None:
278
+ x = x + self.ffn_bias.to(x.dtype)
279
+ return x
280
+
281
+ def num_params(self, mode: str = "expected") -> torch.Tensor | float:
282
+ d = self.self_attn_layer_norm.normalized_shape[0]
283
+ p = 4 * d # two LayerNorms
284
+ if self.self_attn is not None:
285
+ p = p + self.self_attn.num_params(mode)
286
+ elif self.attn_bias is not None:
287
+ p = p + d
288
+ if self.ffn is not None:
289
+ p = p + self.ffn.num_params(mode)
290
+ elif self.ffn_bias is not None:
291
+ p = p + d
292
+ return p
293
+
294
+
295
+ class Encoder(nn.Module):
296
+ def __init__(self, cfg: ArchConfig) -> None:
297
+ super().__init__()
298
+ self.layers = nn.ModuleList(
299
+ EncoderLayer(cfg, h, f) for h, f in zip(cfg.num_heads, cfg.ffn_dims)
300
+ )
301
+ self.layer_norm = nn.LayerNorm(cfg.model_dim)
302
+
303
+
304
+ # --------------------------------------------------------------------------- model
305
+
306
+
307
+ class PrunableCTC(nn.Module):
308
+ def __init__(self, cfg: ArchConfig) -> None:
309
+ super().__init__()
310
+ self.cfg = cfg
311
+ self.encoder_frontend = Frontend(cfg)
312
+ self.encoder = Encoder(cfg)
313
+ self.final_proj = nn.Linear(cfg.model_dim, cfg.vocab_size)
314
+ self.gradient_checkpointing = False
315
+
316
+ # ---- gates
317
+
318
+ def hard_concretes(self) -> Iterator[HardConcrete]:
319
+ for m in self.modules():
320
+ if isinstance(m, HardConcrete):
321
+ yield m
322
+
323
+ def gate_parameters(self) -> list[nn.Parameter]:
324
+ return [hc.log_alpha for hc in self.hard_concretes()]
325
+
326
+ def weight_parameters(self) -> list[tuple[str, nn.Parameter]]:
327
+ return [(n, p) for n, p in self.named_parameters() if not n.endswith("log_alpha")]
328
+
329
+ def _pin_masks(self) -> None:
330
+ for hc in self.hard_concretes():
331
+ hc.pinned = None
332
+ hc.pinned = hc.sample()
333
+
334
+ # ---- size
335
+
336
+ def num_params(self, mode: str = "expected") -> torch.Tensor | float:
337
+ """Prunable-encoder parameter count (frontend + transformer; not the CTC head).
338
+
339
+ Matches DiariZen's accounting: conv layers (weights, bias, LayerNorm), the
340
+ projection into the model dimension, the position conv, every encoder layer and
341
+ the final LayerNorm. ``mode``: ``expected`` (E[L0], differentiable in the gates'
342
+ ``log_alpha``), ``deterministic`` (what ``prune()`` would keep) or ``full`` (no pruning).
343
+ """
344
+ fe = self.encoder_frontend.feature_extractor
345
+ total: torch.Tensor | float = 0
346
+ in_ch: torch.Tensor | float = 1
347
+ for layer in fe.layers:
348
+ out_ch = layer.out_channels(mode)
349
+ total = total + in_ch * out_ch * layer.kernel + out_ch * 3 # weights, bias, LN
350
+ in_ch = out_ch
351
+ fr = self.encoder_frontend
352
+ total = total + in_ch * 2 + (in_ch + 1) * fr.model_dim_proj.out_features
353
+ total = total + sum(p.numel() for p in fr.pos_conv.parameters())
354
+ for layer in self.encoder.layers:
355
+ total = total + layer.num_params(mode)
356
+ return total + 2 * self.cfg.model_dim
357
+
358
+ # ---- forward
359
+
360
+ def frame_lengths(self, audio_lens: torch.Tensor) -> torch.Tensor:
361
+ return self.encoder_frontend.feature_extractor.frame_lengths(audio_lens)
362
+
363
+ def forward(
364
+ self,
365
+ audio: torch.Tensor,
366
+ audio_lens: torch.Tensor,
367
+ hidden_layers: list[int] | None = None,
368
+ return_logits: bool = True,
369
+ ) -> dict:
370
+ """``audio`` (N, S) already normalised per utterance; returns logits and hidden states.
371
+
372
+ ``hidden_layers`` index the residual stream: 0 is the input to the first
373
+ encoder layer, i the output of layer i, and ``num_layers`` the output of the
374
+ final LayerNorm (what the CTC head reads).
375
+ """
376
+ # Gates stay pinned after forward returns: checkpointed layers recompute during
377
+ # backward and must see the same masks. The next forward re-samples them.
378
+ self._pin_masks()
379
+ frame_lens = self.frame_lengths(audio_lens)
380
+ x = self.encoder_frontend.feature_extractor(audio)
381
+ t = x.shape[1]
382
+ frame_lens = frame_lens.clamp(max=t)
383
+ pad = torch.arange(t, device=x.device)[None, :] >= frame_lens[:, None]
384
+ x = self._frontend_rest(x, pad)
385
+ attn_mask = (~pad)[:, None, None, :] if bool(pad.any()) else None
386
+ want = set(hidden_layers or [])
387
+ hiddens: dict[int, torch.Tensor] = {}
388
+ if 0 in want:
389
+ hiddens[0] = x
390
+ n_layers = len(self.encoder.layers)
391
+ for i, layer in enumerate(self.encoder.layers, start=1):
392
+ if self.training and self.cfg.layerdrop > 0 and torch.rand(()) < self.cfg.layerdrop:
393
+ pass
394
+ elif self.gradient_checkpointing and self.training:
395
+ x = checkpoint(layer, x, attn_mask, use_reentrant=False)
396
+ else:
397
+ x = layer(x, attn_mask)
398
+ if i in want and i != n_layers:
399
+ hiddens[i] = x
400
+ x = self.encoder.layer_norm(x)
401
+ if n_layers in want:
402
+ hiddens[n_layers] = x
403
+ out = {"hiddens": hiddens, "frame_lens": frame_lens}
404
+ if return_logits:
405
+ out["logits"] = self.final_proj(x)
406
+ return out
407
+
408
+ def _frontend_rest(self, x: torch.Tensor, pad: torch.Tensor) -> torch.Tensor:
409
+ fr = self.encoder_frontend
410
+ if self.training and fr.grad_scale != 1.0:
411
+ x = _GradScale.apply(x, fr.grad_scale)
412
+ x = fr.post_extract_layer_norm(x)
413
+ x = fr.model_dim_proj(x)
414
+ x = x.masked_fill(pad.unsqueeze(-1), 0.0)
415
+ enc = fr.pos_conv(x.transpose(1, 2))
416
+ if fr.remove_pad:
417
+ enc = enc[:, :, :-1]
418
+ return x + F.gelu(enc).transpose(1, 2)
419
+
420
+ # ---- pruning
421
+
422
+ @torch.no_grad()
423
+ def prune(self) -> ArchConfig:
424
+ """Fold the deterministic gates into the weights and drop zeroed structures, in place.
425
+
426
+ Returns the new (gate-free) architecture. Rebuild with ``PrunableCTC(cfg)`` and
427
+ load this model's ``state_dict()`` to get a clean module tree.
428
+ """
429
+ self.eval()
430
+ fe = self.encoder_frontend.feature_extractor
431
+ conv_cfg: list[tuple[int, int, int]] = []
432
+ last_keep = None # channels kept by the last conv layer, if it was gated
433
+ for i, layer in enumerate(fe.layers):
434
+ if layer.hard_concrete is not None:
435
+ mask = layer.hard_concrete.sample()
436
+ keep = mask.nonzero().squeeze(-1)
437
+ if len(keep) == 0:
438
+ raise RuntimeError(f"conv layer {i} pruned to zero channels")
439
+ _select(layer.conv, keep, out=True)
440
+ _select_norm(layer.layer_norm, keep)
441
+ if i + 1 < len(fe.layers):
442
+ nxt = fe.layers[i + 1].conv
443
+ nxt.weight.mul_(mask.view(1, -1, 1).to(nxt.weight.dtype))
444
+ _select(nxt, keep, out=False)
445
+ else:
446
+ fe.out_scale = (fe.out_scale * mask.to(fe.out_scale.dtype))[keep].clone()
447
+ last_keep = keep
448
+ layer.hard_concrete = None
449
+ conv_cfg.append((layer.conv.out_channels, layer.kernel, layer.stride))
450
+ if last_keep is not None:
451
+ _select_norm(self.encoder_frontend.post_extract_layer_norm, last_keep)
452
+ _select(self.encoder_frontend.model_dim_proj, last_keep, out=False)
453
+
454
+ heads, ffns = [], []
455
+ for layer in self.encoder.layers:
456
+ att = layer.self_attn
457
+ if att is not None:
458
+ if att.hard_concrete_for_layer is not None:
459
+ g = att.hard_concrete_for_layer.sample()
460
+ att.output_proj.weight.mul_(g)
461
+ att.output_proj.bias.mul_(g)
462
+ att.hard_concrete_for_layer = None
463
+ if float(g) == 0.0: # bias was scaled by g = 0 too: kept as zeros
464
+ layer.attn_bias = nn.Parameter(att.output_proj.bias.detach().clone())
465
+ layer.self_attn = att = None
466
+ if att is not None and att.hard_concrete_for_heads is not None:
467
+ hm = att.hard_concrete_for_heads.sample()
468
+ full = hm.repeat_interleave(att.head_dim)
469
+ idx = full.nonzero().squeeze(-1)
470
+ att.hard_concrete_for_heads = None
471
+ if len(idx) == 0:
472
+ layer.attn_bias = nn.Parameter(att.output_proj.bias.detach().clone())
473
+ layer.self_attn = att = None
474
+ else:
475
+ for proj in (att.q_proj, att.k_proj, att.v_proj):
476
+ _select(proj, idx, out=True)
477
+ att.output_proj.weight.mul_(full.to(att.output_proj.weight.dtype))
478
+ _select(att.output_proj, idx, out=False)
479
+ att.num_heads = len(idx) // att.head_dim
480
+ heads.append(att.num_heads if att is not None else 0)
481
+
482
+ ffn = layer.ffn
483
+ if ffn is not None:
484
+ if ffn.hard_concrete_for_layer is not None:
485
+ g = ffn.hard_concrete_for_layer.sample()
486
+ ffn.output_proj.weight.mul_(g)
487
+ ffn.output_proj.bias.mul_(g)
488
+ ffn.hard_concrete_for_layer = None
489
+ if float(g) == 0.0: # bias was scaled by g = 0 too: kept as zeros
490
+ layer.ffn_bias = nn.Parameter(ffn.output_proj.bias.detach().clone())
491
+ layer.ffn = ffn = None
492
+ if ffn is not None and ffn.hard_concrete_for_intermediate is not None:
493
+ m = ffn.hard_concrete_for_intermediate.sample()
494
+ idx = m.nonzero().squeeze(-1)
495
+ ffn.hard_concrete_for_intermediate = None
496
+ if len(idx) == 0:
497
+ layer.ffn_bias = nn.Parameter(ffn.output_proj.bias.detach().clone())
498
+ layer.ffn = ffn = None
499
+ else:
500
+ _select(ffn.inner_proj, idx, out=True)
501
+ ffn.output_proj.weight.mul_(m.to(ffn.output_proj.weight.dtype))
502
+ _select(ffn.output_proj, idx, out=False)
503
+ ffns.append(ffn.inner_proj.out_features if ffn is not None else 0)
504
+
505
+ d = self.cfg.to_dict()
506
+ d.update(
507
+ conv_layers=conv_cfg, num_heads=heads, ffn_dims=ffns,
508
+ prune_conv=False, prune_heads=False, prune_interm=False,
509
+ prune_attn_layer=False, prune_ffn_layer=False,
510
+ )
511
+ self.cfg = ArchConfig.from_dict(d)
512
+ return self.cfg
513
+
514
+
515
+ def _select(mod: nn.Conv1d | nn.Linear, idx: torch.Tensor, *, out: bool) -> None:
516
+ dim = 0 if out else 1
517
+ idx = idx.to(mod.weight.device)
518
+ mod.weight = nn.Parameter(mod.weight.index_select(dim, idx).clone())
519
+ if out and mod.bias is not None:
520
+ mod.bias = nn.Parameter(mod.bias.index_select(0, idx).clone())
521
+ if isinstance(mod, nn.Linear):
522
+ if out:
523
+ mod.out_features = len(idx)
524
+ else:
525
+ mod.in_features = len(idx)
526
+ else:
527
+ if out:
528
+ mod.out_channels = len(idx)
529
+ else:
530
+ mod.in_channels = len(idx)
531
+
532
+
533
+ def _select_norm(norm: nn.LayerNorm, idx: torch.Tensor) -> None:
534
+ idx = idx.to(norm.weight.device)
535
+ norm.weight = nn.Parameter(norm.weight.index_select(0, idx).clone())
536
+ norm.bias = nn.Parameter(norm.bias.index_select(0, idx).clone())
537
+ norm.normalized_shape = (len(idx),)
538
+
539
+
540
+ def normalize_audio_(audio: torch.Tensor, audio_lens: torch.Tensor) -> None:
541
+ """Per-utterance zero-mean / unit-variance over the valid span, in place (Omnilingual's
542
+ ``apply_audio_normalization``). Ported from streaming_asr's pipeline."""
543
+ for i, n in enumerate(audio_lens.tolist()):
544
+ seg = audio[i, :n]
545
+ std = seg.std(unbiased=False).clamp_min(1e-7)
546
+ seg.copy_((seg - seg.mean()) / std)
547
+
548
+
549
+ def load_model(path: str, map_location: str = "cpu") -> PrunableCTC:
550
+ """Build a model from a ``{"arch": ..., "model": state_dict}`` checkpoint (any stage)."""
551
+ ck = torch.load(path, map_location=map_location, weights_only=False)
552
+ model = PrunableCTC(ArchConfig.from_dict(ck["arch"]))
553
+ model.load_state_dict(ck["model"])
554
+ return model
omniprune/text.py ADDED
@@ -0,0 +1,108 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ """Text side: the Omnilingual char vocabulary, normalisation, CTC targets and greedy decoding.
2
+
3
+ ``omniASR_tokenizer`` is a character-level SentencePiece model (9,812 entries: Latin,
4
+ Khmer and ~1,600 other languages' characters). It is case-sensitive with lowercase
5
+ entries only, maps a space to its own token, and has no entry for Khmer punctuation
6
+ (``។``, ``៕``) or zero-width characters, which it turns into ``<unk>``. Omnilingual's
7
+ own training pipeline drops ``<unk>`` from targets, so this module does the same.
8
+
9
+ The vocabulary is read once from fairseq2 and kept as a plain ``{char: id}`` table:
10
+ a dict lookup per character is exactly what the char model does, and it is safe to
11
+ use in forked DataLoader workers.
12
+ """
13
+
14
+ from __future__ import annotations
15
+
16
+ import json
17
+ import re
18
+ import unicodedata
19
+ from pathlib import Path
20
+
21
+ BLANK = 0 # fairseq2's ctc_loss uses the default blank, index 0 (<s>)
22
+ SPECIAL = {0, 1, 2, 3} # <s>, <pad>, </s>, <unk>
23
+ UNK = 3
24
+ SPACE_PIECE = "▁"
25
+
26
+ _ZERO_WIDTH = re.compile("[​‌‍⁠]")
27
+ _SPACES = re.compile(r"\s+")
28
+
29
+
30
+ def normalize_text(text: str, lang: str) -> str:
31
+ """NFC, zero-width characters removed, whitespace collapsed; English lowercased."""
32
+ text = unicodedata.normalize("NFC", text)
33
+ text = _ZERO_WIDTH.sub("", text)
34
+ if lang == "en":
35
+ text = text.lower()
36
+ return _SPACES.sub(" ", text).strip()
37
+
38
+
39
+ class CharVocab:
40
+ def __init__(self, pieces: list[str]) -> None:
41
+ self.pieces = pieces
42
+ self.index = {}
43
+ for i, p in enumerate(pieces):
44
+ if i in SPECIAL:
45
+ continue
46
+ self.index.setdefault(" " if p == SPACE_PIECE else p, i)
47
+
48
+ @classmethod
49
+ def from_fairseq2(cls, card: str) -> CharVocab:
50
+ import torch
51
+ from fairseq2.data.tokenizers import load_tokenizer
52
+
53
+ tok = load_tokenizer(card)
54
+ dec = tok.create_decoder()
55
+ n = tok.vocab_info.size
56
+ pieces = []
57
+ for i in range(n):
58
+ s = dec(torch.tensor([i]))
59
+ # the decoder renders the space piece as "" (a bare word boundary)
60
+ pieces.append(SPACE_PIECE if s == "" and i not in SPECIAL else s)
61
+ return cls(pieces)
62
+
63
+ def save(self, path: Path) -> None:
64
+ path.parent.mkdir(parents=True, exist_ok=True)
65
+ path.write_text(json.dumps(self.pieces, ensure_ascii=False), encoding="utf-8")
66
+
67
+ @classmethod
68
+ def load(cls, path: Path) -> CharVocab:
69
+ return cls(json.loads(path.read_text(encoding="utf-8")))
70
+
71
+ def __len__(self) -> int:
72
+ return len(self.pieces)
73
+
74
+ def encode(self, text: str) -> tuple[list[int], int]:
75
+ """Token ids for normalised ``text`` and the number of characters dropped as unknown."""
76
+ ids, unk = [], 0
77
+ for ch in text:
78
+ i = self.index.get(ch)
79
+ if i is None:
80
+ unk += 1
81
+ else:
82
+ ids.append(i)
83
+ # dropping a character can leave double or edge spaces
84
+ out: list[int] = []
85
+ sp = self.index[" "]
86
+ for i in ids:
87
+ if i == sp and (not out or out[-1] == sp):
88
+ continue
89
+ out.append(i)
90
+ while out and out[-1] == sp:
91
+ out.pop()
92
+ return out, unk
93
+
94
+ def filter(self, text: str) -> str:
95
+ """``text`` with the characters the model cannot emit removed (reference side of CER)."""
96
+ return self.decode(self.encode(text)[0])
97
+
98
+ def decode(self, ids: list[int]) -> str:
99
+ return "".join(" " if self.pieces[i] == SPACE_PIECE else self.pieces[i] for i in ids if i not in SPECIAL)
100
+
101
+ def greedy(self, frame_ids: list[int]) -> str:
102
+ """CTC greedy decode of one utterance's per-frame argmax ids."""
103
+ out, prev = [], None
104
+ for i in frame_ids:
105
+ if i != prev and i not in SPECIAL:
106
+ out.append(i)
107
+ prev = i
108
+ return self.decode(out)
vocab.json ADDED
@@ -0,0 +1 @@
 
 
1
+ ["", "", "", " ⁇ ", " ", "ዘ", "љ", "耷", "氰", "賬", "祭", "繳", "渭", "穗", "捡", "栩", "勸", "诚", "戮", "尉", "們", "邮", "佈", "ޯ", "刻", "겔", "纪", "빠", "吠", "螺", "ῴ", "町", "淇", "0", "댄", "無", "爷", "浙", "툼", "휙", "烃", "ὶ", "扰", "騷", "检", "詳", "ឌ", "ሮ", "ჸ", "甲", "班", "嘅", "씻", "烏", "ႈ", "ゼ", "ҹ", "荐", "ღ", "თ", "傅", "ן", "ന", "岛", "疤", "浓", "ູ", "ע", "ං", "č", "杨", "嬸", "ۚ", "ज", "航", "尻", "따", "ᓵ", "损", "붐", "ሞ", "桜", "ީ", "穌", "换", "狠", "铺", "员", "喔", "綿", "샛", "듭", "ረ", "腸", "脾", "ᕒ", "휩", "១", "掷", "ṭ", "ු", "늘", "厂", "炳", "你", "贱", "鸥", "筍", "̆", "쫓", "黒", "ய", "ံ", "h", "樟", "危", "钻", "შ", "扭", "പ", "垢", "ᔔ", "ཨ", "環", "ហ", "햇", "祁", "읽", "玉", "상", "ஹ", "賑", "ю", "鞭", "엎", "奋", "宝", "粥", "튿", "帰", "ĺ", "ၽ", "哆", "র", "疾", "ଭ", "走", "즙", "౦", "ઍ", "缅", "酷", "滝", "ኖ", "ʼ", "임", "鏟", "פ", "農", "嘥", "ভ", "ন", "輕", "錐", "退", "ႆ", "ٺ", "ഞ", "拨", "罵", "탁", "咗", "兹", "吾", "ད", "습", "頼", "책", "ጰ", "멀", "飢", "童", "纹", "ἔ", "笛", "雀", "哈", "恩", "齢", "性", "吞", "悅", "쁘", "잎", "捻", "擰", "ẑ", "僧", "趒", "繼", "뿜", "ろ", "漕", "进", "绝", "鳅", "썼", "გ", "ᒼ", "餚", "헝", "呀", "髮", "៏", "焕", "ྦ", "ఖ", "瓶", "断", "扽", "춤", "ሷ", "ڦ", "悼", "닻", "湊", "軒", "奔", "픔", "났", "旯", "践", "债", "丁", "白", "굶", "認", "ኡ", "梢", "騎", "那", "실", "章", "ਅ", "榔", "怼", "动", "殿", "闇", "늙", "ḓ", "ੈ", "骸", "డ", "冚", "ῇ", "饶", "ੁ", "蕭", "蝙", "倯", "呷", "郭", "ᱶ", "蝦", "狹", "ᾷ", "ᔕ", "妊", "민", "ּ", "넣", "質", "窟", "률", "론", "龟", "ప", "贩", "绢", "崖", "ଃ", "油", "娯", "ச", "শ", "用", "鶯", "薦", "ອ", "त", "搅", "兜", "栅", "ሂ", "禧", "㶶", "٤", "泱", "●", "ө", "ࣿ", "틴", "榨", "昊", "씬", "壺", "瑩", "淑", "寸", "鸢", "웹", "엿", "絞", "薬", "ꤚ", "忙", "停", "̩", "瀾", "汰", "矯", "瀑", "霞", "竅", "గ", "ଣ", "欺", "侣", "엠", "三", "鈕", "၆", "않", "辞", "廿", "飲", "å", "믿", "圍", "畚", "밸", "松", "柽", "ǐ", "誉", "ҭ", "樊", "ゾ", "̠", "掹", "矸", "噶", "紗", "嗅", "∂", "鲡", "雅", "ۓ", "摆", "ጢ", "অ", "搏", "몰", "捐", "啖", "際", "愁", "ཽ", "许", "ੀ", "羚", "教", "剃", "ሩ", "金", "ヴ", "ᱚ", "ത", "녔", "ሠ", "フ", "隘", "체", "扑", "ḱ", "ፌ", "颁", "٦", "ᴐ", "ι", "ል", "搜", "虫", "呵", "趁", "읍", "解", "ރ", "ྩ", "৮", "艦", "工", "ఋ", "胴", "細", "湛", "长", "ཅ", "叉", "ો", "ᐤ", "絵", "璇", "울", "谦", "斜", "ế", "ī", "레", "尝", "档", "칸", "穿", "召", "ੱ", "ሌ", "汛", "爹", "駅", "ⷄ", "职", "鑫", "중", "ၜ", "捱", "瘤", "大", "啰", "这", "ɱ", "ᓂ", "燥", "鸟", "努", "열", "ƙ", "啤", "ꤞ", "酚", "高", "鼻", "姚", "ឍ", "객", "鹏", "嗌", "鋒", "搝", "磯", "罪", "リ", "萃", "胳", "ӕ", "返", "ፋ", "栎", "舉", "ભ", "胀", "까", "렙", "伊", "远", "צ", "ኤ", "闯", "맏", "ຄ", "প", "ಬ", "껏", "조", "鳄", "找", "貶", "撬", "厲", "靚", "폭", "壬", "ݺ", "簪", "刣", "ಠ", "弼", "揖", "끌", "ั", "仗", "踐", "춥", "ギ", "驯", "룽", "լ", "飘", "竞", "㩒", "캄", "롬", "३", "脱", "喇", "٥", "詐", "拱", "讶", "盏", "遞", "抚", "ṃ", "嵩", "ڵ", "ƒ", "ô", "餸", "며", "숯", "睜", "窦", "沈", "몹", "େ", "髪", "蔑", "溪", "揗", "論", "槭", "弘", "薑", "動", "凯", "訟", "별", "嬉", "技", "株", "箴", "ຫ", "ꤋ", "撕", "彫", "싹", "胥", "ꤛ", "嘯", "择", "靖", "眠", "铸", "け", "歓", "찢", "慮", "菏", "城", "ર", "앙", "耍", "靶", "鲮", "甕", "ච", "戟", "挙", "ݵ", "எ", "鄙", "ኟ", "寶", "広", "ἶ", "ڃ", "ṙ", "ጁ", "词", "ů", "搞", "ľ", "厨", "ધ", "泾", "ḳ", "匯", "攬", "诀", "杆", "ቍ", "堅", "ಅ", "苋", "忒", "谍", "羌", "ঁ", "୩", "峽", "າ", "财", "럽", "ᑫ", "惊", "帝", "뜨", "δ", "託", "目", "擠", "ི", "パ", "覇", "ö", "侠", "펼", "堆", "揸", "ቀ", "然", "斥", "珙", "牙", "筒", "量", "ଐ", "虐", "깊", "遣", "ఐ", "揜", "誌", "틀", "멈", "ഉ", "绸", "ଊ", "굼", "ς", "乖", "眩", "ဦ", "閂", "̪", "겪", "纸", "藐", "ڜ", "擬", "编", "莉", "侏", "翎", "ᱬ", "ཥ", "蛊", "ኢ", "險", "療", "浸", "曲", "禄", "뤄", "肘", "ƥ", "歡", "紲", "ƌ", "ᓉ", "념", "ɵ", "ಝ", "ʔ", "회", "廠", "狸", "த", "傑", "矗", "蛭", "座", "ྡ", "琉", "基", "瓢", "ਛ", "ਝ", "牧", "犬", "和", "ඝ", "ø", "ฆ", "叔", "现", "ൗ", "핸", "쾌", "낀", "议", "記", "洪", "ណ", "軸", "鑿", "盲", "ፂ", "引", "岩", "ቹ", "ા", "˼", "杏", "叠", "乘", "添", "ݭ", "ሱ", "故", "ቮ", "呂", "幔", "撓", "俭", "裕", "랭", "렌", "ү", "ਪ", "饥", "ổ", "寻", "茫", "ป", "க", "毗", "涸", "趋", "試", "몸", "式", "ξ", "铠", "炭", "誣", "獵", "ル", "ᓍ", "嚼", "欢", "谂", "胚", "棧", "선", "迄", "芬", "赶", "ळ", "湍", "軟", "ご", "攏", "ą", "织", "洋", "取", "콰", "蜀", "義", "酌", "緻", "泛", "ણ", "廳", "歼", "聼", "勘", "鱸", "鯪", "バ", "鴦", "철", "菝", "挥", "醉", "—", "烘", "ช", "ɇ", "矾", "람", "霎", "鼱", "遐", "陈", "ມ", "굳", "げ", "ۋ", "穹", "ٽ", "ば", "屋", "덤", "菌", "冊", "ⷐ", "蔽", "邊", "巅", "递", "怠", "沁", "식", "絕", "什", "酬", "捍", "逛", "铝", "ብ", "ኹ", "県", "ᒪ", "蛱", "飞", "愈", "阐", "僱", "ᴇ", "淀", "团", "溼", "逃", "ొ", "–", "ទ", "威", "ങ", "捜", "ձ", "້", "ွ", "몇", "洛", "ዾ", "鹃", "탔", "花", "綫", "舖", "ຂ", "诞", "結", "付", "ோ", "隊", "ὓ", "鹤", "氨", "嵐", "霍", "ᐩ", "顶", "ۃ", "브", "實", "ち", "禱", "ლ", "牢", "戲", "捆", "霆", "瑕", "็", "膩", "镍", "ও", "渔", "ä", "ද", "鉱", "ꓲ", "ẍ", "跳", "篇", "歯", "垒", "斟", "枯", "蹬", "ޗ", "담", "鹘", "驻", "ὠ", "炙", "謹", "m", "吋", "敵", "懼", "ޭ", "怯", "去", "繞", "秆", "貴", "৯", "颂", "蠟", "距", "狂", "을", "喉", "埠", "煤", "懋", "알", "岳", "蕴", "全", "크", "ዔ", "ᔡ", "ⴳ", "妻", "赏", "ዕ", "止", "렇", "ታ", "梁", "ύ", "销", "혹", "교", "ಉ", "聊", "耶", "ڊ", "曖", "挽", "ৃ", "ụ", "웁", "念", "咏", "합", "睬", "ᎂ", "檐", "儀", "麝", "ల", "٘", "麪", "혔", "犧", "ջ", "จ", "襄", "ⷋ", "ᴅ", "ႄ", "桌", "筲", "年", "풍", "粽", "ឹ", "懵", "睇", "嚇", "ᱷ", "ħ", "永", "迪", "ᓭ", "غ", "텔", "缩", "卢", "ⷍ", "ባ", "렛", "磁", "빙", "깨", "ь", "딜", "화", "弩", "ኄ", "잣", "페", "俩", "ᐾ", "龐", "杀", "ዤ", "謡", "勞", "ஶ", "8", "舰", "鸠", "ྗ", "員", "奧", "奈", "色", "ᐧ", "矩", "ᱵ", "桩", "ď", "兴", "辽", "ཛ", "聾", "ă", "舂", "幽", "蓬", "ി", "戸", "佣", "蛮", "ኁ", "誕", "笑", "颶", "這", "ඵ", "ḗ", "ފ", "֝", "§", "д", "激", "༔", "ݜ", "超", "妓", "福", "接", "ג", "択", "壽", "랜", "鎅", "ቪ", "靡", "雹", "ὥ", "頁", "閘", "ટ", "ヒ", "氹", "甩", "等", "宇", "ԉ", "ஆ", "ሶ", "可", "俗", "壤", "ニ", "揾", "灯", "慰", "ő", "桥", "ഈ", "文", "传", "ቺ", "躼", "敝", "练", "સ", "ഊ", "榜", "宙", "嬲", "妄", "空", "펠", "될", "椒", "魅", "ර", "ć", "ါ", "အ", "훔", "鮫", "境", "艘", "瓷", "佮", "춘", "啜", "聰", "陥", "쿠", "喀", "纜", "ዡ", "尖", "행", "抹", "净", "근", "湯", "離", "窮", "頓", "d", "ቤ", "څ", "逮", "용", "і", "ˮ", "일", "絲", "뜸", "毁", "菜", "保", "란", "燭", "橄", "棚", "ӵ", "盾", "藏", "ब", "畔", "외", "ዅ", "글", "禾", "積", "내", "烈", "遗", "진", "崛", "铜", "蜜", "斗", "詹", "政", "ጇ", "예", "ገ", "ݱ", "깐", "拂", "师", "맛", "卌", "귐", "冈", "ぐ", "书", "掖", "렀", "ዮ", "땅", "퀴", "족", "墊", "ʿ", "帕", "ᒨ", "̓", "紋", "א", "ፀ", "ং", "ҩ", "ఉ", "溞", "ਧ", "黛", "ŷ", "싶", "괜", "认", "발", "딱", "კ", "脆", "桓", "ð", "ඩ", "ナ", "啉", "é", "ẫ", "ḛ", "惠", "ѐ", "羞", "έ", "옵", "勿", "ậ", "铀", "东", "淘", "坊", "닝", "ץ", "క", "类", "壶", "麦", "ര", "貫", "时", "ذ", "逗", "差", "拚", "麒", "乜", "臓", "尧", "ୈ", "簷", "被", "૫", "ত", "秋", "腌", "雺", "雑", "填", "묻", "渉", "糯", "幼", "낌", "薪", "説", "림", "遙", "ਫ", "ު", "ɲ", "涂", "柑", "ቕ", "疫", "最", "铵", "雕", "费", "깁", "৫", "刁", "根", "锄", "ઊ", "ఞ", "너", "ฏ", "ഢ", "带", "մ", "棗", "丈", "倩", "ỹ", "ờ", "ጦ", "蚕", "ต", "ఫ", "蜉", "ஒ", "킵", "अ", "ƴ", "ヵ", "煽", "謠", "趨", "입", "船", "ቼ", "隻", "ф", "扇", "៥", "肉", "邢", "戛", "༢", "ව", "언", "參", "課", "ण", "ɳ", "撃", "۴", "淫", "策", "ᾶ", "ޛ", "သ", "俾", "裏", "ဴ", "案", "入", "杜", "와", "ڪ", "학", "窥", "ᑮ", "닉", "隸", "ꤝ", "粵", "ί", "辣", "ሳ", "績", "ጵ", "轻", "鬣", "ፄ", "偏", "弊", "峨", "啵", "た", "ғ", "κ", "७", "捧", "왈", "ਯ", "绑", "滚", "奉", "俸", "紓", "裸", "門", "유", "ᒐ", "ુ", "寂", "陂", "ຽ", "ス", "糖", "総", "භ", "獲", "幢", "沛", "ඌ", "笏", "법", "ʊ", "兌", "ଦ", "兽", "摃", "짚", "ǀ", "뽑", "虛", "蒿", "蜃", "巣", "盡", "丽", "줄", "접", "図", "儉", "ഛ", "罷", "搖", "指", "冕", "ⷝ", "哇", "續", "ཾ", "簕", "ሾ", "挣", "驸", "숨", "哔", "뱅", "滥", "孫", "망", "批", "黔", "ල", "讲", "荚", "胞", "墘", "ḇ", "嗿", "を", "呃", "ⴹ", "ツ", "碑", "翌", "̥", "ԥ", "镁", "চ", "彝", "ḅ", "搓", "孔", "ጐ", "标", "劾", "诏", "夷", "쌔", "써", "碱", "视", "韓", "ไ", "腓", "୍", "粤", "갇", "侄", "ఙ", "纽", "홰", "ꓬ", "૨", "惰", "签", "瑛", "箭", "轮", "重", "族", "靼", "૬", "反", "노", "咦", "ڷ", "吕", "ថ", "ꤒ", "训", "善", "캘", "웅", "時", "મ", "嫂", "ꜗ", "얕", "渡", "ӷ", "唄", "అ", "淨", "ꓹ", "罂", "緯", "흑", "ഃ", "怕", "í", "ಂ", "孚", "复", "സ", "は", "펴", "ධ", "蔵", "銃", "料", "买", "奅", "幻", "倒", "朕", "太", "ཝ", "ห", "떱", "闢", "曷", "敞", "勋", "혁", "약", "臣", "▪", "娃", "澜", "灣", "盛", "樵", "韋", "觸", "谐", "널", "靈", "攻", "唱", "점", "꾐", "ਨ", "観", "晾", "溴", "赖", "旅", "勳", "忆", "氣", "忍", "灘", "ఝ", "ᎀ", "众", "盼", "犁", "吼", "輋", "镫", "탄", "험", "ӽ", "야", "伍", "ḿ", "貰", "့", "ጸ", "య", "도", "茶", "湄", "芳", "엮", "舱", "ⵀ", "록", "碳", "ᱰ", "న", "肠", "祷", "ꤜ", "१", "ዽ", "껄", "ഡ", "വ", "е", "嘛", "ۯ", "ミ", "飯", "劍", "粧", "嫲", "叻", "硫", "ʟ", "咁", "५", "ୁ", "巷", "譜", "葶", "緒", "낚", "諮", "灵", "匪", "բ", "థ", "詞", "ቖ", "除", "ѓ", "肋", "枠", "殷", "ၵ", "詩", "ڱ", "蛇", "ũ", "ྭ", "萼", "꞉", "竇", "融", "ό", "寫", "限", "巡", "辟", "ṍ", "캠", "켓", "ݣ", "蛀", "撳", "뚝", "肖", "堕", "追", "ഔ", "ぱ", "伟", "掉", "諸", "ឃ", "唌", "듣", "单", "椿", "밑", "ஏ", "赌", "譬", "ブ", "ẃ", "쯤", "준", "灌", "ᑖ", "厢", "巒", "撈", "罄", "岫", "ᴋ", "짙", "਼", "ൻ", "砂", "圳", "镜", "琦", "彬", "頷", "֗", "請", "졌", "慳", "詼", "ດ", "œ", "臟", "汤", "ເ", "ፖ", "绳", "요", "稲", "흥", "洼", "响", "扶", "穆", "ಃ", "粟", "벼", "ཡ", "廚", "預", "簿", "ŵ", "클", "鶉", "课", "소", "线", "း", "ђ", "雯", "樹", "袖", "꽃", "攄", "放", "막", "茲", "ே", "ኴ", "笋", "搵", "棉", "砍", "享", "မ", "ل", "ἓ", "ከ", "鴛", "嗟", "锻", "皺", "郵", "独", "ェ", "嘀", "ऍ", "辅", "谊", "ቷ", "効", "ৱ", "沢", "柬", "ǖ", "抜", "面", "璃", "傍", "ન", "్", "憐", "ぼ", "긍", "꾸", "뷰", "瞳", "춰", "щ", "冇", "麋", "只", "皖", "機", "ᱭ", "イ", "ស", "֭", "ጭ", "闲", "外", "缆", "嘻", "ई", "ළ", "救", "ះ", "持", "픽", "珂", "翱", "唐", "坛", "ொ", "偈", "ȝ", "ë", "단", "뀌", "奏", "钜", "템", "宫", "泥", "彎", "४", "淤", "廖", "汝", "ම", "耽", "ዛ", "̭", "ँ", "嫩", "억", "忧", "ត", "辯", "慾", "繹", "礫", "鼠", "听", "霾", "菇", "暴", "蹴", "최", "羲", "ૈ", "৩", "ၠ", "ⵟ", "ӄ", "鎮", "ⵕ", "洮", "ᾐ", "假", "ሢ", "ઠ", "集", "沧", "區", "槍", "ก", "젊", "ఒ", "뇨", "ภ", "僆", "왕", "ך", "斉", "램", "舆", "符", "柱", "ӧ", "悩", "ಯ", "ẩ", "美", "罔", "呟", "嫌", "叛", "濫", "ದ", "گ", "ᓅ", "蝠", "응", "l", "莹", "苯", "ୃ", "肾", "ඕ", "ⵇ", "允", "瘋", "ྒ", "輸", "角", "表", "খ", "落", "辺", "純", "ッ", "謬", "ầ", "ଫ", "옹", "櫳", "갚", "烫", "爾", "ই", "ᔖ", "승", "昂", "ଡ", "姉", "请", "计", "ഇ", "供", "倦", "峻", "対", "它", "賢", "더", "陀", "诊", "杭", "選", "鞦", "ɡ", "偕", "檬", "마", "ⴶ", "希", "歧", "秩", "蔷", "ん", "ȋ", "커", "든", "ദ", "導", "བ", "থ", "멜", "甜", "އ", "맨", "փ", "帅", "萸", "ἅ", "訂", "输", "缸", "慕", "窯", "変", "哦", "쥔", "榕", "л", "茜", "斎", "联", "ਹ", "上", "低", "標", "佐", "ಪ", "溲", "葜", "庐", "뮤", "瘾", "ആ", "̇", "ዊ", "ႇ", "ᑐ", "癖", "擦", "專", "代", "秘", "转", "ᱼ", "ᐎ", "我", "ဋ", "廷", "ಈ", "쪽", "采", "粮", "晴", "량", "墨", "덧", "ේ", "ꤡ", "떻", "ଈ", "権", "古", "疽", "惘", "뻔", "鲑", "坑", "ฝ", "厄", "ት", "۪", "開", "ৈ", "흘", "ঋ", "ᔅ", "吊", "게", "嘔", "༹", "ງ", "迹", "乂", "ན", "렁", "蛛", "型", "ཇ", "딸", "窝", "ӡ", "ᐯ", "浣", "数", "宗", "ំ", "泸", "篆", "辛", "约", "츰", "ዝ", "桑", "乸", "ޓ", "뛰", "탈", "サ", "钳", "曹", "通", "ὃ", "帐", "櫻", "滘", "躇", "ળ", "苗", "팀", "氾", "ټ", "邋", "়", "ጩ", "직", "帖", "恁", "ො", "坷", "ჲ", "末", "洽", "ẳ", "ሕ", "凤", "彤", "蝕", "助", "贬", "樓", "ध", "贷", "乳", "할", "忌", "ù", "ङ", "참", "ച", "ဝ", "ᒋ", "涅", "방", "冢", "ƹ", "둔", "婪", "ム", "刊", "닮", "ᐙ", "科", "판", "且", "滄", "ሸ", "中", "劳", "窖", "稻", "暖", "筆", "ෞ", "ک", "ר", "悄", "ઐ", "ˍ", "ї", "碼", "証", "防", "ୟ", "澄", "ᾳ", "杳", "뮬", "挤", "晓", "针", "ᐹ", "蠢", "陕", "嘆", "沊", "顯", "始", "ସ", "ዎ", "쌌", "ı", "ӳ", "虑", "春", "ἃ", "摷", "ዱ", "歴", "蟻", "江", "χ", "உ", "撩", "ဒ", "啪", "澍", "ព", "奶", "豬", "ᓐ", "료", "ឝ", "떴", "旦", "醋", "ឞ", "酵", "变", "邨", "̵", "強", "棱", "앨", "世", "習", "夫", "յ", "锤", "榈", "롤", "婶", "ド", "跋", "起", "輪", "黎", "잡", "租", "ڀ", "诃", "ォ", "슴", "၄", "隠", "덜", "鴻", "铅", "会", "폐", "ꓳ", "ɠ", "欖", "睨", "ǹ", "愤", "爲", "ホ", "ບ", "跌", "渇", "绛", "气", "磷", "子", "ญ", "踩", "ឧ", "安", "媠", "ク", "鏨", "瑰", "為", "٫", "旱", "煙", "芯", "t", "ট", "യ", "о", "紮", "ݳ", "궤", "剝", "ڎ", "嘘", "素", "н", "终", "က", "ồ", "メ", "ⵙ", "佑", "ὡ", "噪", "굴", "ች", "ರ", "亿", "足", "척", "꾼", "玮", "塚", "斐", "屈", "헬", "분", "ソ", "府", "컷", "ᵾ", "ἁ", "蓆", "ৰ", "阔", "园", "烙", "チ", "养", "ኆ", "妳", "衿", "糋", "电", "ਏ", "儡", "ଵ", "胤", "프", "蕨", "좁", "ສ", "绥", "塞", "唷", "ဟ", "鱗", "이", "摘", "죄", "해", "捾", "群", "弥", "撒", "呼", "닫", "法", "経", "膠", "蔡", "액", "໊", "歪", "墮", "돋", "が", "撲", "绰", "ፃ", "ိ", "杖", "배", "윽", "渌", "複", "ठ", "喐", "館", "枱", "萬", "맑", "ा", "颜", "à", "俳", "潘", "ᒌ", "剑", "舺", "滔", "ૉ", "酱", "云", "償", "ၸ", "種", "躉", "妹", "润", "৭", "録", "趺", "乌", "ᱨ", "̊", "埗", "娜", "蚝", "堇", "淳", "欣", "ତ", "鄰", "n", "息", "잃", "್", "跩", "挲", "桔", "英", "ẕ", "脯", "ぴ", "擊", "ྥ", "缔", "屿", "投", "ʌ", "ቲ", "ಏ", "禅", "括", "ਟ", "탓", "洞", "滞", "剁", "눌", "饪", "વ", "汲", "ꓚ", "꼴", "参", "ሏ", "呔", "惹", "缴", "ጌ", "宅", "푹", "摸", "ł", "ڞ", "ʏ", "翰", "黐", "荷", "鼆", "黏", "噂", "횡", "繰", "釋", "過", "啮", "泻", "એ", "渦", "磺", "賦", "价", "鸾", "ع", "雍", "萊", "ὼ", "უ", "ẹ", "垩", "ጠ", "河", "긋", "懿", "암", "ቁ", "ۭ", "ᓬ", "孙", "快", "센", "検", "날", "ዥ", "閪", "ሦ", "岁", "焊", "웠", "皂", "ഓ", "ሤ", "စ", "ꓶ", "黨", "녁", "柠", "验", "ᔪ", "游", "炫", "比", "၈", "头", "鳗", "낸", "骼", "官", "谕", "滷", "微", "资", "恥", "狭", "홍", "乾", "昆", "ݩ", "伦", "왜", "唥", "쏘", "ݮ", "埞", "お", "攔", "敘", "ၝ", "九", "۲", "渐", "恰", "漲", "燻", "꾀", "숭", "찌", "溥", "梅", "贾", "盎", "넬", "考", "结", "ꤘ", "ݪ", "喎", "软", "毒", "ᑎ", "ጣ", "ਆ", "ո", "擎", "柒", "沪", "郊", "᱾", "鈔", "庞", "沂", "履", "ሀ", "志", "痢", "ᒻ", "ⴼ", "摁", "颗", "紙", "ວ", "蘆", "娠", "ር", "亞", "뻣", "잖", "층", "恬", "ඳ", "越", "ἢ", "否", "ұ", "嫡", "虞", "尼", "憲", "ᓃ", "ὕ", "捋", "у", "䖳", "暦", "ꤓ", "斬", "邑", "虹", "漸", "陶", "韧", "뱃", "ѕ", "達", "衛", "라", "搭", "嗡", "ئ", "피", "ñ", "迺", "ቸ", "㧎", "腾", "و", "損", "ឈ", "癩", "ہ", "ѳ", "͡", "ஷ", "ฮ", "蝴", "麥", "千", "規", "泅", "藓", "輻", "겹", "新", "亂", "饮", "겜", "ވ", "赢", "꿈", "ෆ", "抬", "钟", "초", "陸", "ऩ", "苞", "ァ", "喜", "ɚ", "勢", "傣", "ခ", "చ", "ᐞ", "ʋ", "翅", "铲", "ޟ", "歐", "掘", "啦", "ᐟ", "嗦", "軀", "蛟", "勁", "ា", "ꓜ", "榛", "강", "ᑭ", "访", "蒴", "壞", "力", "怎", "온", "姑", "ေ", "浑", "奕", "蠅", "в", "浮", "溯", "ğ", "ṉ", "瞑", "踅", "颓", "於", "衆", "ቶ", "ԝ", "ծ", "ጒ", "ऎ", "ው", "煌", "颅", "ୋ", "略", "蜞", "梾", "态", "讓", "ј", "ྱ", "瑶", "బ", "质", "壌", "倉", "戎", "卿", "ષ", "ௌ", "᷇", "ݹ", "അ", "踢", "囲", "뗄", "ඔ", "屄", "芋", "없", "雷", "様", "革", "徑", "몽", "삽", "ஂ", "ק", "홀", "片", "뼈", "麓", "愧", "샌", "ᑌ", "ର", "潢", "護", "杂", "맙", "წ", "ઞ", "褸", "刈", "抐", "甘", "魏", "槐", "舎", "뜬", "ജ", "ד", "툭", "賰", "ᐋ", "盯", "门", "친", "ደ", "ᎉ", "焙", "ූ", "으", "ଁ", "양", "တ", "낙", "贼", "線", "炖", "ɍ", "谟", "ន", "ጳ", "薯", "田", "빚", "疴", "쉽", "祈", "弓", "ጻ", "২", "ꤟ", "၉", "屁", "负", "弟", "릅", "໋", "艋", "初", "働", "̈", "矮", "利", "ၣ", "ଆ", "肴", "沤", "侮", "柏", "膊", "绪", "乱", "栉", "台", "烷", "ཤ", "ằ", "繩", "迵", "큽", "뭄", "는", "糧", "蕃", "찼", "씨", "烤", "ⷛ", "些", "支", "锰", "汪", "ี", "韌", "斧", "톱", "鉛", "洒", "ီ", "も", "渺", "阀", "റ", "ਓ", "蚌", "칠", "乎", "월", "彪", "券", "ನ", "貞", "聪", "诈", "ʒ", "ಳ", "狡", "綱", "哼", "脑", "ஊ", "畴", "ᓈ", "պ", "酿", "僵", "ೈ", "었", "鲸", "灰", "ど", "ഥ", "渥", "歩", "ಘ", "췄", "潦", "陵", "저", "撥", "ቒ", "ஓ", "柴", "屎", "绕", "ف", "확", "ጡ", "ည", "闹", "毫", "병", "ሼ", "氯", "ፕ", "擁", "彿", "벌", "ś", "집", "ర", "步", "豚", "秤", "ጴ", "룬", "॒", "韦", "须", "靠", "창", "ᑰ", "깜", "ᒉ", "ኋ", "ऽ", "岑", "脂", "ɴ", "瀉", "張", "ধ", "透", "ގ", "卤", "̶", "獨", "雜", "个", "የ", "옥", "掙", "凑", "舶", "鳍", "朽", "庙", "貨", "癡", "ޚ", "샅", "拟", "鸭", "첫", "聋", "栃", "ᎎ", "ʤ", "ઁ", "边", "ኻ", "鴿", "宠", "陣", "ἷ", "ే", "测", "ፈ", "壁", "哥", "阿", "ඈ", "ዦ", "首", "༽", "팽", "毀", "ස", "ᐸ", "苔", "ҳ", "燃", "굉", "健", "秀", "에", "ĭ", "肆", "역", "半", "驚", "জ", "슬", "込", "ਵ", "淺", "莆", "ۈ", "账", "ӟ", "ृ", "ؔ", "肛", "颖", "蔥", "랙", "葬", "粋", "ᐴ", "慨", "仓", "韆", "凡", "坵", "籃", "흡", "毛", "턱", "硝", "緩", "西", "昌", "ږ", "膝", "簇", "響", "剣", "菅", "似", "锥", "験", "ⴰ", "挨", "둑", "賽", "思", "辦", "ଋ", "ൈ", "处", "葡", "咬", "梨", "伪", "٧", "胜", "瞓", "路", "峰", "楊", "暹", "ண", "敦", "셨", "ฐ", "ඒ", "엾", "첩", "怡", "ƃ", "伐", "삼", "ả", "溢", "ꓣ", "鑽", "우", "咙", "津", "埋", "ቈ", "甚", "並", "嚕", "्", "곰", "봅", "彈", "乔", "ം", "ݷ", "ผ", "ḭ", "맸", "耆", "欸", "厉", "告", "鬍", "酢", "祐", "ॲ", "瞬", "霄", "妇", "扱", "肯", "顆", "互", "偌", "지", "示", "豐", "싼", "雛", "ޣ", "晚", "埼", "任", "ሉ", "ఱ", "ቆ", "手", "児", "಼", "崧", "碘", "眷", "能", "ઑ", "ล", "묘", "蒼", "뒤", "۵", "薹", "凊", "ノ", "慧", "撼", "ῄ", "绘", "장", "盖", "ແ", "監", "匣", "穷", "潑", "朱", "ȅ", "ఆ", "ƚ", "틸", "德", "ᓯ", "흰", "긴", "浴", "莒", "토", "ዶ", "慘", "蜂", "ں", "滾", "豈", "룟", "亭", "ḻ", "벽", "名", "頗", "어", "使", "進", "鐘", "ⵢ", "啥", "ሄ", "间", "컬", "房", "ත", "作", "弄", "啱", "圭", "钥", "吁", "劝", "丸", "ঃ", "૮", "縫", "渠", "橋", "扬", "ዒ", "룰", "嫔", "癲", "隐", "螨", "ị", "읊", "囡", "伝", "十", "食", "巽", "년", "宴", "誓", "끼", "茹", "罨", "셈", "ଝ", "諒", "署", "堀", "定", "瑯", "亥", "喩", "宏", "ۀ", "ხ", "ᐅ", "晝", "ڭ", "艰", "叮", "姆", "ޅ", "핀", "˂", "틈", "ቫ", "遅", "敬", "プ", "퇴", "捲", "ீ", "炊", "需", "军", "닙", "瀏", "ガ", "彙", "ʉ", "훼", "ۮ", "ც", "鲜", "ቦ", "カ", "啫", "废", "ؘ", "度", "깎", "ง", "齣", "塘", "写", "蔣", "亡", "覺", "赞", "浜", "摠", "竺", "鄧", "હ", "በ", "楔", "ು", "垮", "ឋ", "ቄ", "ኵ", "ு", "\\", "f", "ゃ", "妥", "树", "睹", "肿", "凃", "ಋ", "旮", "釉", "爐", "駿", "脖", "г", "ꓟ", "զ", "喋", "婉", "置", "饼", "卖", "ἑ", "ῖ", "광", "話", "흐", "崁", "쑥", "註", "邕", "네", "ጊ", "坟", "氮", "醬", "प", "ↄ", "к", "祕", "橙", "輾", "芎", "热", "垃", "墓", "縣", "ڼ", "凸", "丙", "拥", "鄭", "丼", "ਔ", "捽", "梭", "ꓻ", "ි", "厕", "唤", "ւ", "兄", "暂", "ិ", "遥", "ɔ", "浩", "晏", "氏", "송", "ൂ", "曱", "뵈", "ử", "赦", "冰", "ړ", "ẵ", "购", "թ", "省", "돈", "髓", "չ", "縛", "散", "물", "陪", "왔", "村", "ċ", "ড", "崗", "掳", "敕", "仙", "敧", "掻", "住", "ಸ", "۸", "輿", "免", "뽕", "癀", "在", "湿", "ೋ", "咸", "튼", "程", "督", "究", "岬", "카", "洲", "顔", "鞘", "單", "母", "遇", "滋", "ฺ", "ṣ", "僥", "梵", "뚫", "研", "垦", "륜", "랩", "ဖ", "凱", "둘", "戰", "蟑", "鸡", "ዲ", "甭", "韻", "遠", "ŕ", "珀", "ক", "滙", "ኒ", "枪", "萤", "္", "ዪ", "ా", "责", "伶", "艇", "郎", "ʽ", "애", "짝", "增", "您", "忽", "君", "瓊", "훈", "ም", "낯", "耿", "ޝ", "編", "茅", "ถ", "̧", "扮", "좀", "椅", "喂", "즘", "蓝", "京", "儒", "侦", "咲", "투", "誘", "齊", "蕩", "박", "鞠", "擒", "跆", "ා", "寺", "稣", "ӈ", "冬", "ኞ", "泡", "ஐ", "আ", "빨", "音", "މ", "疵", "规", "ิ", "받", "압", "劉", "츠", "ပ", "攸", "陇", "旧", "ẻ", "ṗ", "ಊ", "ʺ", "ጨ", "ừ", "ᐄ", "閲", "ჴ", "杯", "ኀ", "ኚ", "ጧ", "鮮", "ぁ", "跡", "驛", "淹", "즉", "蓄", "層", "际", "却", "モ", "尘", "ィ", "嗎", "一", "棒", "린", "ஸ", "ქ", "趌", "務", "憩", "悪", "疎", "겁", "ీ", "薛", "ጮ", "苦", "累", "鲨", "氢", "鞑", "況", "2", "ż", "彗", "엉", "ሙ", "러", "ཿ", "舐", "ザ", "寵", "ǜ", "ț", "澳", "奥", "鶴", "玛", "̦", "ኮ", "骑", "j", "줘", "닷", "익", "史", "溉", "蔗", "희", "廓", "韬", "炼", "ᔦ", "술", "攀", "嶄", "屏", "藝", "胎", "ଉ", "征", "蹲", "曼", "腍", "ധ", "៍", "ݴ", "優", "ၢ", "葱", "벗", "આ", "倾", "創", "蒋", "撮", "粛", "袭", "ᎈ", "鳃", "침", "ћ", "鹭", "竭", "ਡ", "ὤ", "匆", "移", "奎", "갯", "趖", "歉", "瓦", "제", "夕", "ᱸ", "ⵌ", "淵", "多", "蹈", "廟", "期", "冀", "逢", "収", "漓", "优", "淆", "剿", "ဇ", "杞", "勼", "席", "廂", "໌", "м", "礐", "질", "ಷ", "۳", "ᱯ", "副", "鳩", "瀕", "罟", "筋", "대", "ጂ", "撰", "媽", "૧", "ື", "ἀ", "繃", "褛", "棘", "͙", "엄", "濁", "ḍ", "떨", "앎", "拄", "コ", "ヌ", "兒", "ᑯ", "苍", "细", "얹", "拣", "ƶ", "ร", "ற", "胆", "ٹ", "帶", "瘡", "멸", "橱", "ޘ", "슷", "惕", "ዑ", "奪", "ូ", "謊", "룡", "報", "힌", "雌", "常", "坍", "季", "ɽ", "쓸", "鰻", "衡", "ए", "홉", "ὸ", "盈", "友", "ऑ", "睦", "附", "呻", "師", "敖", "̰", "ၶ", "嗰", "십", "ἴ", "区", "潭", "售", "寇", "蜗", "핵", "恂", "ራ", "၅", "า", "ઇ", "像", "裹", "烟", "仲", "夜", "举", "診", "幹", "肝", "례", "ಶ", "島", "监", "郡", "噚", "抖", "수", "辙", "齒", "ೆ", "锂", "ຮ", "冲", "氷", "අ", "完", "嚓", "ȏ", "뭐", "減", "빛", "广", "巩", "贞", "ᱹ", "ୂ", "准", "埤", "鈣", "悖", "摊", "៧", "ઔ", "謢", "寧", "降", "탐", "逝", "黑", "纲", "満", "羔", "荒", "泔", "째", "厳", "나", "校", "ល", "拉", "མ", "స", "禪", "ゥ", "濕", "엌", "管", "ৎ", "清", "ť", "ꤌ", "벅", "៎", "溺", "끝", "ኗ", "ཏ", "샀", "ሣ", "棺", "乙", "ဥ", "ὦ", "叹", "范", "堪", "ዀ", "ஞ", "缠", "绎", "럼", "ႁ", "흗", "裴", "頒", "斩", "姍", "來", "반", "狄", "跖", "敨", "辖", "元", "痒", "査", "漁", "執", "탱", "െ", "南", "朋", "夸", "蚬", "铂", "嗬", "琶", "側", "賄", "纤", "主", "啄", "冗", "余", "ݫ", "读", "べ", "匡", "ϊ", "该", "識", "費", "ở", "帽", "缓", "刹", "혀", "찔", "á", "齋", "鸦", "荃", "啡", "헴", "ᑣ", "拿", "雖", "凿", "茱", "阁", "ꓤ", "糊", "賤", "詮", "圧", "龜", "褒", "⠀", "誰", "瞩", "멤", "昭", "嗒", "煉", "뻤", "羟", "ǿ", "凹", "缚", "б", "竊", "པ", "ケ", "更", "ଖ", "ٴ", "푸", "涨", "ྙ", "ⷀ", "ឮ", "효", "组", "触", "轍", "코", "鱲", "呈", "キ", "მ", "骰", "圓", "짐", "拆", "修", "벡", "景", "哮", "燙", "位", "泣", "眞", "噉", "列", "빤", "瞌", "ᓀ", "虚", "쏠", "悟", "调", "컨", "分", "彭", "규", "七", "ந", "亨", "默", "楠", "ž", "딛", "칼", "济", "勉", "똑", "啧", "͂", "譚", "ໂ", "ٻ", "檀", "취", "衍", "ุ", "셜", "百", "钦", "ᱱ", "쁠", "✿", "及", "ጔ", "斡", "ꤪ", "循", "崽", "면", "琵", "앉", "ཻ", "빌", "曝", "绒", "俯", "뭇", "ᑑ", "ᱟ", "ፊ", "ว", "ⵜ", "죠", "栾", "ྰ", "腥", "樽", "鎊", "徙", "せ", "폴", "宜", "早", "ጎ", "汾", "晟", "柿", "璧", "ཐ", "८", "ત", "ঈ", "拳", "瘦", "팬", "桦", "์", "夢", "ã", "ぺ", "譴", "ო", "β", "俐", "荏", "ଧ", "と", "劣", "琪", "庇", "喵", "镰", "ఎ", "명", "앗", "藤", "轩", "ძ", "1", "嬷", "এ", "출", "販", "噢", "选", "厦", "න", "紹", "私", "ට", "懷", "ự", "知", "や", "०", "얘", "晋", "浅", "嚿", "ዸ", "猫", "宿", "佬", "۾", "ެ", "ꓠ", "蓮", "ё", "蠔", "μ", "顏", "纷", "郑", "ઋ", "颈", "拖", "ꓕ", "핌", "시", "容", "喚", "谱", "항", "抒", "버", "ބ", "瑞", "ᔀ", "拈", "米", "跟", "审", "魯", "锌", "보", "呆", "꺾", "グ", "疼", "ビ", "决", "̂", "堵", "넓", "梧", "ফ", "阱", "誠", "魷", "翘", "棕", "앞", "命", "依", "꤭", "ଲ", "错", "ம", "牆", "暇", "踊", "礁", "ယ", "皿", "畸", "छ", "འ", "潺", "甌", "锁", "ޙ", "姻", "ኝ", "ٕ", "ớ", "麼", "络", "ⵄ", "주", "ਐ", "岡", "τ", "ਿ", "ث", "序", "髀", "癢", "ᒑ", "未", "倆", "背", "湾", "戆", "肤", "同", "幫", "轎", "炕", "諧", "楓", "ู", "噌", "銀", "揍", "탠", "ಔ", "屆", "٠", "苹", "所", "ៅ", "ۍ", "頹", "ኧ", "藕", "ʻ", "ჯ", "ρ", "갓", "뒷", "ᎇ", "氟", "闻", "貪", "ੋ", "庭", "悾", "窃", "芮", "咩", "ÿ", "聚", "脈", "씁", "摞", "駕", "垫", "鹅", "设", "焚", "뜻", "손", "ඛ", "籽", "鬚", "库", "ŏ", "蒜", "茵", "場", "毋", "ư", "ላ", "赈", "솜", "ὀ", "爛", "旭", "泓", "奢", "喫", "鳖", "ህ", "楽", "坞", "し", "棠", "五", "겠", "༼", "치", "项", "臺", "셀", "9", "嘢", "ڻ", "紧", "哋", "咔", "ೃ", "描", "强", "い", "恢", "擇", "打", "戀", "웃", "ヤ", "ỳ", "ⷌ", "柵", "迅", "ހ", "ؐ", "ቅ", "运", "讳", "臉", "脷", "큼", "ạ", "ྵ", "ລ", "미", "ྫ", "θ", "给", "酔", "ႀ", "鑑", "滕", "ຈ", "火", "腊", "飽", "乒", "뽐", "ስ", "咿", "琳", "쳐", "ञ", "ⵓ", "榴", "ോ", "熙", "蒐", "ໍ", "렷", "迥", "臊", "幣", "脉", "뚤", "丰", "贊", "੍", "ፓ", "派", "兮", "ዉ", "宪", "癱", "岭", "전", "ဌ", "鉀", "梯", "덟", "경", "큰", "耀", "꿰", "ẅ", "涛", "罚", "痟", "揣", "ấ", "遁", "슈", "滴", "ੰ", "钉", "변", "ᑲ", "腺", "颇", "咖", "縱", "ૃ", "振", "老", "ో", "昧", "э", "ኩ", "ҝ", "挝", "ย", "栽", "產", "晉", "鋤", "脐", "찧", "鯉", "議", "侬", "先", "얽", "舄", "극", "陳", "具", "熔", "纵", "極", "닢", "怜", "ួ", "ጼ", "ථ", "碾", "棵", "셉", "꤬", "喳", "窓", "頑", "풉", "ይ", "घ", "ƞ", "裂", "件", "ಲ", "ハ", "檳", "唯", "測", "파", "谬", "薩", "ణ", "犠", "畏", "冯", "ๅ", "հ", "薰", "디", "ḥ", "i", "莞", "庄", "섯", "飄", "ؓ", "訕", "攕", "窰", "干", "股", "犒", "柄", "털", "픈", "˃", "흔", "样", "還", "餵", "赛", "幸", "炬", "屑", "港", "亚", "果", "廈", "围", "喝", "槤", "ს", "日", "૯", "శ", "ʹ", "題", "ᓱ", "ẖ", "맘", "御", "番", "揼", "脏", "董", "信", "៦", "ޠ", "端", "舟", "霧", "吧", "羡", "娱", "撫", "频", "赚", "ꤤ", "崭", "阻", "著", "롭", "汐", "维", "ྶ", "娘", "賠", "골", "ᾧ", "ᐨ", "額", "豆", "釀", "項", "హ", "挞", "특", "ѝ", "紳", "ᔭ", "栈", "ヶ", "ూ", "ᵽ", "貸", "썩", "朝", "啓", "顧", "彦", "谋", "み", "康", "េ", "̑", "そ", "染", "遲", "軽", "曇", "醇", "楣", "펜", "ና", "ሬ", "擸", "隔", "旺", "錘", "እ", "沸", "崴", "牽", "ณ", "ዌ", "者", "り", "香", "就", "喺", "拇", "붓", "쟁", "ꓺ", "냐", "섞", "連", "麗", "莪", "ਢ", "ݸ", "畳", "쉬", "豪", "嵌", "ٓ", "옆", "ཉ", "了", "着", "滤", "鬮", "د", "궂", "辉", "練", "ၤ", "椰", "η", "ঝ", "牲", "ྷ", "閉", "ێ", "包", "箱", "ޑ", "稠", "水", "晒", "驰", "泊", "輝", "偷", "ꓝ", "芹", "銷", "ᱞ", "ፏ", "ੌ", "印", "戈", "ो", "拮", "ᱜ", "ी", "小", "બ", "豹", "ٲ", "ಣ", "ቾ", "ơ", "黃", "侍", "貢", "跨", "ꓞ", "ĕ", "띄", "ނ", "縻", "懂", "攝", "缀", "沌", "ၺ", "ḃ", "沫", "蔓", "감", "疏", "膦", "찰", "驟", "據", "譀", "求", "冒", "寢", "ሟ", "耳", "裘", "缪", "ԑ", "ļ", "đ", "́", "挑", "鴞", "蜡", "帛", "紛", "斃", "场", "淄", "딘", "됐", "z", "兼", "ݾ", "种", "ඇ", "ŋ", "음", "蠻", "데", "图", "從", "ē", "骗", "撚", "ṇ", "轨", "원", "酯", "ค", "蝽", "錢", "ல", "현", "佯", "ի", "ಓ", "翼", "扉", "交", "ꤗ", "엘", "柞", "g", "신", "籍", "칫", "ဵ", "଼", "큐", "娅", "粉", "ἣ", "栏", "ō", "状", "悭", "而", "膣", "挕", "巻", "点", "暨", "従", "曰", "씀", "伏", "橡", "弈", "捨", "텍", "搾", "局", "w", "删", "ឲ", "貂", "ω", "改", "쩍", "충", "ず", "焐", "랍", "袤", "〇", "婷", "ತ", "γ", "衷", "ص", "誼", "妝", "益", "逹", "麟", "兩", "징", "ਬ", "焖", "熄", "虧", "直", "럭", "답", "鸮", "郝", "精", "谏", "减", "촉", "僻", "晨", "ާ", "ဤ", "汙", "遼", "鬆", "ἥ", "祟", "ղ", "ӗ", "湘", "ඟ", "蜓", "ಖ", "赣", "릭", "ӑ", "좌", "瘀", "ਖ", "瞞", "워", "砧", "ǩ", "淡", "娶", "奨", "浏", "u", "с", "戦", "铎", "鱈", "属", "ಟ", "謝", "咯", "贿", "ș", "箔", "ٚ", "檸", "જ", "ĵ", "漢", "勾", "ো", "蟳", "얀", "豊", "ز", "당", "烛", "လ", "繏", "揃", "낡", "훌", "ਰ", "奇", "愣", "啶", "労", "٢", "仅", "ǔ", "民", "办", "莘", "歳", "掌", "剩", "槲", "邓", "述", "庾", "下", "炆", "쩔", "덮", "빈", "桮", "ٙ", "듯", "说", "ۆ", "旷", "颱", "ழ", "ὄ", "ဃ", "弃", "鎗", "爁", "ὑ", "怖", "ދ", "ਭ", "莽", "鸻", "騙", "ἵ", "姜", "ü", "ῷ", "梦", "鈍", "亏", "겼", "踵", "想", "電", "治", "텅", "ೊ", "笃", "艱", "랐", "ĉ", "令", "ૌ", "周", "腭", "潮", "屯", "業", "肅", "歹", "糸", "þ", "섹", "血", "粪", "应", "阅", "砌", "茸", "悬", "ڒ", "ह", "擔", "잉", "엔", "嫁", "좇", "濾", "截", "統", "翟", "形", "恶", "ಞ", "籤", "妙", "鹉", "擴", "ᎏ", "ፗ", "ॆ", "绣", "ト", "พ", "残", "̯", "堺", "虾", "渓", "栖", "ḋ", "来", "佇", "宋", "驳", "亮", "ⵍ", "猎", "놀", "핏", "蔭", "트", "䄛", "烽", "捞", "嶺", "થ", "格", "回", "病", "段", "뉘", "뵐", "젓", "後", "今", "剰", "ෂ", "贈", "护", "密", "ҕ", "ឡ", "胿", "류", "击", "٬", "憤", "ཪ", "팡", "殉", "繡", "ዳ", "滲", "ဿ", "祖", "뭉", "燉", "ශ", "ਈ", "材", "ઙ", "ዻ", "啩", "尾", "亢", "蜆", "져", "樁", "ዠ", "ਣ", "ଔ", "國", "钧", "为", "き", "፧", "揀", "ݨ", "ᔂ", "釐", "끊", "돕", "鬱", "抿", "瞄", "备", "燕", "똥", "ꓮ", "순", "東", "王", "玻", "坏", "泌", "뇌", "薈", "驕", "汁", "原", "唆", "젯", "ቑ", "ت", "娥", "煮", "貝", "ዂ", "ꓫ", "葳", "察", "ը", "ሡ", "贪", "ぇ", "吽", "嗚", "ᎌ", "概", "注", "ᵻ", "駒", "峠", "鉤", "꿇", "鱿", "欄", "ಢ", "깃", "莢", "ឆ", "绊", "ζ", "舍", "酰", "澈", "观", "藥", "ゲ", "仿", "傾", "숫", "ະ", "张", "硞", "됩", "운", "舘", "ৌ", "펄", "닌", "弹", "ወ", "队", "ؙ", "咇", "神", "臥", "િ", "ɘ", "磕", "肪", "て", "休", "ፉ", "裔", "ὖ", "蛹", "皱", "ं", "ബ", "오", "摇", "ག", "च", "設", "圏", "剷", "搐", "泵", "扔", "ਉ", "뱀", "檢", "抑", "ぬ", "摺", "蜚", "琏", "벨", "噛", "泪", "尷", "낳", "破", "캔", "ય", "簽", "底", "与", "ų", "傢", "ゴ", "ଏ", "她", "揞", "먼", "ປ", "帆", "均", "心", "森", "尊", "묽", "泗", "搂", "ឿ", "充", "靂", "趴", "針", "ෛ", "ဳ", "ə", "걸", "裙", "姓", "赋", "辰", "範", "왼", "譲", "懇", "藉", "孢", "̤", "遷", "ጅ", "違", "ጯ", "舵", "ἕ", "υ", "같", "걷", "化", "ᐠ", "끄", "ݯ", "域", "ੳ", "坪", "份", "卡", "ᴘ", "轿", "뜰", "隱", "阎", "枣", "ท", "블", "確", "骄", "其", "ԋ", "ચ", "ડ", "徛", "눕", "丕", "ঊ", "필", "랫", "̍", "咳", "խ", "沅", "倪", "撻", "擲", "깔", "緬", "쬐", "袁", "가", "没", "率", "現", "렬", "籲", "ተ", "颤", "尋", "飴", "斤", "磡", "ፎ", "ⵏ", "脇", "仇", "箩", "呱", "ቢ", "ډ", "ാ", "估", "论", "哎", "矿", "泼", "嘟", "ṛ", "ᑶ", "閩", "鳴", "ী", "泽", "ứ", "喙", "ॊ", "汉", "功", "령", "謎", "墟", "헤", "術", "棄", "韫", "ۖ", "드", "罐", "ོ", "菲", "ޏ", "ч", "诸", "욥", "ٔ", "雞", "ふ", "前", "毙", "睭", "葆", "综", "报", "荠", "离", "ɖ", "ವ", "윗", "申", "ʃ", "爸", "정", "ꓷ", "吗", "漱", "事", "蛳", "ݽ", "笠", "岗", "寒", "濤", "们", "資", "પ", "贡", "ኂ", "峇", "蘿", "ঐ", "榉", "抵", "渝", "ᎃ", "操", "怀", "ඨ", "霹", "争", "码", "ὐ", "倣", "橐", "닥", "았", "蘑", "ਲ", "ʾ", "溜", "約", "尔", "ⷕ", "ꓥ", "势", "아", "ቨ", "ᔣ", "儲", "巳", "摔", "ъ", "糜", "티", "辆", "ಫ", "ጫ", "弁", "់", "笔", "ዬ", "૭", "沃", "車", "铬", "鳞", "ӹ", "板", "맺", "搬", "于", "ş", "磐", "ķ", "व", "鯖", "宁", "茛", "ې", "耙", "悦", "등", "闘", "蚶", "寅", "弱", "ቓ", "昇", "ꤙ", "演", "壓", "隷", "訊", "飛", "ం", "ដ", "澡", "蚣", "扒", "ట", "넷", "寡", "겟", "效", "波", "銅", "伯", "뾰", "곤", "聲", "无", "ഷ", "成", "盃", "燈", "姿", "ઝ", "漚", "披", "ൽ", "꽹", "卅", "腎", "哂", "칙", "ሐ", "ဩ", "즌", "범", "欉", "猶", "済", "ฟ", "市", "殖", "袱", "颠", "킴", "볼", "捩", "箍", "둠", "匾", "疯", "克", "掰", "卜", "砖", "癫", "ẏ", "ょ", "货", "で", "蛙", "ˈ", "押", "鞏", "亜", "ᐌ", "′", "ஈ", "器", "ṟ", "வ", "揺", "줍", "ひ", "ҫ", "籠", "襲", "啞", "ꓐ", "紡", "熨", "拝", "階", "ៀ", "女", "刷", "坂", "ピ", "칩", "硩", "ǟ", "覕", "雾", "讷", "芦", "훨", "է", "つ", "荊", "ఓ", "洁", "勤", "ኬ", "搦", "镬", "庚", "烌", "패", "窒", "ⱡ", "ݼ", "ಧ", "に", "タ", "ூ", "酒", "棟", "ὲ", "ᔫ", "ົ", "稿", "ȃ", "馭", "മ", "ᐁ", "揪", "키", "桤", "ޡ", "ぎ", "ฤ", "馴", "婚", "喽", "吓", "贵", "楞", "ڑ", "ὗ", "沓", "ۇ", "畅", "旋", "존", "貓", "ޔ", "殻", "爭", "徽", "唞", "冉", "洗", "汫", "놓", "隨", "贸", "覆", "ڛ", "臘", "陋", "學", "塔", "짖", "ଅ", "挷", "仕", "국", "니", "テ", "ĩ", "红", "醒", "덩", "6", "言", "疹", "嚟", "ጆ", "偃", "躲", "劑", "겉", "ὴ", "檔", "凄", "华", "ͻ", "吐", "齿", "ግ", "荀", "賓", "ষ", "午", "櫥", "闵", "飆", "飼", "ꓩ", "ା", "笨", "ᔗ", "ヘ", "赫", "ٮ", "廉", "暫", "佰", "்", "沒", "蕊", "ፁ", "寄", "補", "◂", "鸿", "肇", "ዓ", "侈", "ţ", "껑", "瀝", "部", "ê", "蚓", "ᑏ", "聂", "戍", "आ", "纺", "嗨", "絡", "겐", "尺", "ẓ", "墜", "ꤥ", "ᓲ", "낟", "对", "帯", "냉", "變", "ᔒ", "躡", "拧", "蜻", "丢", "蛏", "咐", "組", "鍵", "舗", "僅", "挾", "숲", "ꓑ", "樞", "到", "힐", "丧", "掲", "あ", "堤", "렉", "ǧ", "ሽ", "莊", "砵", "چ", "윤", "ę", "ឬ", "贴", "締", "얇", "肃", "胰", "괴", "傀", "黯", "ז", "驹", "弯", "汽", "調", "ے", "卸", "污", "摻", "曬", "ጪ", "把", "ছ", "ӱ", "텐", "羹", "傻", "薄", "얻", "冤", "᷅", "낭", "狱", "盔", "섰", "缶", "枵", "匀", "咨", "챙", "ᱦ", "ຊ", "ጹ", "继", "聯", "漳", "穡", "駝", "ඤ", "守", "芪", "揈", "禁", "続", "뀔", "沉", "譽", "ៃ", "诛", "ட", "溝", "潤", "碟", "ჩ", "整", "১", "儘", "兑", "뺨", "次", "隕", "造", "뎅", "ஃ", "募", "羽", "摩", "ை", "铁", "悶", "銜", "륵", "獅", "ႂ", "懸", "弾", "藜", "焉", "汴", "권", "含", "曉", "敲", "ક", "옷", "길", "姫", "ṯ", "傘", "镧", "ቿ", "슨", "深", "औ", "၃", "ប", "۟", "ጥ", "普", "繋", "洘", "꼬", "欽", "殺", "缨", "밖", "如", "ῶ", "兔", "্", "稼", "럴", "自", "屌", "該", "ė", "博", "委", "卻", "ه", "ႉ", "ጿ", "祝", "绍", "쪼", "実", "坩", "碎", "꼭", "價", "斋", "芝", "珠", "ɉ", "쓴", "症", "심", "බ", "妾", "ക", "ኲ", "或", "껴", "龛", "牺", "吨", "灑", "ៈ", "哄", "個", "ỷ", "ḏ", "๊", "ሴ", "适", "ຶ", "耐", "竿", "え", "堡", "駁", "猜", "ौ", "ẉ", "모", "象", "획", "鹌", "ः", "专", "દ", "藩", "말", "司", "镑", "̋", "ň", "莱", "囂", "ฒ", "ઘ", "俘", "疆", "托", "ሪ", "陨", "鸚", "称", "家", "恨", "撨", "源", "錆", "柚", "箬", "연", "ޢ", "哺", "豫", "虎", "黄", "메", "峙", "邱", "נ", "흙", "萧", "苳", "蚀", "智", "許", "ჷ", "鉴", "ೀ", "軌", "ݚ", "芥", "戯", "卒", "ញ", "ǎ", "媚", "候", "ဠ", "纯", "㓤", "軍", "ጤ", "寬", "昨", "ⵣ", "谥", "젖", "甸", "卉", "馒", "ଷ", "ჺ", "偽", "宣", "間", "嗜", "遜", "函", "율", "娇", "猴", "騰", "떠", "職", "ě", "熊", "납", "鍛", "頃", "典", "ポ", "砷", "悲", "슭", "狗", "α", "割", "喪", "途", "p", "姐", "篾", "插", "赤", "ፅ", "犀", "専", "野", "驗", "ò", "筱", "밤", "秉", "爆", "孕", "宽", "ु", "σ", "饿", "므", "エ", "撞", "忘", "声", "さ", "葫", "胖", "ڌ", "瓜", "纂", "喊", "餅", "ᔓ", "계", "领", "ឪ", "ុ", "械", "俠", "擅", "戊", "표", "૪", "车", "養", "客", "ỉ", "楼", "련", "拼", "樂", "‒", "櫃", "ජ", "从", "濒", "乐", "ଟ", "馆", "ᐣ", "ഠ", "ӏ", "垄", "蓣", "甦", "义", "払", "揽", "ዙ", "ۅ", "둡", "鈴", "佩", "憬", "ᐆ", "ቐ", "嬌", "徊", "ዚ", "已", "ᔨ", "ۄ", "刘", "ะ", "논", "吖", "憂", "扛", "ؤ", "趣", "ြ", "促", "ଗ", "協", "屍", "湖", "蓟", "ᓴ", "ぉ", "ि", "ゆ", "ඊ", "磚", "較", "آ", "관", "택", "��", "拔", "ன", "邵", "澹", "ï", "៌", "奸", "硬", "甫", "环", "뱉", "舌", "棋", "啊", "街", "襟", "ṱ", "喰", "處", "孜", "螯", "速", "매", "錫", "े", "c", "錄", "ଞ", "ພ", "蠹", "腐", "災", "ᑉ", "ᔩ", "타", "掃", "ށ", "ភ", "놋", "կ", "羧", "詰", "览", "厘", "ೇ", "涙", "ሒ", "흩", "엽", "터", "ね", "虱", "盐", "严", "蓋", "復", "ຟ", "溃", "흠", "ሿ", "ྟ", "ά", "ਂ", "ය", "賭", "窄", "ल", "慢", "ඉ", "ꤎ", "ˊ", "緑", "射", "촌", "狀", "ଓ", "재", "ݶ", "枫", "娴", "涼", "ᑗ", "ส", "朴", "筷", "患", "溫", "天", "히", "फ", "羅", "략", "珈", "졸", "艷", "武", "粿", "倫", "壹", "节", "显", "惶", "হ", "ی", "飓", "ፔ", "ን", "움", "藁", "혼", "聽", "ጄ", "苇", "ഝ", "巨", "된", "ა", "붕", "蝉", "碩", "蚁", "攑", "烹", "こ", "光", "商", "钱", "ח", "ෑ", "唉", "岔", "٨", "静", "ǵ", "廬", "๋", "ᱤ", "ซ", "版", "壕", "ў", "脣", "ฯ", "玩", "撑", "균", "榻", "엇", "儿", "临", "ā", "고", "ج", "掂", "త", "뵙", "샤", "臍", "怪", "苛", "稔", "庆", "薟", "畫", "宵", "閑", "ٛ", "發", "承", "두", "苓", "谁", "漉", "礎", "睫", "覗", "糕", "糾", "囉", "稍", "顿", "ᒧ", "役", "ኘ", "身", "由", "湧", "滩", "挟", "찮", "ਇ", "ΐ", "되", "謀", "愛", "쭉", "惯", "瞒", "權", "烂", "䆀", "ዷ", "唧", "妃", "କ", "ố", "ർ", "ὺ", "苷", "算", "酶", "鱟", "疮", "索", "匙", "怨", "션", "趯", "籮", "舔", "扣", "服", "狮", "醫", "幡", "絆", "壱", "发", "搶", "雳", "膀", "唪", "茨", "坐", "警", "蒸", "ึ", "ⵊ", "処", "禿", "祀", "檯", "ˉ", "逍", "ಕ", "ⷈ", "ಛ", "妖", "刑", "迷", "깅", "淮", "贖", "靓", "ቡ", "鰂", "寨", "生", "烯", "ી", "ഐ", "룻", "ḽ", "瑚", "ဈ", "증", "했", "庁", "躺", "繫", "慈", "抆", "噩", "麵", "卑", "篮", "饲", "무", "据", "捀", "爪", "凰", "释", "帘", "퉁", "癮", "级", "嗱", "ґ", "夯", "ꤐ", "˻", "也", "羁", "替", "ӯ", "ၞ", "ˆ", "噃", "陷", "涯", "ୌ", "碉", "濱", "베", "ب", "켜", "ᔛ", "蚵", "স", "ɩ", "ੇ", "̖", "帮", "것", "帚", "북", "竣", "청", "脳", "眉", "囊", "잦", "柃", "僑", "۶", "蕈", "实", "滯", "磨", "ሹ", "经", "盪", "嗯", "闭", "閬", "휼", "릿", "놈", "釘", "晤", "્", "肺", "腱", "腿", "甬", "ӝ", "拡", "郁", "酋", "留", "束", "杰", "ì", "啲", "୪", "ཙ", "刪", "攒", "餃", "偶", "玫", "뿐", "钙", "鳕", "鵬", "්", "婢", "良", "但", "控", "盒", "육", "ӥ", "叫", "攰", "짓", "桿", "抔", "封", "ఏ", "검", "루", "咒", "ꤩ", "胸", "ப", "ャ", "腦", "核", "锚", "叶", "宸", "춧", "拷", "盗", "퍼", "阮", "ぶ", "凍", "各", "敌", "ቬ", "姊", "ಆ", "ྐ", "ح", "ה", "脅", "榧", "갑", "ঞ", "ಜ", "멕", "閣", "ओ", "楷", "ሯ", "订", "匝", "ሎ", "ዣ", "欲", "袍", "伴", "ஜ", "겸", "竜", "拐", "ฬ", "գ", "ክ", "潟", "褻", "ආ", "ဓ", "刮", "辑", "當", "柔", "ꤏ", "蜈", "の", "르", "維", "잿", "急", "句", "뚜", "渗", "독", "琛", "賈", "藻", "봉", "机", "ऒ", "县", "ჟ", "檨", "۷", "憧", "䀫", "阳", "踪", "延", "є", "ベ", "咋", "补", "ᔥ", "携", "많", "妆", "緊", "떼", "崎", "핑", "嗲", "抽", "씩", "ീ", "泷", "დ", "ਥ", "던", "군", "문", "ፆ", "饭", "ꓒ", "憑", "癸", "趙", "أ", "칭", "猩", "龙", "श", "ꓪ", "跪", "顕", "쓰", "喃", "恼", "ǁ", "待", "か", "작", "搽", "銭", "貧", "ឺ", "莎", "輔", "礦", "π", "戒", "咀", "雁", "댁", "玄", "楝", "敢", "각", "편", "톤", "即", "牠", "퓨", "ഖ", "噏", "ウ", "乓", "拓", "嚷", "蟒", "冠", "ל", "稷", "唸", "粹", "沼", "茴", "柳", "渋", "亦", "ᾅ", "ు", "ꓸ", "ṳ", "ɪ", "ᒡ", "ȯ", "輛", "甄", "랬", "ὔ", "妮", "暢", "님", "媲", "暗", "噗", "ி", "ྔ", "ᒍ", "隼", "鎌", "抗", "梓", "载", "띤", "轰", "剾", "ⵚ", "ἆ", "癌", "士", "몫", "ើ", "톨", "係", "噜", "务", "苈", "池", "纳", "癒", "ᎁ", "濃", "ሊ", "植", "行", "萎", "ங", "坎", "쥐", "మ", "肌", "০", "缝", "圖", "徹", "넛", "ش", "连", "្", "ઓ", "篱", "ọ", "ฌ", "苣", "ફ", "տ", "混", "ୱ", "穏", "ണ", "銘", "廁", "ី", "蟹", "ጺ", "ꤣ", "ٰ", "살", "钩", "ପ", "ใ", "便", "绶", "ུ", "措", "嘴", "婦", "だ", "芫", "ຍ", "ཀ", "后", "ढ", "舞", "決", "۱", "曾", "兰", "舜", "ኣ", "濟", "삯", "ῥ", "샘", "기", "〜", "布", "睾", "업", "建", "箕", "ལ", "隋", "ਠ", "®", "阶", "関", "֊", "覽", "铨", "賺", "䫌", "踭", "챔", "焦", "態", "ⵖ", "갖", "م", "趟", "则", "악", "胡", "鲾", "ํ", "ଯ", "牟", "ṕ", "ⷔ", "公", "潇", "鼎", "罩", "雙", "與", "徵", "谴", "椎", "桶", "ऱ", "殼", "푼", "涩", "勧", "賜", "辱", "얌", "ካ", "陆", "吃", "琼", "간", "万", "앤", "睏", "ᔾ", "ꤨ", "ժ", "쉰", "菱", "滑", "泰", "ҥ", "녹", "褐", "ಡ", "ぷ", "腧", "曳", "傳", "谎", "炮", "掴", "ઉ", "â", "胃", "ኪ", "곱", "駛", "纠", "競", "캐", "へ", "寛", "劲", "안", "ి", "揉", "ਚ", "旁", "ቊ", "侃", "恋", "ᱣ", "骏", "溧", "揭", "ฎ", "렐", "ң", "迟", "播", "ᎊ", "桐", "幌", "涡", "界", "복", "ョ", "銮", "产", "衣", "릴", "鍊", "낄", "啟", "ⵥ", "遺", "聞", "腰", "ṓ", "鏡", "뜯", "禮", "向", "̨", "ዖ", "往", "吉", "븐", "砕", "債", "٣", "잘", "ն", "r", "ग", "ఢ", "圣", "賴", "芙", "줬", "脓", "龍", "哉", "禽", "询", "雪", "噹", "ݙ", "两", "纖", "ḯ", "õ", "९", "驅", "審", "蝎", "碲", "蕉", "ꤠ", "毽", "寮", "載", "塁", "鉎", "畑", "혜", "굽", "慶", "暮", "蜘", "虏", "顺", "魄", "돼", "逸", "ᾗ", "𢳂", "擋", "렴", "탑", "帥", "鸣", "礙", "ሚ", "镇", "ق", "腳", "ૅ", "短", "측", "歕", "姨", "室", "楂", "ट", "위", "ຖ", "ॽ", "夥", "燒", "ᎋ", "ტ", "墳", "牌", "鑼", "ᐦ", "懊", "衬", "叩", "體", "則", "ỗ", "才", "ष", "鱉", "ź", "釈", "贫", "허", "ማ", "丹", "要", "𢱕", "俚", "烁", "ṹ", "ऴ", "胭", "馈", "衙", "仪", "ନ", "压", "璋", "褪", "卫", "装", "攪", "拎", "ዟ", "얼", "ȉ", "獄", "貌", "ጓ", "哲", "奮", "벳", "丘", "某", "历", "钾", "៨", "ു", "糙", "‐", "컴", "잔", "倖", "ቧ", "ఔ", "穩", "謂", "또", "必", "盅", "億", "ꓛ", "য", "担", "햄", "끗", "伸", "满", "腔", "稚", "迴", "己", "貼", "伻", "芒", "陽", "餌", "द", "ဆ", "ኰ", "높", "侵", "冧", "锯", "齐", "밴", "吩", "慌", "鋪", "凳", "魍", "厚", "娄", "蛋", "ሰ", "介", "여", "넌", "槟", "坦", "还", "禹", "ۿ", "잠", "潲", "테", "ި", "営", "嫉", "土", "谨", "捅", "做", "誇", "见", "롯", "め", "셔", "糟", "獐", "밭", "贏", "華", "讐", "ე", "새", "ṋ", "获", "ἐ", "橘", "映", "瞧", "兆", "卧", "恍", "क", "줌", "팔", "顷", "例", "때", "筅", "ᱮ", "羣", "転", "ޤ", "ɛ", "廊", "繁", "ૂ", "横", "讚", "霓", "眼", "毅", "朔", "培", "倚", "壟", "ᓄ", "ָ", "ޖ", "얗", "ᎄ", "澎", "ἦ", "奄", "॑", "揩", "螞", "坳", "ິ", "蠍", "결", "酸", "术", "夠", "곧", "蚜", "翠", "仑", "證", "스", "ګ", "皆", "േ", "봄", "噴", "隶", "寝", "茂", "ו", "ǥ", "諦", "獻", "骚", "戴", "ᔐ", "龄", "ቃ", "狐", "咾", "构", "臂", "嘩", "비", "诶", "涉", "睛", "ẽ", "델", "农", "適", "浪", "ᕽ", "聳", "缉", "싫", "耸", "點", "褶", "ڈ", "他", "肚", "ธ", "頸", "闊", "掀", "ጀ", "艙", "購", "냅", "惜", "骆", "雨", "k", "揤", "稀", "ᑕ", "吸", "绩", "ჵ", "隣", "ང", "솅", "겅", "ഫ", "콩", "徴", "滅", "擺", "亀", "碛", "瞻", "肨", "础", "ṅ", "棲", "ཱ", "人", "筛", "祉", "띠", "邪", "려", "帷", "플", "痺", "鲍", "ရ", "谣", "ၡ", "襯", "ម", "생", "戶", "ꤦ", "ճ", "异", "螂", "蜴", "钵", "ꓵ", "じ", "靜", "ख", "솟", "な", "裤", "환", "포", "s", "孩", "ጶ", "迫", "༡", "ኦ", "煲", "ß", "凉", "较", "键", "ษ", "衔", "竹", "โ", "刨", "攞", "鬃", "맹", "ك", "ਘ", "况", "釜", "夺", "ਗ", "ॅ", "ڙ", "霸", "腕", "ී", "敆", "勵", "둥", "향", "ဲ", "᷆", "絚", "葛", "뜩", "抾", "ӣ", "蠶", "右", "ഏ", "劏", "凶", "탕", "膏", "很", "적", "᷊", "ศ", "挪", "阵", "漿", "鲩", "总", "顛", "ἧ", "扲", "得", "峯", "వ", "ଙ", "ԛ", "ỵ", "ྕ", "剂", "匹", "냥", "闷", "僭", "깍", "侨", "亲", "봐", "望", "桫", "ệ", "ǫ", "啸", "ԓ", "ူ", "桨", "ᑾ", "럿", "近", "밧", "節", "ཚ", "圆", "闸", "ᒃ", "塊", "訣", "潰", "捒", "册", "迈", "꼈", "挫", "骂", "猪", "ი", "页", "ખ", "ψ", "扁", "ネ", "ଠ", "ઢ", "裁", "ラ", "3", "鑊", "挚", "ள", "鞍", "感", "套", "奠", "刃", "衞", "속", "곁", "ᾔ", "わ", "ᴊ", "ష", "͘", "⵿", "舒", "突", "ለ", "塀", "동", "酥", "戚", "硤", "创", "佃", "踎", "逻", "њ", "乃", "么", "痘", "킹", "恭", "廻", "拠", "谅", "逊", "鋼", "呸", "ڳ", "訝", "炎", "‵", "ಎ", "ӂ", "慷", "橫", "税", "晰", "矣", "业", "夭", "拢", "宛", "낼", "່", "蹦", "ƭ", "ὧ", "်", "捏", "匠", "祠", "經", "ކ", "頡", "僫", "哩", "紅", "窩", "砰", "共", "攜", "ൺ", "霉", "ଇ", "옛", "蒺", "萍", "ഒ", "蓉", "풀", "ല", "ቂ", "致", "ਾ", "呜", "ꜱ", "埔", "ፒ", "都", "ැ", "酉", "授", "嘲", "恆", "挿", "頭", "ⵂ", "出", "싸", "惧", "荣", "妈", "ၚ", "菀", "刚", "巴", "困", "맥", "ġ", "쌈", "汚", "ʀ", "ꓔ", "鍾", "嬤", "莓", "៩", "怒", "挂", "霖", "宦", "쌍", "т", "萌", "득", "惟", "姦", "ಚ", "ฑ", "风", "愿", "ᒫ", "殕", "x", "ҿ", "̕", "덱", "۽", "楚", "ш", "昼", "桃", "孽", "만", "庶", "օ", "腫", "む", "爺", "ĝ", "韵", "̟", "綁", "а", "채", "獸", "饺", "餡", "鏈", "炉", "露", "¥", "饉", "槌", "匂", "罢", "罰", "ᒎ", "ឫ", "그", "차", "됨", "름", "ɟ", "答", "榆", "梘", "ዋ", "穂", "맞", "ワ", "让", "ᾠ", "枢", "蓼", "-", "ޮ", "鼩", "總", "ऐ", "본", "구", "挛", "롱", "瑪", "성", "삶", "漩", "抓", "殊", "韶", "ឯ", "語", "晡", "儕", "붉", "꼽", "형", "潔", "ꜘ", "ጱ", "ኃ", "皓", "协", "ዃ", "伽", "晃", "屠", "ଜ", "쩌", "尸", "叙", "ቱ", "僕", "ņ", "朦", "ဍ", "攤", "口", "膳", "̅", "凭", "р", "佛", "濯", "ތ", "猛", "剌", "く", "澤", "ಹ", "炸", "按", "遮", "傷", "肩", "譯", "枕", "仆", "佔", "蚤", "ব", "ഁ", "ᐊ", "滇", "ኺ", "仍", "못", "嗮", "ⴻ", "ྨ", "剤", "蔬", "豌", "菁", "ç", "評", "म", "ূ", "ڇ", "骝", "쌀", "雲", "앓", "ఈ", "ቴ", "ᐃ", "ൊ", "給", "駄", "矢", "ྞ", "爽", "栄", "哨", "켈", "ሥ", "犹", "意", "坚", "富", "떡", "ெ", "詢", "親", "拒", "昔", "ޕ", "ᓶ", "暑", "体", "័", "盧", "鲤", "汇", "权", "营", "剧", "එ", "젤", "遊", "ữ", "រ", "奴", "拌", "構", "ඡ", "勃", "伎", "杓", "屹", "勝", "殆", "ዜ", "慎", "床", "뻐", "晶", "묵", "觉", "鮑", "煞", "採", "ˋ", "ຕ", "욕", "ཟ", "ᐐ", "链", "낍", "雏", "ነ", "冷", "ໄ", "獎", "汗", "絶", "孝", "ਦ", "稅", "吵", "誡", "葵", "겨", "枷", "易", "ヨ", "継", "ែ", "ኛ", "儑", "ᒞ", "伺", "넋", "固", "問", "庵", "ೂ", "빼", "セ", "ង", "b", "ቭ", "盤", "я", "剛", "ಭ", "雰", "ề", "闆", "地", "荫", "顎", "産", "ှ", "ű", "ް", "ڤ", "聆", "ጬ", "ዢ", "刀", "乗", "鹽", "夾", "蟬", "篩", "ෘ", "렵", "후", "輩", "빅", "凌", "过", "ы", "鞋", "尿", "仮", "喷", "ड", "꺼", "别", "ຸ", "ঘ", "榮", "巫", "羨", "哒", "赴", "凋", "喬", "籌", "羰", "ऋ", "钓", "雄", "烦", "ꞌ", "듀", "锑", "掛", "咆", "恕", "ሖ", "碌", "躁", "៊", "汕", "켰", "佢", "隙", "杉", "ఛ", "ݰ", "憶", "里", "納", "串", "올", "笪", "ឥ", "猟", "밝", "ഘ", "ᐲ", "滨", "ボ", "败", "ფ", "疊", "ᐳ", "双", "嘎", "잇", "邹", "彼", "荔", "徒", "榄", "ˏ", "招", "른", "類", "荞", "製", "ធ", "ኽ", "栓", "瑙", "憾", "龚", "発", "伙", "삐", "锣", "ַ", "ጲ", "琴", "吱", "兖", "鑢", "축", "潜", "收", "쭈", "ዐ", "ቌ", "丟", "蜊", "隍", "頻", "第", "虽", "ֆ", "ក", "멘", "豔", "膜", "翻", "낫", "백", "婵", "坡", "織", "설", "들", "ᱪ", "至", "韩", "з", "鯊", "拗", "钢", "ऊ", "爱", "蹟", "ե", "ú", "屐", "자", "婿", "அ", "酗", "璽", "ἤ", "級", "挺", "눈", "ප", "痹", "諍", "石", "떤", "襪", "极", "顫", "อ", "ቝ", "胁", "洱", "ᔑ", "拭", "ై", "擾", "옳", "ග", "艾", "暸", "۹", "蠣", "ộ", "討", "嗓", "ဨ", "ቛ", "题", "ᱢ", "荼", "λ", "찬", "ధ", "轄", "ჰ", "彩", "不", "計", "ม", "ɤ", "茎", "的", "멍", "趕", "簡", "ⷘ", "鴨", "辈", "蹄", "般", "艺", "獣", "및", "ū", "液", "揦", "ផ", "責", "ഗ", "臀", "浊", "농", "ޫ", "瑜", "२", "灶", "ፍ", "旗", "冶", "捌", "墙", "伞", "ବ", "ሆ", "ҷ", "鳐", "デ", "疗", "裝", "빕", "庫", "죽", "웬", "葉", "価", "掟", "蒂", "眶", "ⴷ", "塗", "ด", "掣", "钮", "ै", "ە", "厝", "۰", "ፑ", "찾", "淋", "ఇ", "魂", "劈", "二", "誤", "号", "縦", "躍", "鮭", "ῦ", "ア", "铃", "徘", "隅", "问", "訪", "妨", "邸", "ĥ", "頬", "ᒀ", "咽", "關", "ぢ", "勒", "鼹", "躊", "曆", "懶", "殃", "၇", "蠱", "봇", "尬", "随", "阴", "쏟", "賊", "蹤", "깝", "唇", "ら", "粗", "歌", "៣", "曵", "렘", "頌", "뿌", "ễ", "ృ", "١", "뿔", "케", "ھ", "ɜ", "珊", "ཋ", "漠", "懲", "ཆ", "圾", "ɓ", "沾", "覧", "崇", "特", "覃", "陰", "շ", "탉", "៤", "丞", "碍", "閃", "ฉ", "壘", "兵", "扞", "帳", "鲹", "驼", "다", "轉", "猥", "順", "殘", "᷄", "因", "냄", "ꜙ", "ם", "寿", "震", "肽", "騮", "ắ", "霜", "ꓙ", "塑", "ὢ", "扩", "篷", "ῃ", "ۡ", "땀", "偵", "挜", "吻", "庸", "ັ", "ଛ", "歷", "蝇", "휘", "ຜ", "啼", "鹰", "婺", "ń", "摧", "温", "쳤", "芸", "梳", "උ", "饅", "芩", "喱", "ᐺ", "有", "ጃ", "潛", "籬", "尪", "每", "俬", "ႅ", "扯", "즈", "娛", "ա", "沦", "渴", "န", "槽", "紐", "씌", "蚋", "罕", "律", "肢", "契", "ģ", "鱼", "遏", "ဗ", "ή", "荆", "畢", "倍", "힘", "莲", "ⴾ", "厭", "ბ", "驴", "로", "蜢", "ڕ", "х", "歸", "覚", "瞭", "ຼ", "ᔮ", "硅", "輯", "ʂ", "ᓇ", "耕", "祥", "青", "좋", "月", "违", "偉", "提", "縮", "畿", "菓", "ዺ", "讀", "諷", "ռ", "ნ", "ᑦ", "羊", "গ", "恤", "갸", "膨", "槓", "痠", "쇠", "갈", "勻", "ر", "珍", "ῒ", "劃", "彰", "ሜ", "厅", "ލ", "趾", "莼", "耻", "存", "粘", "琅", "习", "เ", "壆", "គ", "錦", "ଥ", "짠", "琥", "碗", "画", "ḫ", "嗣", "鴉", "媛", "唏", "稱", "沿", "シ", "쿤", "惱", "˗", "侧", "樸", "ۗ", "剔", "ˀ", "頂", "唔", "谷", "詭", "인", "球", "阜", "團", "랑", "韭", "ି", "냈", "瀆", "ỡ", "瓣", "ଶ", "瘟", "惡", "び", "'", "ε", "ᒬ", "斑", "한", "っ", "천", "ǃ", "僚", "划", "급", "店", "ҙ", "达", "ȩ", "號", "栗", "품", "砸", "俏", "廢", "盞", "ꤧ", "ڏ", "ŧ", "ȳ", "斷", "쨌", "쭐", "ൾ", "桂", "活", "滿", "y", "벤", "꾹", "鲷", "燴", "沟", "岱", "ੜ", "苟", "合", "भ", "笼", "オ", "缽", "셰", "賞", "戏", "끔", "馬", "久", "勇", "ǂ", "섬", "ঙ", "य", "娼", "粒", "ൃ", "矶", "ἳ", "ユ", "婴", "訓", "願", "飜", "̌", "눔", "莫", "ḡ", "콜", "ᒸ", "翕", "싱", "྄", "ᒣ", "催", "另", "簾", "枚", "居", "积", "ޒ", "ř", "径", "哭", "増", "窑", "駆", "折", "诉", "伨", "廣", "격", "婆", "邦", "ඍ", "ⵅ", "賀", "헨", "ू", "昏", "번", "幾", "遂", "孭", "ⵆ", "纱", "ഭ", "멋", "推", "킨", "ぅ", "逐", "่", "蜍", "園", "削", "은", "២", "坠", "傲", "讽", "ዄ", "摯", "ꤊ", "确", "物", "袜", "건", "ኙ", "施", "立", "翔", "袋", "宰", "遵", "་", "蛤", "荨", "海", "š", "悯", "膽", "剥", "領", "枋", "烧", "룹", "០", "빵", "檻", "鄞", "藿", "敗", "ᑴ", "扫", "咱", "र", "斯", "枉", "ⴽ", "ض", "ထ", "귈", "恳", "짊", "猿", "涵", "蝣", "穫", "и", "ҽ", "ગ", "崩", "ጋ", "乏", "繪", "党", "抌", "邏", "疑", "ዼ", "暈", "痰", "闖", "揮", "膚", "佳", "応", "၁", "ஔ", "沽", "醛", "臨", "উ", "秦", "祸", "闽", "预", "曜", "վ", "़", "忝", "蝗", "달", "戇", "ጽ", "ꤑ", "깥", "ṫ", "浄", "ṑ", "û", "陛", "꽤", "旨", "気", "鉢", "ዴ", "挖", "吟", "腹", "萄", "嚶", "额", "厌", "六", "醜", "误", "抢", "륭", "ု", "漂", "廃", "כ", "虔", "侯", "覓", "害", "鹦", "憫", "ῳ", "值", "ሓ", "濡", "好", "搲", "㗎", "萝", "译", "ཎ", "ྣ", "불", "দ", "箇", "諾", "缘", "ط", "윈", "摄", "築", "ഴ", "锅", "ٞ", "踏", "忠", "顾", "ମ", "鱔", "竟", "몬", "脊", "賛", "ឱ", "礼", "ש", "眾", "활", "樣", "호", "ɏ", "菠", "衰", "ඹ", "凝", "ཌ", "险", "삭", "亩", "ጾ", "鎖", "幕", "峡", "ؒ", "̄", "맡", "仔", "惩", "錶", "과", "沱", "酮", "孖", "嗤", "縁", "ҟ", "댔", "几", "竖", "ぽ", "莺", "斌", "ⵛ", "汶", "ਸ", "续", "്", "拜", "峭", "갔", "硕", "鰡", "ቻ", "れ", "착", "迁", "艳", "看", "堂", "啋", "劇", "מ", "够", "ⵤ", "吳", "ⵡ", "抛", "ជ", "影", "将", "う", "ц", "鉸", "匿", "魔", "恐", "닦", "폰", "驾", "茄", "玲", "悉", "ロ", "汀", "屬", "蚊", "ᐗ", "ὅ", "匈", "死", "镶", "骤", "聘", "鳥", "馳", "加", "臭", "卓", "抨", "孵", "开", "ၟ", "钠", "휴", "蕎", "系", "吏", "痛", "陌", "鲈", "력", "卯", "苎", "ṽ", "当", "荡", "麭", "ᑊ", "ꓯ", "柜", "川", "擘", "ఘ", "芭", "欧", "聴", "壇", "捷", "ল", "椭", "혈", "灭", "ᄂ", "谭", "掠", "此", "避", "넉", "医", "ൌ", "뻗", "랴", "終", "爍", "濂", "ợ", "犯", "ⵎ", "ڍ", "쁨", "冻", "뭅", "ۨ", "ః", "ќ", "懒", "繊", "徳", "徐", "ያ", "ኔ", "镖", "漆", "૩", "링", "味", "虜", "댓", "ኅ", "ທ", "懐", "숙", "呕", "콘", "胺", "짜", "流", "卵", "弦", "褲", "ᱡ", "ᐢ", "먹", "抄", "析", "锐", "帜", "蜥", "豁", "恵", "琢", "既", "父", "语", "蟯", "ȓ", "꞊", "叢", "囥", "색", "正", "闪", "憎", "ಇ", "ં", "ǘ", "嘈", "ద", "ಾ", "岐", "ᾱ", "祿", "眨", "查", "辐", "螢", "撇", "ఠ", "웨", "祯", "ཧ", "嶼", "木", "紫", "q", "情", "జ", "ᓰ", "湳", "통", "ৗ", "仝", "李", "鷹", "疚", "֥", "彷", "升", "展", "藹", "す", "揚", "溶", "诫", "ⵗ", "真", "款", "受", "잭", "ᴍ", "关", "捎", "赔", "棍", "૦", "ျ", "능", "搣", "药", "ಗ", "撤", "ަ", "ఊ", "ó", "騒", "શ", "鱷", "蹛", "理", "週", "ෝ", "누", "래", "噬", "塌", "別", "鹿", "畜", "媳", "ŝ", "秃", "借", "̀", "纏", "說", "嚴", "蔔", "ぃ", "­", "痕", "餓", "ɗ", "鐵", "җ", "扎", "ॉ", "絨", "궁", "陝", "ủ", "ᴄ", "곳", "噓", "ὁ", "辭", "닭", "方", "쁜", "储", "迦", "鬢", "닿", "鄂", "ਤ", "嘿", "罗", "ா", "岸", "볍", "俊", "를", "諗", "ۂ", "ኼ", "對", "怦", "서", "缕", "鹹", "谈", "稳", "느", "إ", "અ", "ኑ", "헌", "ュ", "再", "叨", "長", "赠", "层", "垣", "ء", "豉", "琰", "덫", "翡", "쌓", "塩", "碇", "喘", "ഹ", "非", "ཕ", "컸", "冥", "祚", "ḵ", "垂", "鸽", "김", "嘉", "诵", "靴", "轴", "呢", "ጉ", "ס", "伤", "占", "부", "囝", "ੂ", "ඬ", "ᒶ", "濑", "鹼", "o", "៝", "壊", "导", "ɧ", "泉", "講", "国", "께", "嘶", "इ", "ꓱ", "瘫", "蘇", "励", "剖", "鲁", "瀬", "ꤖ", "ଂ", "漏", "篤", "蜱", "嘗", "須", "站", "忻", "暝", "よ", "盜", "ႃ", "យ", "ᱠ", "俞", "하", "ә", "ᑳ", "곡", "秒", "ઃ", "買", "완", "揿", "沐", "翹", "හ", "鏢", "若", "配", "吴", "焗", "予", "娟", "熬", "準", "ቋ", "ກ", "嚨", "穀", "ହ", "瀨", "屙", "州", "饱", "դ", "瀚", "乡", "鉄", "붙", "è", "ଳ", "ක", "踮", "락", "卦", "跃", "何", "蝶", "ᐱ", "ɦ", "ɨ", "尽", "蠓", "ぞ", "跣", "曙", "리", "歇", "ᒥ", "皇", "谓", "ダ", "挡", "擢", "纶", "铭", "霊", "躯", "尤", "ሃ", "閥", "ט", "惨", "驱", "ἡ", "山", "埃", "ἄ", "ኜ", "央", "左", "አ", "쇼", "酪", "拍", "砲", "愉", "덴", "贝", "v", "̃", "壩", "叭", "거", "惑", "ණ", "負", "ν", "추", "嬰", "毓", "咕", "饰", "룩", "처", "渊", "逼", "벙", "卷", "ఁ", "慣", "ಥ", "壢", "字", "晖", "泳", "ে", "贻", "泄", "릇", "寓", "崔", "會", "简", "坝", "読", "障", "ၼ", "밥", "银", "ؑ", "哽", "ゅ", "戌", "ຣ", "ჭ", "薇", "咪", "揹", "偿", "届", "ἰ", "협", "痀", "浆", "ᴛ", "篠", "ྤ", "맷", "赐", "丝", "苑", "衫", "円", "ᱫ", "俄", "试", "ዹ", "餘", "笙", "狩", "辨", "奖", "隧", "撐", "赵", "佘", "淚", "ඥ", "錠", "ἱ", "话", "男", "ǝ", "7", "ᱩ", "醸", "诗", "拶", "இ", "귀", "ဂ", "谢", "窗", "敏", "仁", "睡", "邁", "爵", "ဏ", "疲", "蒙", "֑", "鬼", "绿", "`", "將", "婭", "献", "姬", "簧", "沬", "肮", "咎", "辩", "ސ", "ٿ", "蘋", "币", "内", "巧", "ㄆ", "염", "딴", "滂", "鲇", "ꓽ", "貿", "梗", "ޞ", "餐", "닐", "妒", "癟", "ځ", "轶", "樺", "แ", "毯", "ខ", "殴", "晕", "핍", "ཞ", "융", "쉴", "框", "縄", "딪", "خ", "是", "哪", "ಒ", "毕", "辜", "訴", "熠", "값", "歲", "少", "세", "并", "淒", "혐", "畀", "院", "藨", "џ", "ⴱ", "쇄", "ꓓ", "架", "ŭ", "ଢ", "八", "牵", "ペ", "딩", "星", "痴", "ີ", "纬", "乞", "ン", "អ", "ᱲ", "篙", "數", "爬", "兀", "启", "떳", "夏", "黙", "敷", "φ", "秫", "ǚ", "平", "ր", "萱", "戻", "壮", "険", "였", "ӓ", "筊", "埕", "侶", "贤", "ᑆ", "讨", "̢", "蛾", "ሁ", "淪", "斛", "稽", "枝", "挈", "胶", "財", "팜", "椤", "焼", "ვ", "ଘ", "焱", "北", "憚", "嘜", "吹", "營", "鶏", "菊", "裾", "阪", "団", "蟆", "ց", "킬", "ɭ", "颊", "讯", "马", "٩", "熱", "ሺ", "ɒ", "છ", "芽", "朗", "ಿ", "レ", "ƀ", "摂", "ṿ", "壳", "碰", "囚", "ፐ", "归", "衝", "낱", "၂", "嘞", "墅", "晩", "뒹", "魁", "耗", "찍", "觀", "遢", "ဘ", "品", "弧", "석", "ב", "ϋ", "糠", "ਜ", "硼", "앴", "င", "消", "헐", "ɑ", "้", "赎", "块", "又", "ɣ", "绅", "ዩ", "바", "ᒦ", "之", "翁", "̱", "꿀", "ῆ", "평", "樑", "札", "ঠ", "宮", "ყ", "ཊ", "探", "ೌ", "郷", "蕾", "영", "屡", "셋", "ᄀ", "ҵ", "렸", "ោ", "窿", "興", "社", "拦", "鼓", "ᱝ", "咧", "证", "麻", "跤", "痱", "ほ", "牡", "ꓘ", "ꓰ", "倡", "贺", "י", "ဢ", "四", "钝", "ⱱ", "遍", "ণ", "旬", "ḷ", "ঔ", "̲", "捉", "견", "ى", "蝨", "肄", "헛", "의", "ꤍ", "넜", "ሲ", "봤", "ি", "墩", "嗽", "ళ", "苴", "孟", "짧", "彻", "ي", "菩", "運", "ا", "企", "佗", "蔚", "票", "锋", "ꤔ", "ᓋ", "턴", "脚", "颚", "ꓗ", "थ", "甪", "換", "妍", "漬", "尚", "両", "ຢ", "釦", "訳", "ጕ", "끈", "공", "乍", "皮", "零", "쩡", "排", "哣", "掩", "磅", "ླ", "ὰ", "俺", "腩", "塾", "跑", "灾", "ף", "禍", "뢰", "併", "촛", "欶", "幅", "扼", "単", "呐", "া", "섭", "仰", "ۤ", "녕", "લ", "鹑", "牛", "握", "禺", "蟾", "穎", "俱", "缺", "寞", "ౌ", "릎", "금", "判", "欠", "ར", "남", "ս", "草", "朵", "マ", "ኾ", "貯", "ԏ", "荘", "ຝ", "矛", "風", "洩", "寰", "値", "拾", "菸", "머", "భ", "甴", "拯", "함", "६", "媒", "剪", "锡", "毎", "ଚ", "氛", "迎", "彌", "ྲ", "꽂", "聖", "馨", "ນ", "e", "ᱧ", "齡", "ர", "욱", "ሔ", "ぜ", "쑤", "悔", "邻", "ɂ", "綠", "ෙ", "ể", "荧", "끓", "ⷃ", "饋", "ք", "逾", "盘", "見", "돔", "ᾖ", "į", "狙", "贯", "相", "閱", "ẁ", "덥", "拋", "暉", "户", "壯", "መ", "喧", "臆", "ظ", "喻", "ώ", "疣", "ἠ", "綴", "甥", "س", "ె", "道", "ж", "ེ", "ള", "閒", "პ", "총", "肥", "پ", "失", "瑟", "қ", "វ", "ま", "립", "识", "늦", "沙", "兇", "ኳ", "蘭", "髒", "謙", "熟", "ҡ", "岷", "丫", "밟", "巢", "齧", "ട", "젠", "记", "塵", "爿", "歎", "づ", "ୀ", "झ", "ȧ", "런", "걱", "있", "ာ", "낮", "ṁ", "鋭", "碧", "ズ", "売", "模", "罹", "浦", "坤", "懈", "ښ", "緣", "涌", "邀", "脸", "崙", "ざ", "录", "遭", "ن", "执", "網", "條", "ᱥ", "逆", "狼", "綺", "樱", "丑", "ኸ", "鬥", "밀", "댈", "ꤢ", "й", "솔", "鳳", "บ", "遛", "목", "잊", "뎌", "녀", "ꜚ", "隆", "ڄ", "п", "î", "漫", "栋", "น", "ზ", "ድ", "沮", "ᱴ", "饑", "蟲", "制", "骨", "战", "渾", "a", "戳", "ジ", "搤", "丛", "ശ", "황", "빗", "躝", "藍", "圈", "ဧ", "賣", "ⵃ", "炽", "曠", "挵", "視", "糞", "ဉ", "睿", "照", "裇", "ṵ", "鍋", "唠", "戥", "盟", "翊", "첨", "抱", "ઈ", "飾", "ژ", "胱", "弗", "鵝", "뭍", "즐", "ˬ", "馐", "氧", "炒", "恒", "鬧", "ཁ", "醚", "闩", "ས", "裡", "駐", "讼", "刺", "煎", "ሻ", "萨", "횃", "宾", "ο", "诺", "涧", "统", "厥", "ⱥ", "舊", "倭", "迭", "愚", "明", "난", "仏", "网", "ዞ", "绵", "雇", "跛", "綜", "濺", "灼", "学", "흉", "應", "ة", "༤", "井", "ข", "ঢ", "哟", "熾", "묶", "黜", "紀", "凈", "以", "悠", "絳", "柯", "ȇ", "址", "锈", "捙", "എ", "澀", "ặ", "৬", "详", "ⷅ", "ਮ", "焰", "魚", "덕", "条", "ಐ", "脹", "痾", "ȗ", "듬", "स", "拘", "ম", "难", "ᑸ", "홑", "ỏ", "林", "ॄ", "鑲", "援", "筑", "옮", "氫", "書", "錯", "उ", "ਕ", "사", "颌", "釣", "ⵉ", "辘", "랄", "ǒ", "尹", "驶", "ু", "備", "扴", "न", "灿", "佥", "袂", "ื", "륙", "评", "锦", "ת", "რ", "개", "猬", "æ", "̣", "៉", "孤", "捕", "脫", "育", "賃", "異", "ː", "֣", "ਊ", "넘", "篡", "종", "難", "ໃ", "ྀ", "절", "廍", "巾", "骁", "夹", "태", "沖", "臼", "ે", "诡", "ဣ", "ꤕ", "盆", "橇", "ಮ", "劫", "诱", "ቘ", "登", "陡", "ច", "切", "談", "蒲", "眺", "蛄", "渣", "舅", "內", "る", "鄉", "苏", "산", "筹", "ἂ", "本", "哀", "돌", "뭔", "ሑ", "檗", "뉴", "诬", "穴", "ý", "煩", "옴", "닛", "쁩", "툰", "ꓼ", "‍", "빔", "͏", "5", "ⵈ", "ⷒ", "폈", "챘", "ꓴ", "4", "쉼", "୫", "탬", "ⵔ", "뺀", "൪", "ᒁ", "ᐼ", "훗", "ᎍ", "텁", "돛", "୨", "ΰ", "멎", "ṡ", "୬", "늉", "뚱", "ൎ", "ⷞ", "ᾑ", "밉", "눠", "ᾄ", "챈", "ʈ", "괄", "һ", "ꓦ", "짤", "ẗ", "ᎅ", "핥", "ʇ", "ឭ", "˖", "밈", "멱", "ꓖ", "ၿ", "뢸", "ⷓ", "딥", "৪", "ꓡ", "|", "댑", "귓", "ဪ", "갗", "൯", "୧", "썽", "찐", "ᒒ", "ጷ", "걀", "ὒ", "옭", "୦", "ⵑ", "୯", "ꓢ", "팠", "굵", "빡", "몄", "팎", "ɕ", "ౄ", "땋", "ꓧ", "ᎆ", "곽"]