Add pre-model letter-spelling normalization helper and usage

README.md

@@ -98,6 +98,37 @@ FP32 主参数和优化器、BF16 autocast，发布权重为 BF16。约 7.52 亿
 历史定义与计数保存在 [history/step400/token-metrics.json](history/step400/token-metrics.json)。
 上游公开的 94.8% 缺少足够的评分细节，不能声称这些本地指标是官方同口径复现。
 
+## 拼读英文的模型前预处理
+
+应用可先合并拼读字母，再把文本交给模型。这是应用层规则，**不包含在模型权重中**，也不是生成结束后的替换。
+附带的 [input_preprocessing.py](input_preprocessing.py) 只依赖 Python 标准库（Python 3.11+）。
+
+- `C-H-A-T-G-P-T` → `CHATGPT`
+- `A S T R A` → `ASTRA`
+- 保留字母顺序和大小写；`C-L-E-A-U-D-E` 合并为 `CLEAUDE`，不会擅自改成 `Claude`。
+- 通常合并三个及以上单字母；两个大写、空格分隔的字母也可合并，例如 `A I`。
+- 不跨越换行，不改写代码字面量、网址、邮箱和路径。两个字母的连字符表达式 `X-Y` 保持原样。
+
+先下载脚本到应用目录：
+
+```bash
+hf download WIlfLin/S1-mini-Chinese input_preprocessing.py --local-dir .
+```
+
+在构造模型消息之前调用：
+
+```python
+from input_preprocessing import normalize_spelled_letters
+
+transcript = "我今天试用A S T R A。"
+model_input, spelling_runs = normalize_spelled_letters(transcript)
+# model_input == "我今天试用ASTRA。"
+# 将 model_input 放在下面推理示例的 user 控制行之后，再调用模型。
+```
+
+应用的原文模式应跳过这一步。连续字母也可能表示独立变量，规则无法完全判断语义；代码片段会跳过，其他歧义交给模型。
+此前 400 条测试表是原始模型输出，不包含此预处理。权重没有因增加此脚本而变化。
+
 ## 推理示例
 
 验证环境为 PyTorch 2.10、Transformers 5.3。使用附带 tokenizer/chat template，关闭 thinking，输入带控制行。

input-preprocessing.json

@@ -0,0 +1,19 @@
+{
+  "version": "spelled_letter_runs-v1",
+  "stage": "before model_messages, not after generation",
+  "enabled_by_application": true,
+  "model_weights_unchanged": true,
+  "weights_sha256": "54602b3a2e0c484fe7ae796a4290969d3a1cc58e099c83e59948fe94889150a0",
+  "supported": [
+    "tight hyphen-separated single letters",
+    "horizontal-space-separated single letters"
+  ],
+  "literal_exclusions": [
+    "inline/fenced code",
+    "URLs",
+    "emails",
+    "paths",
+    "assignments"
+  ],
+  "not_applied_to_published_public400_raw_model_metrics": true
+}

input_preprocessing.py

@@ -0,0 +1,36 @@
+"""Join dictated single-letter runs before the text model, never after it."""
+import re
+
+# Horizontal whitespace only: distinct lines/paragraphs are not one spelling run.
+_RUN = re.compile(r'(?<![A-Za-z0-9_./:@+\-])(?>[A-Za-z](?:(?:[-‐‑‒–—]|[ \t\u00a0]+)[A-Za-z])+)(?![A-Za-z0-9_./:@+\-])')
+_LITERAL = re.compile(
+    r'```[\s\S]*?(?:```|\Z)|`[^`\n]*(?:`|\Z)'
+    r'|https?://[^\s，。！？；、）]+'
+    r'|[A-Za-z0-9._%+\-]+@[A-Za-z0-9.\-]+\.[A-Za-z]{2,}'
+    r'|(?:~/|/)[A-Za-z0-9_./~\-]+'
+    r'|\b[A-Za-z_]\w*\s*(?:==|!=|<=|>=|:=|[+*/\-]?=)\s*[^;\n，。]+'
+)
+
+
+def spelled_letter_runs(text):
+    """Yield unambiguous-enough spelling spans, preserving order and case.
+
+    Three or more separate letters, or two uppercase space-separated letters.
+    A two-letter hyphenated expression such as X-Y is left alone.
+    Literal code, paths, URLs and emails are not interpreted as dictation.
+    """
+    literals=[m.span() for m in _LITERAL.finditer(text)]
+    for match in _RUN.finditer(text):
+        a,b=match.span()
+        if any(a<end and b>start for start,end in literals):continue
+        letters=re.findall('[A-Za-z]',match[0])
+        if len(letters)<3 and not (all(c.isupper() for c in letters) and re.search('[ \t\u00a0]',match[0])):continue
+        yield a,b,''.join(letters)
+
+
+def normalize_spelled_letters(text):
+    pieces=[];position=0;count=0
+    for start,end,word in spelled_letter_runs(text):
+        pieces.extend([text[position:start],word]);position=end;count+=1
+    pieces.append(text[position:])
+    return ''.join(pieces),count