Spaces:

HanWangTJU
/

NMM-data-preprocess

Running

Publish NMM data preprocessing v0.3.1 with Chinese tutorials

cd2952f verified 3 days ago

11.8 kB

	<!doctype html>
	<html lang="zh-CN">
	<head><meta charset="utf-8"><meta name="viewport" content="width=device-width,initial-scale=1"><meta name="description" content="图片文本数据初筛代码、分布统计、尺寸与宽高比筛选、质量指标、去重和多机部署教程。"><title>NMM-data-preprocess · 图片文本数据初筛</title><link rel="stylesheet" href="assets/style.css"><script defer src="assets/app.js"></script></head>
	<body>
	<header class="topbar"><a class="brand" href="index.html">NMM<span> / </span>data-preprocess</a><nav aria-label="主要导航"><a href="manual/QUICKSTART.html">开始使用</a><a href="manual/PARAMETERS.html">参数参考</a><a href="manual/DEPLOYMENT.html">部署</a><a href="https://huggingface.co/spaces/HanWangTJU/NMM-data-preprocess/tree/main" target="_blank" rel="noopener">源代码 ↗</a></nav></header>
	<main class="landing">
	<section class="hero"><p class="eyebrow">原生图片—文本模型 / 训练前数据初筛</p><h1>先看清数据，<br>再决定保留什么。</h1><p class="lead">从图片文件夹或图文清单开始，统计尺寸与质量分布，按分辨率和宽高比筛选，再完成全局去重与标准化导出。</p><div class="actions"><a class="button primary" href="manual/QUICKSTART.html">阅读逐步教程 →</a><a class="button" href="downloads/NMM-data-preprocess-0.3.1.zip" download>下载源码 v0.3.1 ↓</a></div><p class="note">Python 3.10+ · CPU 多进程 · 多机静态分片 · Windows / Linux / Docker</p></section>
	<section class="pipeline" aria-label="清洗流程"><div><b>01</b><strong>导入</strong><span>文件夹 / JSONL</span></div><div><b>02</b><strong>统计</strong><span>尺寸 / 技术质量</span></div><div><b>03</b><strong>筛选</strong><span>规则 / 全局去重</span></div><div><b>04</b><strong>导出</strong><span>RGB 图片 / 图文清单</span></div></section>
	<section class="intro"><h2>完整教程与代码说明</h2><p>这个 Space 提供文档、命令设置和代码下载。清洗任务通过 CLI 在你的本地机器或服务器运行。</p><div class="guide-grid"><a class="guide" href="manual/QUICKSTART.html"><small>从零开始</small><h3>逐步使用教程</h3><p>下载、安装、合成样例、第一轮统计、筛选与导出。</p><span>阅读教程 →</span></a><a class="guide" href="manual/USAGE.html"><small>评测与规则</small><h3>完整操作手册</h3><p>逐阶段指标、公式、报告字段、质量校准和误删评估。</p><span>查看手册 →</span></a><a class="guide" href="manual/PARAMETERS.html"><small>全部设置</small><h3>参数参考</h3><p>每个 CLI 与 JSON 字段的默认值、约束、优先级和示例。</p><span>查询参数 →</span></a><a class="guide" href="manual/DEPLOYMENT.html"><small>本地与多机</small><h3>部署指南</h3><p>Windows、Linux、Docker、rank 分片、续跑和 Space 发布。</p><span>部署运行 →</span></a><a class="guide" href="manual/ARCHITECTURE.html"><small>实现细节</small><h3>代码与功能说明</h3><p>模块职责、数据流、文件格式、去重机制与当前边界。</p><span>了解实现 →</span></a></div></section>
	<section class="generator" id="commands"><div class="section-heading"><div><p class="eyebrow">配置尺寸与比例</p><h2>生成一条筛选命令</h2></div><span class="tag">复用统计缓存，无需重新解码</span></div><p>先按教程完成统计，将分片放在 <code>runs/statistics/shards</code>。以下设置只生成命令，可直接复制到终端。</p><div class="form-grid"><label>终端环境<select id="platform"><option value="windows">Windows PowerShell</option><option value="linux">Linux Bash</option></select></label><label>分辨率下限<input id="resolution" type="text" value="256p" placeholder="256p / 384x256 / any"></label><label>匹配策略<select id="mode"><option value="loose">宽松过滤</option><option value="strict">严格过滤</option></select></label><label>宽松偏差（%）<input id="tolerance" type="number" min="0" step="0.1" value="5"></label></div><fieldset class="buckets"><legend>宽:高桶（多选）</legend><label><input type="checkbox" name="bucket" value="1:1" checked>1:1</label><label><input type="checkbox" name="bucket" value="2:3" checked>2:3</label><label><input type="checkbox" name="bucket" value="3:2" checked>3:2</label><label><input type="checkbox" name="bucket" value="3:4" checked>3:4</label><label><input type="checkbox" name="bucket" value="4:3" checked>4:3</label><label><input type="checkbox" name="bucket" value="9:16" checked>9:16</label><label><input type="checkbox" name="bucket" value="16:9" checked>16:9</label><label><input type="checkbox" name="bucket" value="21:9" checked>21:9</label><button type="button" id="select-all">全选</button><button type="button" id="select-none">关闭桶条件</button></fieldset><p id="command-error" class="error" role="alert"></p><pre><code id="command"></code></pre><p class="note">输出到 <code>runs/filtered</code>；已有结果时请改用新目录。命令继承分析配置中的质量与去重设置。256p 表示短边 ≥256，包含 256。</p>
	<details><summary>用实际尺寸检查比例规则</summary><div class="form-grid"><label>图片宽（像素）<input id="width" type="number" min="1" step="1" value="1050"></label><label>图片高（像素）<input id="height" type="number" min="1" step="1" value="1000"></label></div><p id="ratio-result" aria-live="polite"></p><p class="note">偏差 δ=max(r/b,b/r)−1，包含阈值边界。实际 CLI 用精确分数比较；这里只展示所选桶和分辨率条件，不判断图片质量、文字和重复。</p></details></section>
	<section class="features"><h2>当前初筛覆盖</h2><div class="feature-grid"><article><h3>分布统计</h3><p>分辨率、短边、长边、像素数、比例和质量分布；全量直方图与抽样分位数。</p></article><article><h3>分辨率与八桶筛选</h3><p>短边下限、精确宽高、严格比例和默认 5% 可调宽松偏差。</p></article><article><h3>规范化与文本规则</h3><p>EXIF、ICC、RGB、透明背景、Unicode、文本长度与正则检查。</p></article><article><h3>技术质量代理</h3><p>模糊、噪声、信噪比与块效应指标；阈值需针对你的数据校准。</p></article><article><h3>全局去重</h3><p>文件和像素精确去重，pHash / dHash / RMSE 联合近重复复核。</p></article><article><h3>多进程与多机</h3><p>SQLite 检查点与静态 rank；汇总分片后统一筛选、去重和报告。</p></article></div></section>
	<section class="callout"><h2>看报告时，先核对这些数字</h2><p>输入总数 = 保留 + 拒绝 + 重复 + 错误。比较分辨率独立通过率、桶独立通过率、最终保留率，以及各桶筛选前后数量。初筛结果仍需人工抽查图文对应关系与质量。</p><a href="manual/USAGE.html">阅读所有指标的定义 →</a></section>
	</main><footer>HanWangTJU / NMM-data-preprocess · v0.3.1<span>静态教程与代码入口 · 图片在本地处理</span></footer>
	</body></html>