Image Classification
timm
Russian
English
manuscript
bookbinding
cultural-heritage
digital-humanities
convnext
dinov2
fine-tuned
Instructions to use Infarondus/Klein-marchen_Base with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- timm
How to use Infarondus/Klein-marchen_Base with timm:
import timm model = timm.create_model("hf-hub:Infarondus/Klein-marchen_Base", pretrained=True) - Notebooks
- Google Colab
- Kaggle
Update README.md
Browse files
README.md
CHANGED
|
@@ -16,302 +16,199 @@ tags:
|
|
| 16 |
pipeline_tag: image-classification
|
| 17 |
---
|
| 18 |
|
| 19 |
-
# Kleine-Marchen —
|
| 20 |
|
| 21 |
-
Модел
|
| 22 |
|
| 23 |
-
|
| 24 |
-
|
| 25 |
-
-
|
| 26 |
-
|
| 27 |
-
|
| 28 |
-
|
| 29 |
-
Бинарная классификация:
|
| 30 |
|
| 31 |
-
|
| 32 |
-
- **Класс 0 — не переплёт**: страница текста, разворот, предметная съёмка и т.д.
|
| 33 |
|
| 34 |
-
|
| 35 |
|
| 36 |
---
|
| 37 |
|
| 38 |
-
##
|
| 39 |
-
|
| 40 |
-
Оценка проводилась на тестовом датасете из 1661 изображения (1136 переплётов + 525 не-переплётов) с применением TTA (5 трансформаций).
|
| 41 |
-
|
| 42 |
-
| Метрика | Значение |
|
| 43 |
-
| --- | --- |
|
| 44 |
-
| Accuracy | **92.53%** |
|
| 45 |
-
| F1-macro | **0.9139** |
|
| 46 |
-
| Precision | 0.9127 |
|
| 47 |
-
| Recall | 0.9152 |
|
| 48 |
-
|
| 49 |
-
**Confusion Matrix:**
|
| 50 |
-
|
| 51 |
-
| | Предсказано: не-переплёт | Предсказано: переплёт |
|
| 52 |
-
| --- | --- | --- |
|
| 53 |
-
| **Реально: не-переплёт** | 466 | 59 |
|
| 54 |
-
| **Реально: переплёт** | 65 | 1071 |
|
| 55 |
-
|
| 56 |
-
**Метрики на уверенных предсказаниях (confidence ≥ 0.6):**
|
| 57 |
|
| 58 |
-
|
|
| 59 |
| --- | --- |
|
| 60 |
-
|
|
| 61 |
-
|
|
| 62 |
-
|
|
| 63 |
-
|
| 64 |
-
Использование порога уверенности позволяет автоматически делегировать сомнительные случаи на ручную проверку, при этом на уверенно классифицированных изображениях модель достигает точности выше 97%.
|
| 65 |
-
|
| 66 |
-
---
|
| 67 |
|
| 68 |
-
|
| 69 |
-
|
| 70 |
-
- **Источник**: фотографии из цифровых фондов РГБ
|
| 71 |
-
- **Размер обучающей выборки**: ~525 изображений на каждый класс (75/25 hold-out validation)
|
| 72 |
-
- **Классы**: переплёт / не переплёт (страницы текста, развороты, обложки-папки)
|
| 73 |
-
- **Разрешение при обучении**: 320×320 px
|
| 74 |
|
| 75 |
---
|
| 76 |
|
| 77 |
-
##
|
| 78 |
-
|
| 79 |
-
**Базовая модель**: `convnext_tiny.fb_in22k` (ImageNet-22k pretrain, 28M параметров)
|
| 80 |
-
|
| 81 |
-
**Стратегия обучения**: fine-tuning только классификационной головы при замороженном бэкбоне. Полная разморозка слоёв приводила к коллапсу обучения из-за ограниченного размера датасета.
|
| 82 |
-
|
| 83 |
-
**Параметры обучения**:
|
| 84 |
-
- Оптимизатор: AdamW (lr=3e-5, weight_decay=1e-4)
|
| 85 |
-
- Scheduler: CosineAnnealingLR
|
| 86 |
-
- Loss: CrossEntropyLoss
|
| 87 |
-
- Batch size: 16
|
| 88 |
-
- Mixed precision training (AMP)
|
| 89 |
-
|
| 90 |
-
**Аугментации** (Albumentations): RandomResizedCrop, HorizontalFlip, RandomRotate90, ShiftScaleRotate, ColorJitter, GridDistortion, GaussianBlur, ToGray.
|
| 91 |
-
|
| 92 |
-
---
|
| 93 |
-
|
| 94 |
-
## Использование
|
| 95 |
-
|
| 96 |
-
Готовые скрипты доступны в репозитории:
|
| 97 |
|
| 98 |
-
**
|
| 99 |
|
| 100 |
-
|
| 101 |
-
|
| 102 |
-
|
| 103 |
-
|
| 104 |
-
|
| 105 |
-
|
| 106 |
-
from PIL import Image
|
| 107 |
-
import albumentations as A
|
| 108 |
-
from albumentations.pytorch import ToTensorV2
|
| 109 |
|
| 110 |
-
|
| 111 |
-
|
| 112 |
-
transform = A.Compose([
|
| 113 |
-
A.LongestMaxSize(max_size=IMAGE_SIZE),
|
| 114 |
-
A.PadIfNeeded(min_height=IMAGE_SIZE, min_width=IMAGE_SIZE,
|
| 115 |
-
border_mode=0, value=[255, 255, 255]),
|
| 116 |
-
A.Normalize(mean=[0.485, 0.456, 0.406],
|
| 117 |
-
std=[0.229, 0.224, 0.225]),
|
| 118 |
-
ToTensorV2(),
|
| 119 |
-
])
|
| 120 |
-
|
| 121 |
-
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
|
| 122 |
-
model = timm.create_model('convnext_tiny_in22k', pretrained=False, num_classes=2)
|
| 123 |
-
ckpt = torch.load('kleine-marchen_preprocess.pth', map_location=device, weights_only=False)
|
| 124 |
-
model.load_state_dict(ckpt['model_state_dict'])
|
| 125 |
-
model.to(device).eval()
|
| 126 |
-
|
| 127 |
-
img = np.array(Image.open('page.jpg').convert('RGB'))
|
| 128 |
-
tensor = transform(image=img)['image'].unsqueeze(0).to(device)
|
| 129 |
-
with torch.no_grad():
|
| 130 |
-
probs = torch.softmax(model(tensor), dim=1)[0]
|
| 131 |
-
|
| 132 |
-
print(f"Не переплёт: {probs[0]:.1%} | Переплёт: {probs[1]:.1%}")
|
| 133 |
-
```
|
| 134 |
|
| 135 |
---
|
| 136 |
|
| 137 |
-
##
|
| 138 |
|
| 139 |
-
|
| 140 |
-
Изображение → [ConvNeXt: переплёт?] → [DINOv2: есть средник?] → Результат
|
| 141 |
-
Скрипт двухступенчатого скрапера `scrape_bindings_v2.py` из репозитория **Kleine-Marchen** реализует этот пайплайн полностью.
|
| 142 |
-
|
| 143 |
-
---
|
| 144 |
|
| 145 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 146 |
|
| 147 |
-
|
| 148 |
-
-
|
| 149 |
-
|
|
|
|
| 150 |
|
| 151 |
-
|
| 152 |
|
| 153 |
-
|
| 154 |
|
| 155 |
-
|
| 156 |
|
| 157 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
| 158 |
|
| 159 |
---
|
| 160 |
|
| 161 |
-
##
|
| 162 |
-
|
| 163 |
-
Модель решает задачу бинарной классификации изображений переплётов:
|
| 164 |
-
|
| 165 |
-
- **Класс 1 — со средником**: на крышке переплёта присутствует средник
|
| 166 |
-
- **Класс 0 — без средника**: средник отсутствует
|
| 167 |
-
|
| 168 |
-
Модель предназначена для автоматической предварительной сортировки больших коллекций фотографий переплётов рукописей. Окончательная верификация результатов производится специалистом.
|
| 169 |
-
|
| 170 |
-
---
|
| 171 |
|
| 172 |
-
|
| 173 |
|
| 174 |
-
|
| 175 |
|
| 176 |
| Метрика | Значение |
|
| 177 |
| --- | --- |
|
| 178 |
-
| Accuracy | **
|
| 179 |
-
| F1-macro | **0.
|
| 180 |
-
| Precision | 0.
|
| 181 |
-
| Recall | 0.
|
| 182 |
-
|
| 183 |
-
**Confusion Matrix:**
|
| 184 |
|
| 185 |
-
|
|
| 186 |
| --- | --- | --- |
|
| 187 |
-
| **Реально: без средника** |
|
| 188 |
-
| **Реально: со средником** |
|
| 189 |
-
|
| 190 |
-
**Анализ ошибок:**
|
| 191 |
-
- Всего ошибочных предсказаний: 72
|
| 192 |
-
- False positive (без средника принят за со средником): 31
|
| 193 |
-
- False negative (со средником принят за без средника): 41
|
| 194 |
-
- Сомнительных предсказаний (confidence < 0.7): 123 (10.8% датасета)
|
| 195 |
|
| 196 |
-
|
| 197 |
-
|
| 198 |
-
---
|
| 199 |
|
| 200 |
-
|
| 201 |
-
|
| 202 |
-
- **Источник**: фотографии переплётов рукописей из цифровых фондов РГБ
|
| 203 |
-
- **Размер обучающей выборки**: 568 изображений на каждый класс (1136 итого)
|
| 204 |
-
- **Формат**: цветные фотографии переплётов
|
| 205 |
-
- **Разрешение при обучении**: 280×280 px
|
| 206 |
-
|
| 207 |
-
Датасет собирался итеративно: после каждого цикла обучения производился анализ ошибок и доразметка сложных случаев (изношенные переплёты, пограничные экземпляры).
|
| 208 |
-
|
| 209 |
-
---
|
| 210 |
|
| 211 |
-
|
|
|
|
|
|
|
|
|
|
| 212 |
|
| 213 |
-
|
| 214 |
|
| 215 |
-
**
|
| 216 |
-
LayerNorm(384) → Linear(384→256) → GELU → Dropout(0.3) → Linear(256→2)
|
| 217 |
-
**Стратегия обучения**: двухфазный fine-tuning
|
| 218 |
|
| 219 |
-
|
| 220 |
-
- Фаза 2 (20 эпох): голова + последние 4 блока ViT, дифференциальный LR (голова: 3e-5, бэкбон: 2e-6)
|
| 221 |
|
| 222 |
-
|
| 223 |
-
|
| 224 |
-
|
| 225 |
-
|
| 226 |
-
|
| 227 |
|
| 228 |
---
|
| 229 |
|
| 230 |
-
##
|
| 231 |
-
|
| 232 |
-
Готовые скрипты для обучения, оценки и инференса доступны в репозитории:
|
| 233 |
-
|
| 234 |
-
**<https://github.com/Infarondus/Kleine-marchen>**
|
| 235 |
-
|
| 236 |
-
### Быстрый старт
|
| 237 |
|
| 238 |
```python
|
| 239 |
-
import torch
|
| 240 |
-
import torch.nn as nn
|
| 241 |
-
import torch.nn.functional as F
|
| 242 |
-
import timm
|
| 243 |
-
import numpy as np
|
| 244 |
-
from PIL import Image
|
| 245 |
import albumentations as A
|
| 246 |
from albumentations.pytorch import ToTensorV2
|
|
|
|
| 247 |
|
| 248 |
-
|
| 249 |
-
|
| 250 |
-
|
| 251 |
-
|
| 252 |
-
|
| 253 |
-
|
| 254 |
-
|
| 255 |
-
|
| 256 |
-
|
| 257 |
-
|
| 258 |
-
|
| 259 |
-
|
| 260 |
-
|
| 261 |
-
|
| 262 |
-
|
| 263 |
-
|
| 264 |
-
|
| 265 |
-
|
| 266 |
-
|
| 267 |
-
|
| 268 |
-
|
| 269 |
-
|
| 270 |
-
|
| 271 |
-
|
| 272 |
-
|
| 273 |
-
|
| 274 |
-
|
| 275 |
-
|
| 276 |
-
|
| 277 |
-
|
| 278 |
-
|
| 279 |
-
|
| 280 |
-
|
| 281 |
-
|
| 282 |
-
|
| 283 |
-
|
| 284 |
-
|
| 285 |
-
|
| 286 |
-
|
| 287 |
-
|
| 288 |
-
|
| 289 |
-
|
| 290 |
-
tensor = transform(image=img)['image'].unsqueeze(0).to(device)
|
| 291 |
-
with torch.no_grad():
|
| 292 |
-
probs = F.softmax(model(tensor), dim=1)[0]
|
| 293 |
-
|
| 294 |
-
print(f"Без средника: {probs[0]:.1%} | Со средником: {probs[1]:.1%}")
|
| 295 |
```
|
| 296 |
|
| 297 |
-
|
| 298 |
|
| 299 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 300 |
|
| 301 |
---
|
| 302 |
|
| 303 |
-
##
|
| 304 |
|
| 305 |
-
-
|
| 306 |
-
-
|
| 307 |
-
-
|
| 308 |
-
- В обучающей выборке возможно присутствие небольшого количества ошибочно размеченных изображений (~2%), что отражается в нижней границе оценки точности
|
| 309 |
|
| 310 |
---
|
| 311 |
|
| 312 |
-
##
|
|
|
|
|
|
|
| 313 |
|
| 314 |
-
|
|
|
|
|
|
|
| 315 |
|
| 316 |
```bibtex
|
| 317 |
@misc{kleine-marchen-binding,
|
|
@@ -320,4 +217,4 @@ print(f"Без средника: {probs[0]:.1%} | Со средником: {prob
|
|
| 320 |
year = {2026},
|
| 321 |
url = {https://github.com/Infarondus/Kleine-marchen}
|
| 322 |
}
|
| 323 |
-
```
|
|
|
|
| 16 |
pipeline_tag: image-classification
|
| 17 |
---
|
| 18 |
|
| 19 |
+
# Kleine-Marchen — двухэтапный пайплайн классификации переплётов рукописей
|
| 20 |
|
| 21 |
+
Модели для автоматического отбора фотографий переплётов рукописных книг **со средником** (центральным декоративным элементом крышки) из оцифрованных фондов РГБ.
|
| 22 |
|
| 23 |
+
```
|
| 24 |
+
изображение → [этап 1: ConvNeXt-Tiny, 5 моделей] переплёт? (τ₁ = 0.60)
|
| 25 |
+
→ [этап 2: DINOv2 ViT-S, 5 моделей × 5 TTA] средник? (τ₂ = 0.55)
|
| 26 |
+
→ итоговая коллекция
|
| 27 |
+
```
|
|
|
|
|
|
|
| 28 |
|
| 29 |
+
Пайплайн целиком реализован в скрипте `scrape_bindings_v3.py`: **<https://github.com/Infarondus/Kleine-marchen>**
|
|
|
|
| 30 |
|
| 31 |
+
> **Обновление (ноябрь 2026).** Протоколы оценки пересмотрены: прежние метрики были получены на данных, пересекавшихся с обучающими, и заменены out-of-fold-оценкой (каждое изображение оценивается моделью, не видевшей его при обучении). Модели этапа 1 заменены новыми (`convnext/`), модели этапа 2 не менялись, но их метрики пересчитаны. Подробности — в разделе «Что изменилось».
|
| 32 |
|
| 33 |
---
|
| 34 |
|
| 35 |
+
## Файлы
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 36 |
|
| 37 |
+
| Путь | Что это |
|
| 38 |
| --- | --- |
|
| 39 |
+
| `convnext/fold_1_oof.pth` … `fold_5_oof.pth` | этап 1, ConvNeXt-Tiny, 5 моделей (по одной на фолд) |
|
| 40 |
+
| `fold_1_km.pth` … `fold_5_km.pth` | этап 2, DINOv2 ViT-Small, 5 моделей (по одной на фолд) |
|
| 41 |
+
| `legacy/klein-marchen_preprocess.pth` | прежняя модель этапа 1 (апрель 2026), не рекомендуется |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 42 |
|
| 43 |
+
В пайплайне каждый этап работает **ансамблем** своих пяти моделей (усреднение softmax-вероятностей).
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 44 |
|
| 45 |
---
|
| 46 |
|
| 47 |
+
## Сквозная проверка на независимом фонде
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 48 |
|
| 49 |
+
Пайплайн применён к фонду **228 РГБ**, который не использовался ни при обучении, ни при подборе параметров: 219 рукописей, по одному лучшему снимку переплёта на рукопись. Все снимки (отобранные и отклонённые) проверены автором вслепую, без знания решения модели; 7 изображений сильно фрагментированных переплётов исключены как не допускающие однозначной разметки.
|
| 50 |
|
| 51 |
+
| | Значение | 95% ДИ |
|
| 52 |
+
| --- | --- | --- |
|
| 53 |
+
| Точность отбора (precision) | **0.989** (89 из 90) | 0.94–0.998 |
|
| 54 |
+
| Полнота (recall) | **0.840** (89 из 106) | 0.76–0.90 |
|
| 55 |
+
| AUC этапа 2 | 0.980 | — |
|
| 56 |
+
| Этап 1: precision / recall | 0.971 / 0.983 | — |
|
|
|
|
|
|
|
|
|
|
| 57 |
|
| 58 |
+
Пропущенные средники в основном получают оценки, заметно превышающие оценки переплётов без средника (медиана последних — 0.02), но не достигают порога τ₂. Пайплайн настроен консервативно: высокая точность отбора ценой части пропусков.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 59 |
|
| 60 |
---
|
| 61 |
|
| 62 |
+
## Этап 1 — ConvNeXt-Tiny: переплёт / не-переплёт
|
| 63 |
|
| 64 |
+
**Метрики** (out-of-fold, 5 фолдов, группировка по рукописи; одна трансформация, 352 px — как в пайплайне):
|
|
|
|
|
|
|
|
|
|
|
|
|
| 65 |
|
| 66 |
+
| Метрика | Значение |
|
| 67 |
+
| --- | --- |
|
| 68 |
+
| Accuracy | **0.988** |
|
| 69 |
+
| F1-macro | **0.986** |
|
| 70 |
+
| Precision (macro) | 0.986 |
|
| 71 |
+
| Recall (macro) | 0.986 |
|
| 72 |
+
| AUC | 0.999 |
|
| 73 |
|
| 74 |
+
| | Предсказано: не-переплёт | Предсказано: переплёт |
|
| 75 |
+
| --- | --- | --- |
|
| 76 |
+
| **Реально: не-переплёт (483)** | 473 | 10 |
|
| 77 |
+
| **Реально: переплёт (1131)** | 9 | 1122 |
|
| 78 |
|
| 79 |
+
F1 по фолдам: 0.981–0.993. Доля предсказаний с уверенностью ниже 0.6 — 0.9%.
|
| 80 |
|
| 81 |
+
**Данные:** 1614 уникальных изображений (1131 переплёт, 483 не-переплёта: развороты, обложки-папки, прочие снимки описи) из 7 фондов РГБ. Точные дубли удалены; разбиение на фолды — `StratifiedGroupKFold` по рукописи (снимки одной рукописи всегда в одном фолде). При сверке предсказаний с разметкой 11 переплётов, ошибочно отнесённых к не-переплётам, перенесены в нужный класс, 1 неоднозначный снимок исключён.
|
| 82 |
|
| 83 |
+
**Обучение** (`deep_test_v2.py`): `convnext_tiny.fb_in22k`, три фазы с постепенной разморозкой; лучшая модель выбирается по валидационному F1 среди всех фаз (во всех 5 фолдах лучшей оказалась третья фаза).
|
| 84 |
|
| 85 |
+
- Фаза 1 (288 px, 10 эпох): только голова; AdamW, lr 1e-4, wd 1e-2, warmup 2 эпохи + косинус.
|
| 86 |
+
- Фаза 2 (288 px, до 8 эпох): stages 2–3, голова заморожена; lr 1e-5, wd 5e-3.
|
| 87 |
+
- Фаза 3 (352 px, до 15 эпох): stages 1–3 + голова; lr 5e-6 (backbone) / 1e-5 (голова), wd 5e-3, label smoothing 0.05, mixup/cutmix с 5-й эпохи; выбор по F1 с TTA на EMA-весах.
|
| 88 |
+
- Batch 16, AMP, gradient clipping 1.0, dropout 0.3, drop_path 0.1, взвешенный сэмплер для баланса классов, early stopping (patience 5).
|
| 89 |
+
- Аугментации (Albumentations): RandomResizedCrop, HorizontalFlip, VerticalFlip, ShiftScaleRotate, RandomBrightnessContrast / HueSaturationValue, GaussNoise / GaussianBlur / ImageCompression, CLAHE, CoarseDropout.
|
| 90 |
|
| 91 |
---
|
| 92 |
|
| 93 |
+
## Этап 2 — DINOv2 ViT-Small: со средником / без средника
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 94 |
|
| 95 |
+
**Определение класса.** «Со средником» — центральный элемент является центром декоративной композиции крышки (тиснёный средник либо металлическая накладка в окружении орнамента, рамок или тиснения). Одиночная накладка на гладкой крышке средником не считается.
|
| 96 |
|
| 97 |
+
**Метрики** (out-of-fold: каждое изображение оценено той моделью из пяти, которая его не видела; 5 TTA):
|
| 98 |
|
| 99 |
| Метрика | Значение |
|
| 100 |
| --- | --- |
|
| 101 |
+
| Accuracy | **0.929** |
|
| 102 |
+
| F1-macro | **0.929** |
|
| 103 |
+
| Precision (macro) | 0.929 |
|
| 104 |
+
| Recall (macro) | 0.929 |
|
|
|
|
|
|
|
| 105 |
|
| 106 |
+
| | Предсказано: без средника | Предсказано: со средником |
|
| 107 |
| --- | --- | --- |
|
| 108 |
+
| **Реально: без средника (568)** | 532 | 36 |
|
| 109 |
+
| **Реально: со средником (568)** | 45 | 523 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 110 |
|
| 111 |
+
Accuracy по фолдам: 0.908–0.952. При рабочем пороге τ₂ = 0.55: precision отбора 0.941, recall 0.903. Доля предсказаний с уверенностью ниже 0.7 — 12.0%.
|
|
|
|
|
|
|
| 112 |
|
| 113 |
+
**Перенос на незнакомый фонд** (модель обучена без одного фонда и проверена на нём):
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 114 |
|
| 115 |
+
| Исключённый фонд | n | AUC | F1 при τ₂ = 0.55 |
|
| 116 |
+
| --- | --- | --- | --- |
|
| 117 |
+
| 98 | 399 | 0.942 | 0.825 |
|
| 118 |
+
| 304-I | 498 | 0.979 | 0.839 |
|
| 119 |
|
| 120 |
+
Модель хорошо упорядочивает изображения нового фонда (высокий AUC), но шкала её уверенности смещается. **Для новой коллекции порог τ₂ рекомендуется калибровать на небольшой размеченной выборке**, а изображения с оценкой примерно 0.4–0.7 направлять на проверку специалисту.
|
| 121 |
|
| 122 |
+
**Данные:** 1136 изображений (568 / 568) из фондов РГБ; 1119 уникальных рукописей (17 повторов; их исключение на метрики не влияет). Часть положительных примеров (67) отобрана ранней версией модели и проверена автором. Разбиение — `StratifiedKFold(5, shuffle=True, random_state=42)` по изображениям.
|
|
|
|
|
|
|
| 123 |
|
| 124 |
+
**Обучение** (`deep_test_v4_dino.py`): `vit_small_patch14_dinov2.lvd142m`, 280 px, голова LayerNorm(384) → Linear(384→256) → GELU → Dropout(0.3) → Linear(256→2).
|
|
|
|
| 125 |
|
| 126 |
+
- Фаза 1 (6 эпох): только голова; AdamW, lr 5e-4, wd 1e-4, warmup 2 эпохи + косинус.
|
| 127 |
+
- Фаза 2 (до 20 эпох): голова + последние 4 блока ViT + финальная LayerNorm; lr 3e-5 (голова) / 2e-6 (backbone), wd 1e-2, warmup 1 эпоха, early stopping (patience 10).
|
| 128 |
+
- Batch 32, без AMP, gradient clipping 1.0, label smoothing 0.05, drop_path 0.1, взвешенный сэмплер.
|
| 129 |
+
- Лучшая эпоха выбирается по F1 сглаженных весов (EMA, обновление раз в эпоху); сохраняются обычные веса этой эпохи.
|
| 130 |
+
- TTA: оригинал, горизонтальное и вертикальное отражение, увеличение ×1.05 + центральный кроп, яркость/контраст ±10%.
|
| 131 |
|
| 132 |
---
|
| 133 |
|
| 134 |
+
## Быстрый старт
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 135 |
|
| 136 |
```python
|
| 137 |
+
import numpy as np, torch, torch.nn as nn, torch.nn.functional as F, timm
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 138 |
import albumentations as A
|
| 139 |
from albumentations.pytorch import ToTensorV2
|
| 140 |
+
from PIL import Image
|
| 141 |
|
| 142 |
+
MEAN, STD = [0.485, 0.456, 0.406], [0.229, 0.224, 0.225]
|
| 143 |
+
dev = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
|
| 144 |
+
|
| 145 |
+
def tfm(size):
|
| 146 |
+
return A.Compose([A.LongestMaxSize(max_size=size),
|
| 147 |
+
A.PadIfNeeded(size, size, border_mode=0, value=[255, 255, 255]),
|
| 148 |
+
A.Normalize(mean=MEAN, std=STD), ToTensorV2()])
|
| 149 |
+
|
| 150 |
+
# этап 1: ансамбль ConvNeXt
|
| 151 |
+
convnext = []
|
| 152 |
+
for k in range(1, 6):
|
| 153 |
+
ck = torch.load(f'convnext/fold_{k}_oof.pth', map_location=dev, weights_only=False)
|
| 154 |
+
m = timm.create_model('convnext_tiny.fb_in22k', pretrained=False, num_classes=2)
|
| 155 |
+
m.load_state_dict(ck['model_state_dict']); convnext.append(m.to(dev).eval())
|
| 156 |
+
|
| 157 |
+
# этап 2: ансамбль DINOv2
|
| 158 |
+
class DinoClassifier(nn.Module):
|
| 159 |
+
def __init__(self):
|
| 160 |
+
super().__init__()
|
| 161 |
+
self.backbone = timm.create_model('vit_small_patch14_dinov2.lvd142m', pretrained=False,
|
| 162 |
+
num_classes=0, img_size=280, dynamic_img_size=True)
|
| 163 |
+
d = self.backbone.embed_dim
|
| 164 |
+
self.head = nn.Sequential(nn.LayerNorm(d), nn.Linear(d, 256), nn.GELU(),
|
| 165 |
+
nn.Dropout(0.3), nn.Linear(256, 2))
|
| 166 |
+
def forward(self, x):
|
| 167 |
+
return self.head(self.backbone(x))
|
| 168 |
+
|
| 169 |
+
dino = []
|
| 170 |
+
for k in range(1, 6):
|
| 171 |
+
ck = torch.load(f'fold_{k}_km.pth', map_location=dev, weights_only=False)
|
| 172 |
+
m = DinoClassifier(); m.load_state_dict(ck['model_state_dict']); dino.append(m.to(dev).eval())
|
| 173 |
+
|
| 174 |
+
@torch.no_grad()
|
| 175 |
+
def score(models, img, size):
|
| 176 |
+
x = tfm(size)(image=img)['image'].unsqueeze(0).to(dev)
|
| 177 |
+
return float(np.mean([F.softmax(m(x), 1)[0, 1].item() for m in models]))
|
| 178 |
+
|
| 179 |
+
img = np.array(Image.open('binding.jpg').convert('RGB'))
|
| 180 |
+
p_bind = score(convnext, img, 352)
|
| 181 |
+
p_sred = score(dino, img, 280) # в пайплайне дополнительно усредняется по 5 TTA
|
| 182 |
+
print(f"переплёт: {p_bind:.1%} средник: {p_sred:.1%} →",
|
| 183 |
+
"отобрано" if p_bind >= 0.60 and p_sred >= 0.55 else "отклонено")
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 184 |
```
|
| 185 |
|
| 186 |
+
---
|
| 187 |
|
| 188 |
+
## Ограничения
|
| 189 |
+
|
| 190 |
+
- Модели обучены на снимках фондов РГБ; на других коллекциях смещается калибровка уверенности (см. выше), порог τ₂ следует подбирать заново.
|
| 191 |
+
- Разметка выполнена одним автором; критерий для металлических накладок сформулирован после разметки, в части таких случаев она может быть непоследовательной. Около 2% изображений — пограничные случаи.
|
| 192 |
+
- Наиболее трудны сильно изношенные переплёты, где средник сохранился фрагментарно или различим только рельефно, а также нетипичные гладкие переплёты без тиснения (на этапе 1).
|
| 193 |
+
- Пайплайн рассматривает первые 5 снимков рукописи и передаёт на этап 2 только один, лучший по оценке этапа 1.
|
| 194 |
|
| 195 |
---
|
| 196 |
|
| 197 |
+
## Что изменилось (ноябрь 2026)
|
| 198 |
|
| 199 |
+
- **Этап 1.** Прежняя модель (`legacy/klein-marchen_preprocess.pth`, один фолд апрельского обучения, обучена только голова) оценивалась на изображениях, пересекавшихся с обучающими, и с другими параметрами (320 px); опубликованные для неё метрики (F1 0.914) независимой оценкой не являются. Она заменена ансамблем из 5 моделей, обученных тем же рецептом на исправленном и расширенном датасете и оценённых out-of-fold.
|
| 200 |
+
- **Этап 2.** Модели не менялись. Прежние метрики (F1 0.937) были получены ансамблем всех пяти моделей на полном датасете, т.е. на изображениях, частично входивших в обучение; out-of-fold-оценка — F1 0.929.
|
| 201 |
+
- Добавлены проверка на незнакомых фондах и сквозная проверка на независимом фонде 228.
|
|
|
|
| 202 |
|
| 203 |
---
|
| 204 |
|
| 205 |
+
## Использование генеративного ИИ
|
| 206 |
+
|
| 207 |
+
Архитектурные решения и код были реализованы при помощи инструментов генеративного искусственного интеллекта Claude, Anthropic.
|
| 208 |
|
| 209 |
+
---
|
| 210 |
+
|
| 211 |
+
## Цитирование
|
| 212 |
|
| 213 |
```bibtex
|
| 214 |
@misc{kleine-marchen-binding,
|
|
|
|
| 217 |
year = {2026},
|
| 218 |
url = {https://github.com/Infarondus/Kleine-marchen}
|
| 219 |
}
|
| 220 |
+
```
|