Infarondus commited on
Commit
a59860d
·
verified ·
1 Parent(s): 47be2af

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +132 -235
README.md CHANGED
@@ -16,302 +16,199 @@ tags:
16
  pipeline_tag: image-classification
17
  ---
18
 
19
- # Kleine-Marchen — Binding Detector (ConvNeXt-Tiny)
20
 
21
- Модель на базе **ConvNeXt-Tiny (ImageNet-22k)** для определения, является ли изображение фотографией переплёта рукописи.
22
 
23
- Используется как **первая ступень** в двухэтапном пайплайне классификации переплётов рукописей РГБ.
24
-
25
- ---
26
-
27
- ## Назначение
28
-
29
- Бинарная классификация:
30
 
31
- - **Класс 1 — переплёт**: изображение является фотографией крышки переплёта рукописи
32
- - **Класс 0 — не переплёт**: страница текста, разворот, предметная съёмка и т.д.
33
 
34
- Модель решает задачу фильтрации при массовом скачивании изображений из цифровых архивов рукописей, где первые страницы оцифровки содержат как переплёты, так и текстовые страницы.
35
 
36
  ---
37
 
38
- ## Метрики
39
-
40
- Оценка проводилась на тестовом датасете из 1661 изображения (1136 переплётов + 525 не-переплётов) с применением TTA (5 трансформаций).
41
-
42
- | Метрика | Значение |
43
- | --- | --- |
44
- | Accuracy | **92.53%** |
45
- | F1-macro | **0.9139** |
46
- | Precision | 0.9127 |
47
- | Recall | 0.9152 |
48
-
49
- **Confusion Matrix:**
50
-
51
- | | Предсказано: не-переплёт | Предсказано: переплёт |
52
- | --- | --- | --- |
53
- | **Реально: не-переплёт** | 466 | 59 |
54
- | **Реально: переплёт** | 65 | 1071 |
55
-
56
- **Метрики на уверенных предсказаниях (confidence ≥ 0.6):**
57
 
58
- | Метрика | Значение |
59
  | --- | --- |
60
- | Доля уверенных предсказаний | 60.7% (1009 из 1661) |
61
- | Accuracy | **97.13%** |
62
- | F1-macro | **0.9689** |
63
-
64
- Использование порога уверенности позволяет автоматически делегировать сомнительные случаи на ручную проверку, при этом на уверенно классифицированных изображениях модель достигает точности выше 97%.
65
-
66
- ---
67
 
68
- ## Данные
69
-
70
- - **Источник**: фотографии из цифровых фондов РГБ
71
- - **Размер обучающей выборки**: ~525 изображений на каждый класс (75/25 hold-out validation)
72
- - **Классы**: переплёт / не переплёт (страницы текста, развороты, обложки-папки)
73
- - **Разрешение при обучении**: 320×320 px
74
 
75
  ---
76
 
77
- ## Архитектура
78
-
79
- **Базовая модель**: `convnext_tiny.fb_in22k` (ImageNet-22k pretrain, 28M параметров)
80
-
81
- **Стратегия обучения**: fine-tuning только классификационной головы при замороженном бэкбоне. Полная разморозка слоёв приводила к коллапсу обучения из-за ограниченного размера датасета.
82
-
83
- **Параметры обучения**:
84
- - Оптимизатор: AdamW (lr=3e-5, weight_decay=1e-4)
85
- - Scheduler: CosineAnnealingLR
86
- - Loss: CrossEntropyLoss
87
- - Batch size: 16
88
- - Mixed precision training (AMP)
89
-
90
- **Аугментации** (Albumentations): RandomResizedCrop, HorizontalFlip, RandomRotate90, ShiftScaleRotate, ColorJitter, GridDistortion, GaussianBlur, ToGray.
91
-
92
- ---
93
-
94
- ## Использование
95
-
96
- Готовые скрипты доступны в репозитории:
97
 
98
- **<https://github.com/Infarondus/Kleine-marchen>**
99
 
100
- ### Быстрый старт
101
-
102
- ```python
103
- import torch
104
- import timm
105
- import numpy as np
106
- from PIL import Image
107
- import albumentations as A
108
- from albumentations.pytorch import ToTensorV2
109
 
110
- IMAGE_SIZE = 320
111
-
112
- transform = A.Compose([
113
- A.LongestMaxSize(max_size=IMAGE_SIZE),
114
- A.PadIfNeeded(min_height=IMAGE_SIZE, min_width=IMAGE_SIZE,
115
- border_mode=0, value=[255, 255, 255]),
116
- A.Normalize(mean=[0.485, 0.456, 0.406],
117
- std=[0.229, 0.224, 0.225]),
118
- ToTensorV2(),
119
- ])
120
-
121
- device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
122
- model = timm.create_model('convnext_tiny_in22k', pretrained=False, num_classes=2)
123
- ckpt = torch.load('kleine-marchen_preprocess.pth', map_location=device, weights_only=False)
124
- model.load_state_dict(ckpt['model_state_dict'])
125
- model.to(device).eval()
126
-
127
- img = np.array(Image.open('page.jpg').convert('RGB'))
128
- tensor = transform(image=img)['image'].unsqueeze(0).to(device)
129
- with torch.no_grad():
130
- probs = torch.softmax(model(tensor), dim=1)[0]
131
-
132
- print(f"Не переплёт: {probs[0]:.1%} | Переплёт: {probs[1]:.1%}")
133
- ```
134
 
135
  ---
136
 
137
- ## Место в пайплайне
138
 
139
- Эта модель используется совместно с `binding-srednik-dinov2`:
140
- Изображение → [ConvNeXt: переплёт?] → [DINOv2: есть средник?] → Результат
141
- Скрипт двухступенчатого скрапера `scrape_bindings_v2.py` из репозитория **Kleine-Marchen** реализует этот пайплайн полностью.
142
-
143
- ---
144
 
145
- ## Ограничения
 
 
 
 
 
 
146
 
147
- - Не предназначена для определения типа переплёта или его элементов — только факт наличия переплёта на снимке
148
- - При сильно нестандартных условиях съёмки (белый фон, крупный план фрагмента) точность может снижаться
149
- - Около 39% входных изображений модель помечает как «сомнительные» (confidence < 0.6) — эти случаи рекомендуется проверять вручную или пропускать (так как большая часть пограничных случаев не является переплётом)
 
150
 
151
- ---
152
 
153
- # Kleine-Marchen — Binding Srednik Detector (DINOv2 Ensemble)
154
 
155
- Ансамбль из 5 моделей на базе **DINOv2 ViT-Small** для классификации переплётов рукописей по наличию **средника** — центрального декоративного элемента крышки переплёта.
156
 
157
- Модель разработана в рамках исследования рукописного фонда Российской государственной библиотеки (РГБ).
 
 
 
 
158
 
159
  ---
160
 
161
- ## Назначение
162
-
163
- Модель решает задачу бинарной классификации изображений переплётов:
164
-
165
- - **Класс 1 — со средником**: на крышке переплёта присутствует средник
166
- - **Класс 0 — без средника**: средник отсутствует
167
-
168
- Модель предназначена для автоматической предварительной сортировки больших коллекций фотографий переплётов рукописей. Окончательная верификация результатов производится специалистом.
169
-
170
- ---
171
 
172
- ## Метрики
173
 
174
- Оценка проводилась на полном датасете из 1136 изображений (568 со средником + 568 без средника) с применением ансамбля 5 моделей и TTA (5 трансформаций) — итого 25 предсказаний на изображение.
175
 
176
  | Метрика | Значение |
177
  | --- | --- |
178
- | Accuracy | **93.66%** |
179
- | F1-macro | **0.9366** |
180
- | Precision | 0.9368 |
181
- | Recall | 0.9366 |
182
-
183
- **Confusion Matrix:**
184
 
185
- | | Предсказано: без средника | Предсказано: со средником |
186
  | --- | --- | --- |
187
- | **Реально: без средника** | 537 | 31 |
188
- | **Реально: со средником** | 41 | 527 |
189
-
190
- **Анализ ошибок:**
191
- - Всего ошибочных предсказаний: 72
192
- - False positive (без средника принят за со средником): 31
193
- - False negative (со средником принят за без средника): 41
194
- - Сомнительных предсказаний (confidence < 0.7): 123 (10.8% датасета)
195
 
196
- Симметричное распределение ошибок указывает на отсутствие смещения модели в сторону одного из классов.
197
-
198
- ---
199
 
200
- ## Данные
201
-
202
- - **Источник**: фотографии переплётов рукописей из цифровых фондов РГБ
203
- - **Размер обучающей выборки**: 568 изображений на каждый класс (1136 итого)
204
- - **Формат**: цветные фотографии переплётов
205
- - **Разрешение при обучении**: 280×280 px
206
-
207
- Датасет собирался итеративно: после каждого цикла обучения производился анализ ошибок и доразметка сложных случаев (изношенные переплёты, пограничные экземпляры).
208
-
209
- ---
210
 
211
- ## Архитектура
 
 
 
212
 
213
- **Базовая модель**: `vit_small_patch14_dinov2.lvd142m` (DINOv2 ViT-Small, 22M параметров, предобучен self-supervised на LVD-142M — 142 миллиона курированных изображений)
214
 
215
- **Голова классификатора**:
216
- LayerNorm(384) → Linear(384→256) → GELU → Dropout(0.3) → Linear(256→2)
217
- **Стратегия обучения**: двухфазный fine-tuning
218
 
219
- - Фаза 1 (6 эпох): обучение только головы, LR = 5e-4
220
- - Фаза 2 (20 эпох): голова + последние 4 блока ViT, дифференциальный LR (голова: 3e-5, бэкбон: 2e-6)
221
 
222
- **Регуляризация**: drop_path_rate = 0.1, dropout = 0.3, label smoothing = 0.05
223
-
224
- **Ансамбль**: 5 моделей (по одной на каждый фолд 5-fold стратифицированной кросс-валидации) с усреднением softmax-вероятностей.
225
-
226
- **TTA**: 5 трансформаций (оригинал, horizontal flip, vertical flip, resize ×1.05 + center crop, brightness/contrast jitter).
227
 
228
  ---
229
 
230
- ## Использование
231
-
232
- Готовые скрипты для обучения, оценки и инференса доступны в репозитории:
233
-
234
- **<https://github.com/Infarondus/Kleine-marchen>**
235
-
236
- ### Быстрый старт
237
 
238
  ```python
239
- import torch
240
- import torch.nn as nn
241
- import torch.nn.functional as F
242
- import timm
243
- import numpy as np
244
- from PIL import Image
245
  import albumentations as A
246
  from albumentations.pytorch import ToTensorV2
 
247
 
248
- MODEL_NAME = 'vit_small_patch14_dinov2.lvd142m'
249
- IMAGE_SIZE = 280
250
- DINO_MEAN = [0.485, 0.456, 0.406]
251
- DINO_STD = [0.229, 0.224, 0.225]
252
-
253
- def build_model():
254
- backbone = timm.create_model(
255
- MODEL_NAME, pretrained=False, num_classes=0,
256
- img_size=IMAGE_SIZE, dynamic_img_size=True,
257
- )
258
- head = nn.Sequential(
259
- nn.LayerNorm(backbone.embed_dim),
260
- nn.Linear(backbone.embed_dim, 256),
261
- nn.GELU(),
262
- nn.Dropout(0.3),
263
- nn.Linear(256, 2),
264
- )
265
- class DinoClassifier(nn.Module):
266
- def __init__(self, b, h):
267
- super().__init__()
268
- self.backbone, self.head = b, h
269
- def forward(self, x):
270
- return self.head(self.backbone(x))
271
- return DinoClassifier(backbone, head)
272
-
273
- transform = A.Compose([
274
- A.LongestMaxSize(max_size=IMAGE_SIZE),
275
- A.PadIfNeeded(min_height=IMAGE_SIZE, min_width=IMAGE_SIZE,
276
- border_mode=0, value=[255, 255, 255]),
277
- A.Normalize(mean=DINO_MEAN, std=DINO_STD),
278
- ToTensorV2(),
279
- ])
280
-
281
- # Загрузка модели
282
- device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
283
- model = build_model().to(device)
284
- ckpt = torch.load('fold_1_km.pth', map_location=device, weights_only=False)
285
- model.load_state_dict(ckpt['model_state_dict'])
286
- model.eval()
287
-
288
- # Инференс
289
- img = np.array(Image.open('binding.jpg').convert('RGB'))
290
- tensor = transform(image=img)['image'].unsqueeze(0).to(device)
291
- with torch.no_grad():
292
- probs = F.softmax(model(tensor), dim=1)[0]
293
-
294
- print(f"Без средника: {probs[0]:.1%} | Со средником: {probs[1]:.1%}")
295
  ```
296
 
297
- ### Рекомендуемый порог
298
 
299
- При использовании ансамбля рекомендуется порог **0.70–0.75** для отнесения изображения к одному из классов; при меньше�� уверенности изображение целесообразно отправлять на ручную проверку специалистом. На уверенных предсказаниях точность ансамбля заметно превышает интегральную.
 
 
 
 
 
300
 
301
  ---
302
 
303
- ## Ограничения
304
 
305
- - Модель обучена на фотографиях переплётов РГБ и может хуже работать на изображениях из других коллекций (domain shift)
306
- - Сильно изношенные переплёты с плохо читаемым средником являются наиболее сложными случаями
307
- - Не предназначена для работы с изображениями страниц, не являющихся переплётами — для фильтрации используйте модель `klein-marchen_preprocess` на первом этапе
308
- - В обучающей выборке возможно присутствие небольшого количества ошибочно размеченных изображений (~2%), что отражается в нижней границе оценки точности
309
 
310
  ---
311
 
312
- ## Цитирование
 
 
313
 
314
- Если вы используете эту модель в исследовании, пожалуйста, укажите репозиторий:
 
 
315
 
316
  ```bibtex
317
  @misc{kleine-marchen-binding,
@@ -320,4 +217,4 @@ print(f"Без средника: {probs[0]:.1%} | Со средником: {prob
320
  year = {2026},
321
  url = {https://github.com/Infarondus/Kleine-marchen}
322
  }
323
- ```
 
16
  pipeline_tag: image-classification
17
  ---
18
 
19
+ # Kleine-Marchen — двухэтапный пайплайн классификации переплётов рукописей
20
 
21
+ Модели для автоматического отбора фотографий переплётов рукописных книг **со средником** (центральным декоративным элементом крышки) из оцифрованных фондов РГБ.
22
 
23
+ ```
24
+ изображение → [этап 1: ConvNeXt-Tiny, 5 моделей] переплёт? (τ₁ = 0.60)
25
+ → [этап 2: DINOv2 ViT-S, 5 моделей × 5 TTA] средник? (τ₂ = 0.55)
26
+ → итоговая коллекция
27
+ ```
 
 
28
 
29
+ Пайплайн целиком реализован в скрипте `scrape_bindings_v3.py`: **<https://github.com/Infarondus/Kleine-marchen>**
 
30
 
31
+ > **Обновление (ноябрь 2026).** Протоколы оценки пересмотрены: прежние метрики были получены на данных, пересекавшихся с обучающими, и заменены out-of-fold-оценкой (каждое изображение оценивается моделью, не видевшей его при обучении). Модели этапа 1 заменены новыми (`convnext/`), модели этапа 2 не менялись, но их метрики пересчитаны. Подробности — в разделе «Что изменилось».
32
 
33
  ---
34
 
35
+ ## Файлы
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
36
 
37
+ | Путь | Что это |
38
  | --- | --- |
39
+ | `convnext/fold_1_oof.pth` … `fold_5_oof.pth` | этап 1, ConvNeXt-Tiny, 5 моделей (по одной на фолд) |
40
+ | `fold_1_km.pth` … `fold_5_km.pth` | этап 2, DINOv2 ViT-Small, 5 моделей (по одной на фолд) |
41
+ | `legacy/klein-marchen_preprocess.pth` | прежняя модель этапа 1 (апрель 2026), не рекомендуется |
 
 
 
 
42
 
43
+ В пайплайне каждый этап работает **ансамблем** своих пяти моделей (усреднение softmax-вероятностей).
 
 
 
 
 
44
 
45
  ---
46
 
47
+ ## Сквозная проверка на независимом фонде
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
48
 
49
+ Пайплайн применён к фонду **228 РГБ**, который не использовался ни при обучении, ни при подборе параметров: 219 рукописей, по одному лучшему снимку переплёта на рукопись. Все снимки (отобранные и отклонённые) проверены автором вслепую, без знания решения модели; 7 изображений сильно фрагментированных переплётов исключены как не допускающие однозначной разметки.
50
 
51
+ | | Значение | 95% ДИ |
52
+ | --- | --- | --- |
53
+ | Точность отбора (precision) | **0.989** (89 из 90) | 0.94–0.998 |
54
+ | Полнота (recall) | **0.840** (89 из 106) | 0.76–0.90 |
55
+ | AUC этапа 2 | 0.980 | — |
56
+ | Этап 1: precision / recall | 0.971 / 0.983 | — |
 
 
 
57
 
58
+ Пропущенные средники в основном получают оценки, заметно превышающие оценки переплётов без средника (медиана последних — 0.02), но не достигают порога τ₂. Пайплайн настроен консервативно: высокая точность отбора ценой части пропусков.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
59
 
60
  ---
61
 
62
+ ## Этап 1 — ConvNeXt-Tiny: переплёт / не-переплёт
63
 
64
+ **Метрики** (out-of-fold, 5 фолдов, группировка по рукописи; одна трансформация, 352 px — как в пайплайне):
 
 
 
 
65
 
66
+ | Метрика | Значение |
67
+ | --- | --- |
68
+ | Accuracy | **0.988** |
69
+ | F1-macro | **0.986** |
70
+ | Precision (macro) | 0.986 |
71
+ | Recall (macro) | 0.986 |
72
+ | AUC | 0.999 |
73
 
74
+ | | Предсказано: не-переплёт | Предсказано: переплёт |
75
+ | --- | --- | --- |
76
+ | **Реально: не-переплёт (483)** | 473 | 10 |
77
+ | **Реально: переплёт (1131)** | 9 | 1122 |
78
 
79
+ F1 по фолдам: 0.981–0.993. Доля предсказаний с уверенностью ниже 0.6 — 0.9%.
80
 
81
+ **Данные:** 1614 уникальных изображений (1131 переплёт, 483 не-переплёта: развороты, обложки-папки, прочие снимки описи) из 7 фондов РГБ. Точные дубли удалены; разбиение на фолды — `StratifiedGroupKFold` по рукописи (снимки одной рукописи всегда в одном фолде). При сверке предсказаний с разметкой 11 переплётов, ошибочно отнесённых к не-переплётам, перенесены в нужный класс, 1 неоднозначный снимок исключён.
82
 
83
+ **Обучение** (`deep_test_v2.py`): `convnext_tiny.fb_in22k`, три фазы с постепенной разморозкой; лучшая модель выбирается по валидационному F1 среди всех фаз (во всех 5 фолдах лучшей оказалась третья фаза).
84
 
85
+ - Фаза 1 (288 px, 10 эпох): только голова; AdamW, lr 1e-4, wd 1e-2, warmup 2 эпохи + косинус.
86
+ - Фаза 2 (288 px, до 8 эпох): stages 2–3, голова заморожена; lr 1e-5, wd 5e-3.
87
+ - Фаза 3 (352 px, до 15 эпох): stages 1–3 + голова; lr 5e-6 (backbone) / 1e-5 (голова), wd 5e-3, label smoothing 0.05, mixup/cutmix с 5-й эпохи; выбор по F1 с TTA на EMA-весах.
88
+ - Batch 16, AMP, gradient clipping 1.0, dropout 0.3, drop_path 0.1, взвешенный сэмплер для баланса классов, early stopping (patience 5).
89
+ - Аугментации (Albumentations): RandomResizedCrop, HorizontalFlip, VerticalFlip, ShiftScaleRotate, RandomBrightnessContrast / HueSaturationValue, GaussNoise / GaussianBlur / ImageCompression, CLAHE, CoarseDropout.
90
 
91
  ---
92
 
93
+ ## Этап 2 — DINOv2 ViT-Small: со средником / без средника
 
 
 
 
 
 
 
 
 
94
 
95
+ **Определение класса.** «Со средником» — центральный элемент является центром декоративной композиции крышки (тиснёный средник либо металлическая накладка в окружении орнамента, рамок или тиснения). Одиночная накладка на гладкой крышке средником не считается.
96
 
97
+ **Метрики** (out-of-fold: каждое изображение оценено той моделью из пяти, которая его не видела; 5 TTA):
98
 
99
  | Метрика | Значение |
100
  | --- | --- |
101
+ | Accuracy | **0.929** |
102
+ | F1-macro | **0.929** |
103
+ | Precision (macro) | 0.929 |
104
+ | Recall (macro) | 0.929 |
 
 
105
 
106
+ | | Предсказано: без средника | Предсказано: со средником |
107
  | --- | --- | --- |
108
+ | **Реально: без средника (568)** | 532 | 36 |
109
+ | **Реально: со средником (568)** | 45 | 523 |
 
 
 
 
 
 
110
 
111
+ Accuracy по фолдам: 0.908–0.952. При рабочем пороге τ₂ = 0.55: precision отбора 0.941, recall 0.903. Доля предсказаний с уверенностью ниже 0.7 — 12.0%.
 
 
112
 
113
+ **Перенос на незнакомый фонд** (модель обучена без одного фонда и проверена на нём):
 
 
 
 
 
 
 
 
 
114
 
115
+ | Исключённый фонд | n | AUC | F1 при τ₂ = 0.55 |
116
+ | --- | --- | --- | --- |
117
+ | 98 | 399 | 0.942 | 0.825 |
118
+ | 304-I | 498 | 0.979 | 0.839 |
119
 
120
+ Модель хорошо упорядочивает изображения нового фонда (высокий AUC), но шкала её уверенности смещается. **Для новой коллекции порог τ₂ рекомендуется калибровать на небольшой размеченной выборке**, а изображения с оценкой примерно 0.4–0.7 направлять на проверку специалисту.
121
 
122
+ **Данные:** 1136 изображений (568 / 568) из фондов РГБ; 1119 уникальных рукописей (17 повторов; их исключение на метрики не влияет). Часть положительных примеров (67) отобрана ранней версией модели и проверена автором. Разбиение — `StratifiedKFold(5, shuffle=True, random_state=42)` по изображениям.
 
 
123
 
124
+ **Обучение** (`deep_test_v4_dino.py`): `vit_small_patch14_dinov2.lvd142m`, 280 px, голова LayerNorm(384) → Linear(384→256) → GELU → Dropout(0.3) → Linear(256→2).
 
125
 
126
+ - Фаза 1 (6 эпох): только голова; AdamW, lr 5e-4, wd 1e-4, warmup 2 эпохи + косинус.
127
+ - Фаза 2 (до 20 эпох): голова + последние 4 блока ViT + финальная LayerNorm; lr 3e-5 (голова) / 2e-6 (backbone), wd 1e-2, warmup 1 эпоха, early stopping (patience 10).
128
+ - Batch 32, без AMP, gradient clipping 1.0, label smoothing 0.05, drop_path 0.1, взвешенный сэмплер.
129
+ - Лучшая эпоха выбирается по F1 сглаженных весов (EMA, обновление раз в эпоху); сохраняются обычные веса этой эпохи.
130
+ - TTA: оригинал, горизонтальное и вертикальное отражение, увеличение ×1.05 + центральный кроп, яркость/контраст ±10%.
131
 
132
  ---
133
 
134
+ ## Быстрый старт
 
 
 
 
 
 
135
 
136
  ```python
137
+ import numpy as np, torch, torch.nn as nn, torch.nn.functional as F, timm
 
 
 
 
 
138
  import albumentations as A
139
  from albumentations.pytorch import ToTensorV2
140
+ from PIL import Image
141
 
142
+ MEAN, STD = [0.485, 0.456, 0.406], [0.229, 0.224, 0.225]
143
+ dev = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
144
+
145
+ def tfm(size):
146
+ return A.Compose([A.LongestMaxSize(max_size=size),
147
+ A.PadIfNeeded(size, size, border_mode=0, value=[255, 255, 255]),
148
+ A.Normalize(mean=MEAN, std=STD), ToTensorV2()])
149
+
150
+ # этап 1: ансамбль ConvNeXt
151
+ convnext = []
152
+ for k in range(1, 6):
153
+ ck = torch.load(f'convnext/fold_{k}_oof.pth', map_location=dev, weights_only=False)
154
+ m = timm.create_model('convnext_tiny.fb_in22k', pretrained=False, num_classes=2)
155
+ m.load_state_dict(ck['model_state_dict']); convnext.append(m.to(dev).eval())
156
+
157
+ # этап 2: ансамбль DINOv2
158
+ class DinoClassifier(nn.Module):
159
+ def __init__(self):
160
+ super().__init__()
161
+ self.backbone = timm.create_model('vit_small_patch14_dinov2.lvd142m', pretrained=False,
162
+ num_classes=0, img_size=280, dynamic_img_size=True)
163
+ d = self.backbone.embed_dim
164
+ self.head = nn.Sequential(nn.LayerNorm(d), nn.Linear(d, 256), nn.GELU(),
165
+ nn.Dropout(0.3), nn.Linear(256, 2))
166
+ def forward(self, x):
167
+ return self.head(self.backbone(x))
168
+
169
+ dino = []
170
+ for k in range(1, 6):
171
+ ck = torch.load(f'fold_{k}_km.pth', map_location=dev, weights_only=False)
172
+ m = DinoClassifier(); m.load_state_dict(ck['model_state_dict']); dino.append(m.to(dev).eval())
173
+
174
+ @torch.no_grad()
175
+ def score(models, img, size):
176
+ x = tfm(size)(image=img)['image'].unsqueeze(0).to(dev)
177
+ return float(np.mean([F.softmax(m(x), 1)[0, 1].item() for m in models]))
178
+
179
+ img = np.array(Image.open('binding.jpg').convert('RGB'))
180
+ p_bind = score(convnext, img, 352)
181
+ p_sred = score(dino, img, 280) # в пайплайне дополнительно усредняется по 5 TTA
182
+ print(f"переплёт: {p_bind:.1%} средник: {p_sred:.1%} →",
183
+ "отобрано" if p_bind >= 0.60 and p_sred >= 0.55 else "отклонено")
 
 
 
 
 
184
  ```
185
 
186
+ ---
187
 
188
+ ## Ограничения
189
+
190
+ - Модели обучены на снимках фондов РГБ; на других коллекциях смещается калибровка уверенности (см. выше), порог τ₂ следует подбирать заново.
191
+ - Разметка выполнена одним автором; критерий для металлических накладок сформулирован после разметки, в части таких случаев она может быть непоследовательной. Около 2% изображений — пограничные случаи.
192
+ - Наиболее трудны сильно изношенные переплёты, где средник сохранился фрагментарно или различим только рельефно, а также нетипичные гладкие переплёты без тиснения (на этапе 1).
193
+ - Пайплайн рассматривает первые 5 снимков рукописи и передаёт на этап 2 только один, лучший по оценке этапа 1.
194
 
195
  ---
196
 
197
+ ## Что изменилось (ноябрь 2026)
198
 
199
+ - **Этап 1.** Прежняя модель (`legacy/klein-marchen_preprocess.pth`, один фолд апрельского обучения, обучена только голова) оценивалась на изображениях, пересекавшихся с обучающими, и с другими параметрами (320 px); опубликованные для неё метрики (F1 0.914) независимой оценкой не являются. Она заменена ансамблем из 5 моделей, обученных тем же рецептом на исправленном и расширенном датасете и оценённых out-of-fold.
200
+ - **Этап 2.** Модели не менялись. Прежние метрики (F1 0.937) были получены ансамблем всех пяти моделей на полном датасете, т.е. на изображениях, частично входивших в обучение; out-of-fold-оценка — F1 0.929.
201
+ - Добавлены проверка на незнакомых фондах и сквозная проверка на независимом фонде 228.
 
202
 
203
  ---
204
 
205
+ ## Использование генеративного ИИ
206
+
207
+ Архитектурные решения и код были реализованы при помощи инструментов генеративного искусственного интеллекта Claude, Anthropic.
208
 
209
+ ---
210
+
211
+ ## Цитирование
212
 
213
  ```bibtex
214
  @misc{kleine-marchen-binding,
 
217
  year = {2026},
218
  url = {https://github.com/Infarondus/Kleine-marchen}
219
  }
220
+ ```