Infarondus commited on
Commit
61ebb21
·
verified ·
1 Parent(s): 9ad178c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +83 -45
README.md CHANGED
@@ -1,26 +1,24 @@
1
  ---
2
- ---
3
- license: apache-2.0
4
  language:
5
  - ru
6
  - en
7
- base_model:
8
- - facebook/convnext-tiny-224
9
- - facebook/dinov2-small
10
- pipeline_tag: image-classification
11
  tags:
 
12
  - manuscript
13
  - bookbinding
14
  - cultural-heritage
15
  - digital-humanities
16
  - convnext
 
17
  - fine-tuned
18
- library_name: timm
19
  ---
20
 
21
  # Kleine-Marchen — Binding Detector (ConvNeXt-Tiny)
22
 
23
- Модель на базе **ConvNeXt-Tiny (ImageNet-22k)** для определения является ли изображение фотографией переплёта рукописи.
24
 
25
  Используется как **первая ступень** в двухэтапном пайплайне классификации переплётов рукописей РГБ.
26
 
@@ -39,17 +37,39 @@ library_name: timm
39
 
40
  ## Метрики
41
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
42
  | Метрика | Значение |
43
- |---|---|
44
- | Accuracy (валидация) | **96%** |
 
 
 
 
45
 
46
  ---
47
 
48
  ## Данные
49
 
50
- - **Источник**: фотографии из фондов РГБ
51
- - **Размер**: ~500 изображений на каждый класс
52
- - **Классы**: переплёт / не переплёт (страницы текста, развороты)
53
  - **Разрешение при обучении**: 320×320 px
54
 
55
  ---
@@ -58,7 +78,16 @@ library_name: timm
58
 
59
  **Базовая модель**: `convnext_tiny.fb_in22k` (ImageNet-22k pretrain, 28M параметров)
60
 
61
- **Стратегия обучения**: обучение только классификационной головы при замороженном бэкбоне.
 
 
 
 
 
 
 
 
 
62
 
63
  ---
64
 
@@ -66,7 +95,7 @@ library_name: timm
66
 
67
  Готовые скрипты доступны в репозитории:
68
 
69
- **[https://github.com/Infarondus/Kleine-marchen](https://github.com/Infarondus/Kleine-marchen)**
70
 
71
  ### Быстрый старт
72
 
@@ -108,11 +137,7 @@ print(f"Не переплёт: {probs[0]:.1%} | Переплёт: {probs[1]:.1%}
108
  ## Место в пайплайне
109
 
110
  Эта модель используется совместно с `binding-srednik-dinov2`:
111
-
112
- ```
113
  Изображение → [ConvNeXt: переплёт?] → [DINOv2: есть средник?] → Результат
114
- ```
115
-
116
  Скрипт двухступенчатого скрапера `scrape_bindings_v2.py` из репозитория **Kleine-Marchen** реализует этот пайплайн полно��тью.
117
 
118
  ---
@@ -121,6 +146,7 @@ print(f"Не переплёт: {probs[0]:.1%} | Переплёт: {probs[1]:.1%}
121
 
122
  - Не предназначена для определения типа переплёта или его элементов — только факт наличия переплёта на снимке
123
  - При сильно нестандартных условиях съёмки (белый фон, крупный план фрагмента) точность может снижаться
 
124
 
125
  ---
126
 
@@ -145,29 +171,37 @@ print(f"Не переплёт: {probs[0]:.1%} | Переплёт: {probs[1]:.1%}
145
 
146
  ## Метрики
147
 
148
- Оценка проводилась методом 5-fold стратифицированной кросс-валидации.
149
 
150
  | Метрика | Значение |
151
- |---|---|
152
- | Accuracy (OOF Ensemble) | **94.50%** |
153
- | F1-macro (OOF Ensemble) | **0.9450** |
154
- | Precision | 0.9454 |
155
- | Recall | 0.9450 |
156
 
157
- **Confusion Matrix (OOF, все 5 фолдов):**
158
 
159
  | | Предсказано: без средника | Предсказано: со средником |
160
- |---|---|---|
161
- | **Реально: без средника** | 471 | 20 |
162
- | **Реально: со средником** | 34 | 457 |
 
 
 
 
 
 
 
 
163
 
164
  ---
165
 
166
  ## Данные
167
 
168
- - **Источник**: фотографии переплётов рукописей из фондов РГБ
169
- - **Размер обучающей выборки**: 567 изображений на каждый класс (1134 итого)
170
- - **Формат**: цветные фотографии переплётов на тёмном фоне
171
  - **Разрешение при обучении**: 280×280 px
172
 
173
  Датасет собирался итеративно: после каждого цикла обучения производился анализ ошибок и доразметка сложных случаев (изношенные переплёты, пограничные экземпляры).
@@ -176,18 +210,20 @@ print(f"Не переплёт: {probs[0]:.1%} | Переплёт: {probs[1]:.1%}
176
 
177
  ## Архитектура
178
 
179
- **Базовая модель**: `vit_small_patch14_dinov2.lvd142m` (DINOv2 ViT-Small, 22M параметров)
180
 
181
  **Голова классификатора**:
182
- ```
183
  LayerNorm(384) → Linear(384→256) → GELU → Dropout(0.3) → Linear(256→2)
184
- ```
185
-
186
  **Стратегия обучения**: двухфазный fine-tuning
 
187
  - Фаза 1 (6 эпох): обучение только головы, LR = 5e-4
188
  - Фаза 2 (20 эпох): голова + последние 4 блока ViT, дифференциальный LR (голова: 3e-5, бэкбон: 2e-6)
189
 
190
- **Ансамбль**: 5 моделей (по одной на каждый фолд) с усреднением вероятностей + TTA (5 аугментаций)
 
 
 
 
191
 
192
  ---
193
 
@@ -195,7 +231,7 @@ LayerNorm(384) → Linear(384→256) → GELU → Dropout(0.3) → Linear(256→
195
 
196
  Готовые скрипты для обучения, оценки и инференса доступны в репозитории:
197
 
198
- **[https://github.com/Infarondus/Kleine-marchen](https://github.com/Infarondus/Kleine-marchen)**
199
 
200
  ### Быстрый старт
201
 
@@ -260,7 +296,7 @@ print(f"Без средника: {probs[0]:.1%} | Со средником: {prob
260
 
261
  ### Рекомендуемый порог
262
 
263
- При использовании ансамбля рекомендуется порог **0.55–0.75** для класса «со средником» в зависимости от допустимого уровня ложных срабатываний.
264
 
265
  ---
266
 
@@ -269,17 +305,19 @@ print(f"Без средника: {probs[0]:.1%} | Со средником: {prob
269
  - Модель обучена на фотографиях переплётов РГБ и может хуже работать на изображениях из других коллекций (domain shift)
270
  - Сильно изношенные переплёты с плохо читаемым средником являются наиболее сложными случаями
271
  - Не предназначена для работы с изображениями страниц, не являющихся переплётами — для фильтрации используйте модель `binding-detector-convnext` на первом этапе
 
272
 
273
  ---
 
274
  ## Цитирование
 
275
  Если вы используете эту модель в исследовании, пожалуйста, укажите репозиторий:
276
- ```
 
277
  @misc{kleine-marchen-binding,
278
  author = {Infarondus},
279
- title = {Kleine-Marchen — Binding Detector (ConvNeXt-Tiny)},
280
  year = {2026},
281
- url = {https://github.com/Infarondus/Kleine-marchen_Base}
282
  }
283
- ```
284
-
285
- ---
 
1
  ---
 
 
2
  language:
3
  - ru
4
  - en
5
+ license: apache-2.0
6
+ library_name: timm
 
 
7
  tags:
8
+ - image-classification
9
  - manuscript
10
  - bookbinding
11
  - cultural-heritage
12
  - digital-humanities
13
  - convnext
14
+ - dinov2
15
  - fine-tuned
16
+ pipeline_tag: image-classification
17
  ---
18
 
19
  # Kleine-Marchen — Binding Detector (ConvNeXt-Tiny)
20
 
21
+ Модель на базе **ConvNeXt-Tiny (ImageNet-22k)** для определения, является ли изображение фотографией переплёта рукописи.
22
 
23
  Используется как **первая ступень** в двухэтапном пайплайне классификации переплётов рукописей РГБ.
24
 
 
37
 
38
  ## Метрики
39
 
40
+ Оценка проводилась на тестовом датасете из 1661 изображения (1136 переплётов + 525 не-переплётов) с применением TTA (5 трансформаций).
41
+
42
+ | Метрика | Значение |
43
+ | --- | --- |
44
+ | Accuracy | **92.53%** |
45
+ | F1-macro | **0.9139** |
46
+ | Precision | 0.9127 |
47
+ | Recall | 0.9152 |
48
+
49
+ **Confusion Matrix:**
50
+
51
+ | | Предсказано: не-переплёт | Предсказано: переплёт |
52
+ | --- | --- | --- |
53
+ | **Реально: не-переплёт** | 466 | 59 |
54
+ | **Реально: переплёт** | 65 | 1071 |
55
+
56
+ **Метрики на уверенных предсказаниях (confidence ≥ 0.6):**
57
+
58
  | Метрика | Значение |
59
+ | --- | --- |
60
+ | Доля уверенных предсказаний | 60.7% (1009 из 1661) |
61
+ | Accuracy | **97.13%** |
62
+ | F1-macro | **0.9689** |
63
+
64
+ Использование порога уверенности позволяет автоматически делегировать сомнительные случаи на ручную проверку, при этом на уверенно классифицированных изображениях модель достигает точности выше 97%.
65
 
66
  ---
67
 
68
  ## Данные
69
 
70
+ - **Источник**: фотографии из цифровых фондов РГБ
71
+ - **Размер обучающей выборки**: ~525 изображений на каждый класс (75/25 hold-out validation)
72
+ - **Классы**: переплёт / не переплёт (страницы текста, развороты, обложки-папки)
73
  - **Разрешение при обучении**: 320×320 px
74
 
75
  ---
 
78
 
79
  **Базовая модель**: `convnext_tiny.fb_in22k` (ImageNet-22k pretrain, 28M параметров)
80
 
81
+ **Стратегия обучения**: fine-tuning только классификационной головы при замороженном бэкбоне. Полная разморозка слоёв приводила к коллапсу обучения из-за ограниченного размера датасета.
82
+
83
+ **Параметры обучения**:
84
+ - Оптимизатор: AdamW (lr=3e-5, weight_decay=1e-4)
85
+ - Scheduler: CosineAnnealingLR
86
+ - Loss: CrossEntropyLoss
87
+ - Batch size: 16
88
+ - Mixed precision training (AMP)
89
+
90
+ **Аугментации** (Albumentations): RandomResizedCrop, HorizontalFlip, RandomRotate90, ShiftScaleRotate, ColorJitter, GridDistortion, GaussianBlur, ToGray.
91
 
92
  ---
93
 
 
95
 
96
  Готовые скрипты доступны в репозитории:
97
 
98
+ **<https://github.com/Infarondus/Kleine-marchen>**
99
 
100
  ### Быстрый старт
101
 
 
137
  ## Место в пайплайне
138
 
139
  Эта модель используется совместно с `binding-srednik-dinov2`:
 
 
140
  Изображение → [ConvNeXt: переплёт?] → [DINOv2: есть средник?] → Результат
 
 
141
  Скрипт двухступенчатого скрапера `scrape_bindings_v2.py` из репозитория **Kleine-Marchen** реализует этот пайплайн полно��тью.
142
 
143
  ---
 
146
 
147
  - Не предназначена для определения типа переплёта или его элементов — только факт наличия переплёта на снимке
148
  - При сильно нестандартных условиях съёмки (белый фон, крупный план фрагмента) точность может снижаться
149
+ - Около 39% входных изображений модель помечает как «сомнительные» (confidence < 0.6) — эти случаи рекомендуется проверять вручную
150
 
151
  ---
152
 
 
171
 
172
  ## Метрики
173
 
174
+ Оценка проводилась на полном датасете из 1136 изображений (568 со средником + 568 без средника) с применением ансамбля 5 моделей и TTA (5 трансформаций) — итого 25 предсказаний на изображение.
175
 
176
  | Метрика | Значение |
177
+ | --- | --- |
178
+ | Accuracy | **93.66%** |
179
+ | F1-macro | **0.9366** |
180
+ | Precision | 0.9368 |
181
+ | Recall | 0.9366 |
182
 
183
+ **Confusion Matrix:**
184
 
185
  | | Предсказано: без средника | Предсказано: со средником |
186
+ | --- | --- | --- |
187
+ | **Реально: без средника** | 537 | 31 |
188
+ | **Реально: со средником** | 41 | 527 |
189
+
190
+ **Анализ ошибок:**
191
+ - Всего ошибочных предсказаний: 72
192
+ - False positive (без средника принят за со средником): 31
193
+ - False negative (со средником принят за без средника): 41
194
+ - Сомнительных предсказаний (confidence < 0.7): 123 (10.8% датасета)
195
+
196
+ Симметричное распределение ошибок указывает на отсутствие смещения модели в сторону одного из классов.
197
 
198
  ---
199
 
200
  ## Данные
201
 
202
+ - **Источник**: фотографии переплётов рукописей из цифровых фондов РГБ
203
+ - **Размер обучающей выборки**: 568 изображений на каждый класс (1136 итого)
204
+ - **Формат**: цветные фотографии переплётов
205
  - **Разрешение при обучении**: 280×280 px
206
 
207
  Датасет собирался итеративно: после каждого цикла обучения производился анализ ошибок и доразметка сложных случаев (изношенные переплёты, пограничные экземпляры).
 
210
 
211
  ## Архитектура
212
 
213
+ **Базовая модель**: `vit_small_patch14_dinov2.lvd142m` (DINOv2 ViT-Small, 22M параметров, предобучен self-supervised на LVD-142M — 142 миллиона курированных изображений)
214
 
215
  **Голова классификатора**:
 
216
  LayerNorm(384) → Linear(384→256) → GELU → Dropout(0.3) → Linear(256→2)
 
 
217
  **Стратегия обучения**: двухфазный fine-tuning
218
+
219
  - Фаза 1 (6 эпох): обучение только головы, LR = 5e-4
220
  - Фаза 2 (20 эпох): голова + последние 4 блока ViT, дифференциальный LR (голова: 3e-5, бэкбон: 2e-6)
221
 
222
+ **Регуляризация**: drop_path_rate = 0.1, dropout = 0.3, label smoothing = 0.05
223
+
224
+ **Ансамбль**: 5 моделей (по одной на каждый фолд 5-fold стратифицированной кросс-валидации) с усреднением softmax-вероятностей.
225
+
226
+ **TTA**: 5 трансформаций (оригинал, horizontal flip, vertical flip, resize ×1.05 + center crop, brightness/contrast jitter).
227
 
228
  ---
229
 
 
231
 
232
  Готовые скрипты для обучения, оценки и инференса доступны в репозитории:
233
 
234
+ **<https://github.com/Infarondus/Kleine-marchen>**
235
 
236
  ### Быстрый старт
237
 
 
296
 
297
  ### Рекомендуемый порог
298
 
299
+ При использовании ансамбля рекомендуется порог **0.70–0.75** для отнесения изображения к одному из классов; при меньшей уверенности изображение целесообразно отправлять на ручную проверку специалистом. На уверенных предсказаниях точность ансамбля заметно превышает интегральную.
300
 
301
  ---
302
 
 
305
  - Модель обучена на фотографиях переплётов РГБ и может хуже работать на изображениях из других коллекций (domain shift)
306
  - Сильно изношенные переплёты с плохо читаемым средником являются наиболее сложными случаями
307
  - Не предназначена для работы с изображениями страниц, не являющихся переплётами — для фильтрации используйте модель `binding-detector-convnext` на первом этапе
308
+ - В обучающей выборке возможно присутствие небольшого количества ошибочно размеченных изображений (~2%), что отражается в нижней границе оценки точности
309
 
310
  ---
311
+
312
  ## Цитирование
313
+
314
  Если вы используете эту модель в исследовании, пожалуйста, укажите репозиторий:
315
+
316
+ ```bibtex
317
  @misc{kleine-marchen-binding,
318
  author = {Infarondus},
319
+ title = {Kleine-Marchen — Binding Classification Pipeline for Manuscript Bindings},
320
  year = {2026},
321
+ url = {https://github.com/Infarondus/Kleine-marchen}
322
  }
323
+ ```