Image Classification
timm
Russian
English
manuscript
bookbinding
cultural-heritage
digital-humanities
convnext
dinov2
fine-tuned
Instructions to use Infarondus/Klein-marchen_Base with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- timm
How to use Infarondus/Klein-marchen_Base with timm:
import timm model = timm.create_model("hf-hub:Infarondus/Klein-marchen_Base", pretrained=True) - Notebooks
- Google Colab
- Kaggle
Update README.md
Browse files
README.md
CHANGED
|
@@ -1,26 +1,24 @@
|
|
| 1 |
---
|
| 2 |
-
---
|
| 3 |
-
license: apache-2.0
|
| 4 |
language:
|
| 5 |
- ru
|
| 6 |
- en
|
| 7 |
-
|
| 8 |
-
|
| 9 |
-
- facebook/dinov2-small
|
| 10 |
-
pipeline_tag: image-classification
|
| 11 |
tags:
|
|
|
|
| 12 |
- manuscript
|
| 13 |
- bookbinding
|
| 14 |
- cultural-heritage
|
| 15 |
- digital-humanities
|
| 16 |
- convnext
|
|
|
|
| 17 |
- fine-tuned
|
| 18 |
-
|
| 19 |
---
|
| 20 |
|
| 21 |
# Kleine-Marchen — Binding Detector (ConvNeXt-Tiny)
|
| 22 |
|
| 23 |
-
Модель на базе **ConvNeXt-Tiny (ImageNet-22k)** для определения является ли изображение фотографией переплёта рукописи.
|
| 24 |
|
| 25 |
Используется как **первая ступень** в двухэтапном пайплайне классификации переплётов рукописей РГБ.
|
| 26 |
|
|
@@ -39,17 +37,39 @@ library_name: timm
|
|
| 39 |
|
| 40 |
## Метрики
|
| 41 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 42 |
| Метрика | Значение |
|
| 43 |
-
|---|---|
|
| 44 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 45 |
|
| 46 |
---
|
| 47 |
|
| 48 |
## Данные
|
| 49 |
|
| 50 |
-
- **Источник**: фотографии из фондов РГБ
|
| 51 |
-
- **Размер**: ~
|
| 52 |
-
- **Классы**: переплёт / не переплёт (страницы текста, развороты)
|
| 53 |
- **Разрешение при обучении**: 320×320 px
|
| 54 |
|
| 55 |
---
|
|
@@ -58,7 +78,16 @@ library_name: timm
|
|
| 58 |
|
| 59 |
**Базовая модель**: `convnext_tiny.fb_in22k` (ImageNet-22k pretrain, 28M параметров)
|
| 60 |
|
| 61 |
-
**Стратегия обучения**:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 62 |
|
| 63 |
---
|
| 64 |
|
|
@@ -66,7 +95,7 @@ library_name: timm
|
|
| 66 |
|
| 67 |
Готовые скрипты доступны в репозитории:
|
| 68 |
|
| 69 |
-
**
|
| 70 |
|
| 71 |
### Быстрый старт
|
| 72 |
|
|
@@ -108,11 +137,7 @@ print(f"Не переплёт: {probs[0]:.1%} | Переплёт: {probs[1]:.1%}
|
|
| 108 |
## Место в пайплайне
|
| 109 |
|
| 110 |
Эта модель используется совместно с `binding-srednik-dinov2`:
|
| 111 |
-
|
| 112 |
-
```
|
| 113 |
Изображение → [ConvNeXt: переплёт?] → [DINOv2: есть средник?] → Результат
|
| 114 |
-
```
|
| 115 |
-
|
| 116 |
Скрипт двухступенчатого скрапера `scrape_bindings_v2.py` из репозитория **Kleine-Marchen** реализует этот пайплайн полно��тью.
|
| 117 |
|
| 118 |
---
|
|
@@ -121,6 +146,7 @@ print(f"Не переплёт: {probs[0]:.1%} | Переплёт: {probs[1]:.1%}
|
|
| 121 |
|
| 122 |
- Не предназначена для определения типа переплёта или его элементов — только факт наличия переплёта на снимке
|
| 123 |
- При сильно нестандартных условиях съёмки (белый фон, крупный план фрагмента) точность может снижаться
|
|
|
|
| 124 |
|
| 125 |
---
|
| 126 |
|
|
@@ -145,29 +171,37 @@ print(f"Не переплёт: {probs[0]:.1%} | Переплёт: {probs[1]:.1%}
|
|
| 145 |
|
| 146 |
## Метрики
|
| 147 |
|
| 148 |
-
Оценка проводилась методом
|
| 149 |
|
| 150 |
| Метрика | Значение |
|
| 151 |
-
|---|---|
|
| 152 |
-
| Accuracy
|
| 153 |
-
| F1-macro
|
| 154 |
-
| Precision | 0.
|
| 155 |
-
| Recall | 0.
|
| 156 |
|
| 157 |
-
**Confusion Matrix
|
| 158 |
|
| 159 |
| | Предсказано: без средника | Предсказано: со средником |
|
| 160 |
-
|---|---|---|
|
| 161 |
-
| **Реально: без средника** |
|
| 162 |
-
| **Реально: со средником** |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 163 |
|
| 164 |
---
|
| 165 |
|
| 166 |
## Данные
|
| 167 |
|
| 168 |
-
- **Источник**: фотографии переплётов рукописей из фондов РГБ
|
| 169 |
-
- **Размер обучающей выборки**:
|
| 170 |
-
- **Формат**: цветные фотографии переплётов
|
| 171 |
- **Разрешение при обучении**: 280×280 px
|
| 172 |
|
| 173 |
Датасет собирался итеративно: после каждого цикла обучения производился анализ ошибок и доразметка сложных случаев (изношенные переплёты, пограничные экземпляры).
|
|
@@ -176,18 +210,20 @@ print(f"Не переплёт: {probs[0]:.1%} | Переплёт: {probs[1]:.1%}
|
|
| 176 |
|
| 177 |
## Архитектура
|
| 178 |
|
| 179 |
-
**Базовая модель**: `vit_small_patch14_dinov2.lvd142m` (DINOv2 ViT-Small, 22M параметров)
|
| 180 |
|
| 181 |
**Голова классификатора**:
|
| 182 |
-
```
|
| 183 |
LayerNorm(384) → Linear(384→256) → GELU → Dropout(0.3) → Linear(256→2)
|
| 184 |
-
```
|
| 185 |
-
|
| 186 |
**Стратегия обучения**: двухфазный fine-tuning
|
|
|
|
| 187 |
- Фаза 1 (6 эпох): обучение только головы, LR = 5e-4
|
| 188 |
- Фаза 2 (20 эпох): голова + последние 4 блока ViT, дифференциальный LR (голова: 3e-5, бэкбон: 2e-6)
|
| 189 |
|
| 190 |
-
**
|
|
|
|
|
|
|
|
|
|
|
|
|
| 191 |
|
| 192 |
---
|
| 193 |
|
|
@@ -195,7 +231,7 @@ LayerNorm(384) → Linear(384→256) → GELU → Dropout(0.3) → Linear(256→
|
|
| 195 |
|
| 196 |
Готовые скрипты для обучения, оценки и инференса доступны в репозитории:
|
| 197 |
|
| 198 |
-
**
|
| 199 |
|
| 200 |
### Быстрый старт
|
| 201 |
|
|
@@ -260,7 +296,7 @@ print(f"Без средника: {probs[0]:.1%} | Со средником: {prob
|
|
| 260 |
|
| 261 |
### Рекомендуемый порог
|
| 262 |
|
| 263 |
-
При использовании ансамбля рекомендуется порог **0.
|
| 264 |
|
| 265 |
---
|
| 266 |
|
|
@@ -269,17 +305,19 @@ print(f"Без средника: {probs[0]:.1%} | Со средником: {prob
|
|
| 269 |
- Модель обучена на фотографиях переплётов РГБ и может хуже работать на изображениях из других коллекций (domain shift)
|
| 270 |
- Сильно изношенные переплёты с плохо читаемым средником являются наиболее сложными случаями
|
| 271 |
- Не предназначена для работы с изображениями страниц, не являющихся переплётами — для фильтрации используйте модель `binding-detector-convnext` на первом этапе
|
|
|
|
| 272 |
|
| 273 |
---
|
|
|
|
| 274 |
## Цитирование
|
|
|
|
| 275 |
Если вы используете эту модель в исследовании, пожалуйста, укажите репозиторий:
|
| 276 |
-
|
|
|
|
| 277 |
@misc{kleine-marchen-binding,
|
| 278 |
author = {Infarondus},
|
| 279 |
-
title = {Kleine-Marchen — Binding
|
| 280 |
year = {2026},
|
| 281 |
-
url = {https://github.com/Infarondus/Kleine-
|
| 282 |
}
|
| 283 |
-
```
|
| 284 |
-
|
| 285 |
-
---
|
|
|
|
| 1 |
---
|
|
|
|
|
|
|
| 2 |
language:
|
| 3 |
- ru
|
| 4 |
- en
|
| 5 |
+
license: apache-2.0
|
| 6 |
+
library_name: timm
|
|
|
|
|
|
|
| 7 |
tags:
|
| 8 |
+
- image-classification
|
| 9 |
- manuscript
|
| 10 |
- bookbinding
|
| 11 |
- cultural-heritage
|
| 12 |
- digital-humanities
|
| 13 |
- convnext
|
| 14 |
+
- dinov2
|
| 15 |
- fine-tuned
|
| 16 |
+
pipeline_tag: image-classification
|
| 17 |
---
|
| 18 |
|
| 19 |
# Kleine-Marchen — Binding Detector (ConvNeXt-Tiny)
|
| 20 |
|
| 21 |
+
Модель на базе **ConvNeXt-Tiny (ImageNet-22k)** для определения, является ли изображение фотографией переплёта рукописи.
|
| 22 |
|
| 23 |
Используется как **первая ступень** в двухэтапном пайплайне классификации переплётов рукописей РГБ.
|
| 24 |
|
|
|
|
| 37 |
|
| 38 |
## Метрики
|
| 39 |
|
| 40 |
+
Оценка проводилась на тестовом датасете из 1661 изображения (1136 переплётов + 525 не-переплётов) с применением TTA (5 трансформаций).
|
| 41 |
+
|
| 42 |
+
| Метрика | Значение |
|
| 43 |
+
| --- | --- |
|
| 44 |
+
| Accuracy | **92.53%** |
|
| 45 |
+
| F1-macro | **0.9139** |
|
| 46 |
+
| Precision | 0.9127 |
|
| 47 |
+
| Recall | 0.9152 |
|
| 48 |
+
|
| 49 |
+
**Confusion Matrix:**
|
| 50 |
+
|
| 51 |
+
| | Предсказано: не-переплёт | Предсказано: переплёт |
|
| 52 |
+
| --- | --- | --- |
|
| 53 |
+
| **Реально: не-переплёт** | 466 | 59 |
|
| 54 |
+
| **Реально: переплёт** | 65 | 1071 |
|
| 55 |
+
|
| 56 |
+
**Метрики на уверенных предсказаниях (confidence ≥ 0.6):**
|
| 57 |
+
|
| 58 |
| Метрика | Значение |
|
| 59 |
+
| --- | --- |
|
| 60 |
+
| Доля уверенных предсказаний | 60.7% (1009 из 1661) |
|
| 61 |
+
| Accuracy | **97.13%** |
|
| 62 |
+
| F1-macro | **0.9689** |
|
| 63 |
+
|
| 64 |
+
Использование порога уверенности позволяет автоматически делегировать сомнительные случаи на ручную проверку, при этом на уверенно классифицированных изображениях модель достигает точности выше 97%.
|
| 65 |
|
| 66 |
---
|
| 67 |
|
| 68 |
## Данные
|
| 69 |
|
| 70 |
+
- **Источник**: фотографии из цифровых фондов РГБ
|
| 71 |
+
- **Размер обучающей выборки**: ~525 изображений на каждый класс (75/25 hold-out validation)
|
| 72 |
+
- **Классы**: переплёт / не переплёт (страницы текста, развороты, обложки-папки)
|
| 73 |
- **Разрешение при обучении**: 320×320 px
|
| 74 |
|
| 75 |
---
|
|
|
|
| 78 |
|
| 79 |
**Базовая модель**: `convnext_tiny.fb_in22k` (ImageNet-22k pretrain, 28M параметров)
|
| 80 |
|
| 81 |
+
**Стратегия обучения**: fine-tuning только классификационной головы при замороженном бэкбоне. Полная разморозка слоёв приводила к коллапсу обучения из-за ограниченного размера датасета.
|
| 82 |
+
|
| 83 |
+
**Параметры обучения**:
|
| 84 |
+
- Оптимизатор: AdamW (lr=3e-5, weight_decay=1e-4)
|
| 85 |
+
- Scheduler: CosineAnnealingLR
|
| 86 |
+
- Loss: CrossEntropyLoss
|
| 87 |
+
- Batch size: 16
|
| 88 |
+
- Mixed precision training (AMP)
|
| 89 |
+
|
| 90 |
+
**Аугментации** (Albumentations): RandomResizedCrop, HorizontalFlip, RandomRotate90, ShiftScaleRotate, ColorJitter, GridDistortion, GaussianBlur, ToGray.
|
| 91 |
|
| 92 |
---
|
| 93 |
|
|
|
|
| 95 |
|
| 96 |
Готовые скрипты доступны в репозитории:
|
| 97 |
|
| 98 |
+
**<https://github.com/Infarondus/Kleine-marchen>**
|
| 99 |
|
| 100 |
### Быстрый старт
|
| 101 |
|
|
|
|
| 137 |
## Место в пайплайне
|
| 138 |
|
| 139 |
Эта модель используется совместно с `binding-srednik-dinov2`:
|
|
|
|
|
|
|
| 140 |
Изображение → [ConvNeXt: переплёт?] → [DINOv2: есть средник?] → Результат
|
|
|
|
|
|
|
| 141 |
Скрипт двухступенчатого скрапера `scrape_bindings_v2.py` из репозитория **Kleine-Marchen** реализует этот пайплайн полно��тью.
|
| 142 |
|
| 143 |
---
|
|
|
|
| 146 |
|
| 147 |
- Не предназначена для определения типа переплёта или его элементов — только факт наличия переплёта на снимке
|
| 148 |
- При сильно нестандартных условиях съёмки (белый фон, крупный план фрагмента) точность может снижаться
|
| 149 |
+
- Около 39% входных изображений модель помечает как «сомнительные» (confidence < 0.6) — эти случаи рекомендуется проверять вручную
|
| 150 |
|
| 151 |
---
|
| 152 |
|
|
|
|
| 171 |
|
| 172 |
## Метрики
|
| 173 |
|
| 174 |
+
Оценка проводилась на полном датасете из 1136 изображений (568 со средником + 568 без средника) с применением ансамбля 5 моделей и TTA (5 трансформаций) — итого 25 предсказаний на изображение.
|
| 175 |
|
| 176 |
| Метрика | Значение |
|
| 177 |
+
| --- | --- |
|
| 178 |
+
| Accuracy | **93.66%** |
|
| 179 |
+
| F1-macro | **0.9366** |
|
| 180 |
+
| Precision | 0.9368 |
|
| 181 |
+
| Recall | 0.9366 |
|
| 182 |
|
| 183 |
+
**Confusion Matrix:**
|
| 184 |
|
| 185 |
| | Предсказано: без средника | Предсказано: со средником |
|
| 186 |
+
| --- | --- | --- |
|
| 187 |
+
| **Реально: без средника** | 537 | 31 |
|
| 188 |
+
| **Реально: со средником** | 41 | 527 |
|
| 189 |
+
|
| 190 |
+
**Анализ ошибок:**
|
| 191 |
+
- Всего ошибочных предсказаний: 72
|
| 192 |
+
- False positive (без средника принят за со средником): 31
|
| 193 |
+
- False negative (со средником принят за без средника): 41
|
| 194 |
+
- Сомнительных предсказаний (confidence < 0.7): 123 (10.8% датасета)
|
| 195 |
+
|
| 196 |
+
Симметричное распределение ошибок указывает на отсутствие смещения модели в сторону одного из классов.
|
| 197 |
|
| 198 |
---
|
| 199 |
|
| 200 |
## Данные
|
| 201 |
|
| 202 |
+
- **Источник**: фотографии переплётов рукописей из цифровых фондов РГБ
|
| 203 |
+
- **Размер обучающей выборки**: 568 изображений на каждый класс (1136 итого)
|
| 204 |
+
- **Формат**: цветные фотографии переплётов
|
| 205 |
- **Разрешение при обучении**: 280×280 px
|
| 206 |
|
| 207 |
Датасет собирался итеративно: после каждого цикла обучения производился анализ ошибок и доразметка сложных случаев (изношенные переплёты, пограничные экземпляры).
|
|
|
|
| 210 |
|
| 211 |
## Архитектура
|
| 212 |
|
| 213 |
+
**Базовая модель**: `vit_small_patch14_dinov2.lvd142m` (DINOv2 ViT-Small, 22M параметров, предобучен self-supervised на LVD-142M — 142 миллиона курированных изображений)
|
| 214 |
|
| 215 |
**Голова классификатора**:
|
|
|
|
| 216 |
LayerNorm(384) → Linear(384→256) → GELU → Dropout(0.3) → Linear(256→2)
|
|
|
|
|
|
|
| 217 |
**Стратегия обучения**: двухфазный fine-tuning
|
| 218 |
+
|
| 219 |
- Фаза 1 (6 эпох): обучение только головы, LR = 5e-4
|
| 220 |
- Фаза 2 (20 эпох): голова + последние 4 блока ViT, дифференциальный LR (голова: 3e-5, бэкбон: 2e-6)
|
| 221 |
|
| 222 |
+
**Регуляризация**: drop_path_rate = 0.1, dropout = 0.3, label smoothing = 0.05
|
| 223 |
+
|
| 224 |
+
**Ансамбль**: 5 моделей (по одной на каждый фолд 5-fold стратифицированной кросс-валидации) с усреднением softmax-вероятностей.
|
| 225 |
+
|
| 226 |
+
**TTA**: 5 трансформаций (оригинал, horizontal flip, vertical flip, resize ×1.05 + center crop, brightness/contrast jitter).
|
| 227 |
|
| 228 |
---
|
| 229 |
|
|
|
|
| 231 |
|
| 232 |
Готовые скрипты для обучения, оценки и инференса доступны в репозитории:
|
| 233 |
|
| 234 |
+
**<https://github.com/Infarondus/Kleine-marchen>**
|
| 235 |
|
| 236 |
### Быстрый старт
|
| 237 |
|
|
|
|
| 296 |
|
| 297 |
### Рекомендуемый порог
|
| 298 |
|
| 299 |
+
При использовании ансамбля рекомендуется порог **0.70–0.75** для отнесения изображения к одному из классов; при меньшей уверенности изображение целесообразно отправлять на ручную проверку специалистом. На уверенных предсказаниях точность ансамбля заметно превышает интегральную.
|
| 300 |
|
| 301 |
---
|
| 302 |
|
|
|
|
| 305 |
- Модель обучена на фотографиях переплётов РГБ и может хуже работать на изображениях из других коллекций (domain shift)
|
| 306 |
- Сильно изношенные переплёты с плохо читаемым средником являются наиболее сложными случаями
|
| 307 |
- Не предназначена для работы с изображениями страниц, не являющихся переплётами — для фильтрации используйте модель `binding-detector-convnext` на первом этапе
|
| 308 |
+
- В обучающей выборке возможно присутствие небольшого количества ошибочно размеченных изображений (~2%), что отражается в нижней границе оценки точности
|
| 309 |
|
| 310 |
---
|
| 311 |
+
|
| 312 |
## Цитирование
|
| 313 |
+
|
| 314 |
Если вы используете эту модель в исследовании, пожалуйста, укажите репозиторий:
|
| 315 |
+
|
| 316 |
+
```bibtex
|
| 317 |
@misc{kleine-marchen-binding,
|
| 318 |
author = {Infarondus},
|
| 319 |
+
title = {Kleine-Marchen — Binding Classification Pipeline for Manuscript Bindings},
|
| 320 |
year = {2026},
|
| 321 |
+
url = {https://github.com/Infarondus/Kleine-marchen}
|
| 322 |
}
|
| 323 |
+
```
|
|
|
|
|
|