Klein Marchen Base

--- language: - ru - en license: apache-2.0 library_name: timm tags: - image-classification - manuscript - bookbinding - cultural-heritage - digital-humanities - convnext - dinov2 - fine-tuned pipeline_tag: image-classification --- # Kleine-Marchen — Binding Detector (ConvNeXt-Tiny) Модель на базе **ConvNeXt-Tiny (ImageNet-22k)** для определения, является ли изображение фотографией переплёта рукописи. Используется как **первая ступень** в двухэтапном пайплайне классификации переплётов рукописей РГБ. --- ## Назначение Бинарная классификация: - **Класс 1 — переплёт**: изображение является фотографией крышки переплёта рукописи - **Класс 0 — не переплёт**: страница текста, разворот, предметная съёмка и т.д. Модель решает задачу фильтрации при массовом скачивании изображений из цифровых архивов рукописей, где первые страницы оцифровки содержат как переплёты, так и текстовые страницы. --- ## Метрики Оценка проводилась на тестовом датасете из 1661 изображения (1136 переплётов + 525 не-переплётов) с применением TTA (5 трансформаций). | Метрика | Значение | | --- | --- | | Accuracy | **92.53%** | | F1-macro | **0.9139** | | Precision | 0.9127 | | Recall | 0.9152 | **Confusion Matrix:** | | Предсказано: не-переплёт | Предсказано: переплёт | | --- | --- | --- | | **Реально: не-переплёт** | 466 | 59 | | **Реально: переплёт** | 65 | 1071 | **Метрики на уверенных предсказаниях (confidence ≥ 0.6):** | Метрика | Значение | | --- | --- | | Доля уверенных предсказаний | 60.7% (1009 из 1661) | | Accuracy | **97.13%** | | F1-macro | **0.9689** | Использование порога уверенности позволяет автоматически делегировать сомнительные случаи на ручную проверку, при этом на уверенно классифицированных изображениях модель достигает точности выше 97%. --- ## Данные - **Источник**: фотографии из цифровых фондов РГБ - **Размер обучающей выборки**: ~525 изображений на каждый класс (75/25 hold-out validation) - **Классы**: переплёт / не переплёт (страницы текста, развороты, обложки-папки) - **Разрешение при обучении**: 320×320 px --- ## Архитектура **Базовая модель**: `convnext_tiny.fb_in22k` (ImageNet-22k pretrain, 28M параметров) **Стратегия обучения**: fine-tuning только классификационной головы при замороженном бэкбоне. Полная разморозка слоёв приводила к коллапсу обучения из-за ограниченного размера датасета. **Параметры обучения**: - Оптимизатор: AdamW (lr=3e...