Rtdetrv4 X Manga109s

--- license: apache-2.0 language: - ja - en library_name: onnx pipeline_tag: object-detection tags: - object-detection - manga - comic - rt-detr - rt-detrv4 - d-fine - onnx - manga109 datasets: - Manga109-s --- # RT-DETRv4-X Manga109-s **[日本語](#日本語) | [English](#english)** 漫画ページから **コマ枠 (frame) / 人物 (body) / 台詞 (text)** の 3 クラスを検出する RT-DETRv4 (X size) モデル。Manga109-s を見開きから単ページに分割した 15,264 枚で 30 epoch ファインチューンしたものです。 --- ## 日本語 ### 概要 漫画ページから 3 クラス (コマ枠・人物・台詞) を検出する RT-DETRv4 (X size) モデル: - `0: body` — 人物 (キャラクター) - `1: text` — 台詞 / 吹き出し領域 - `2: frame` — コマ枠 Manga109-s を見開きから単ページ分割した 15,264 枚で 30 epoch ファインチューン、DINOv2 ViT-B/14 特徴蒸留付き。ComfyUI ワークフロー、自動化されたコマ単位処理パイプライン、漫画ドメインの研究を想定しています。 | | | |---|---| | ベースアーキテクチャ | [RT-DETRv4](https://github.com/lyuwenyu/RT-DETR) X-size (HGNetv2-B5 backbone + DFINETransformer decoder) | | 蒸留教師モデル | [DINOv2 ViT-B/14](https://github.com/facebookresearch/dinov2) (Apache 2.0) | | 学習データ | [Manga109-s](http://www.manga109.org/ja/download_s.html) — 商用利用許諾済 87 タイトル | | 入力解像度 | 1280 × 1280 | | クラス数 | 3 (body / text / frame) | ### 検出例 bbox の色分け: <span style="color:#9acd32">**黄緑 = frame (コマ)**</span> / <span style="color:#1e90ff">**青 = body (人物)**</span> / <span style="color:#dc143c">**赤 = text (セリフ)**</span>  完成原稿 (ペン入れ済み) の例。コマ・人物・台詞の 3 クラスすべて高精度で取れています。  **ラフな手書きネーム (下描き / ストーリーボード)** の例。学習データは完成原稿だけですが、線画の途中段階でもコマ枠・人物・台詞をある程度検出できます。 ### 精度 Manga109-s validation split (1,212 ページ, 23,619 bbox) で評価: | クラス | mAP | AP50 | AP75 | AR100 | |---|---|---|---|---| | body (人物) | 76.2% | 96.2% | 85.8% | 84.6% | | text (台詞) | 77.0% | 96.9% | 84.7% | 82.5% | | **frame (コマ枠)** | **96.4%** | **98.6%** | **97.9%** | **98.4%** | | **平均** | **83.2%** | **97.2%** | **89.5%** | **88.5%** | 検出ヒット率を表す AP50 が 3 クラス全て 95% 以上で、実用上ほぼ取りこぼしなし。`body` / `text` の伸びしろは IoU 厳格化 (AP75) であり、検出漏れではなく **bbox 枠の精度向上**が今後の改善ポイント。 ### ファイル | ファイル | 説明 | |---|---| | `model.onnx` | ONNX (opset 17, 静的入力 `1×3×1280×1280`) | ### 推論 ONNX グラフの入出力: - **入力**: `images` (float32, NCHW, [0, 1] に正規化), `orig_target_sizes` (int64, `[N, 2]` = `[width, height]`) - **出力**: `labels` (int, `[N, 300]`), `boxes` (float32, `[N, 300, 4]`, 元画像座標の xyxy), `scores` (float32, `[N, 300]`) `onnxruntime` での最低限のサンプル: ```python import numpy as np import onnxruntime as ort from PIL import Image, ImageDraw CLASS_NAMES = {0:...

Source context: 0 downloads · 0 likes · Pipeline object-detection · Library onnx · Repo aoiandroid/rtdetrv4-x-manga109s