Pbr Scorer Dinov2

CLIP 线性探针基线对比:base 0.80 / normal 0.51 / rough 0.57 / metallic 0.27 —— 本模型在难通道大幅领先。

用法

推理管线见配套代码仓库 pbr_scorer_mvp/inference.py(含预处理 + DINOv2 + CLIP + 头):

from inference import PBRScorer
s = PBRScorer(ckpt="best.pt", cfg_path="config.yaml", device="cpu")
scores = s.score(render, base_color, normal_map, roughness, metallic)

局限

• 聚合 SRCC 受单人标注噪声封顶 ~0.79;metallic(~0.63) 最弱。
• SRCC 不反映两端:生产更关心 0/5,两端 AUC≈0.90。
• 训练数据私有、不随模型分发。

License

继承 DINOv2 / CLIP 基座许可;本权重为衍生物,研究用途。

--- license: other tags: - pbr - texture-quality-assessment - dinov2 - image-quality-assessment pipeline_tag: image-classification --- # PBR Scorer — DINOv2 多任务质量打分器 对 PBR 材质贴图做**逐通道质量打分**（base_color / normal / roughness / metallic，0–5）。 ## 模型 - 骨干：DINOv2-Large（冻结）+ CLIP-ViT-L 特征融合 + 4 个 NIMA/EMD 分布头。 - 训练：100k 资产，平方 EMD + 0.2·BCE + 0.05·ranking，metallic 权重 ×1.5。 - 输入：4 张通道贴图 + 渲染图（224²）+ render/base_color 的 CLIP 特征。 - 输出：每通道 6-bin 分布期望 = 0–5 分。 ## 结果（old-test 4917, SRCC） | mean | base | normal | rough | metallic | |:--:|:--:|:--:|:--:|:--:| | 0.797 | 0.845 | 0.810 | 0.905 | 0.627 | CLIP 线性探针基线对比：base 0.80 / normal 0.51 / rough 0.57 / metallic 0.27 —— 本模型在难通道大幅领先。 ## 用法 推理管线见配套代码仓库 `pbr_scorer_mvp/inference.py`（含预处理 + DINOv2 + CLIP + 头）： ```python from inference import PBRScorer s = PBRScorer(ckpt="best.pt", cfg_path="config.yaml", device="cpu") scores = s.score(render, base_color, normal_map, roughness, metallic) ``` ## 局限 - 聚合 SRCC 受**单人标注噪声**封顶 ~0.79；metallic(~0.63) 最弱。 - SRCC 不反映两端：生产更关心 0/5，两端 AUC≈0.90。 - 训练数据私有、不随模型分发。 ## License 继承 DINOv2 / CLIP 基座许可；本权重为衍生物，研究用途。