文章目录01 论文信息02 论文主要贡献现存问题03 论文创新点04 方法4.1 无锚框检测器上的伪标签学习4.1.1 伪框筛选4.1.2 标签分配4.2 Listen2Student05 实验分析06 结论07 个人声明01 论文信息论文题目Unbiased Teacher v2: Semi-supervised Object Detectionfor Anchor-free and Anchor-based Detectors论文作者Yen-Cheng LiuChih-Yao MaZsolt Kira发表单位Georgia Institute of TechnologyMeta发表会议CVPR 202202 论文主要贡献本文验证了所提出的半监督方法在基于锚框与无锚框两类检测器上的泛化能力。这是首个在半监督目标检测任务中研究无锚框模型的工作同时指出了将半监督目标检测方法应用在无锚框检测器上时存在的核心问题。通过利用教师与学生预测结果的相对不确定性估计剔除回归伪标签中存在误导性的样本并开展分析实验验证该方法在基于锚框和无锚框检测器上均具备有效性。基于针对两类检测器开展的实验研究本文方法相比现有最优方法展现出了良好的改进效果。借助该方法缩小了半监督条件下无锚框检测器与基于锚框检测器之间的性能差距。现存问题目前没有针对无锚框检测器的半监督目标检测相关研究且现有研究在伪标签边界框回归任务中效果不佳。单一指标如框分数或框交并比无法表示四个边界的质量。传统框级筛选只能对完整伪框做保留或丢弃操作但同一个伪检测框内部四条边界的预测质量并不统一。分类分支的置信度无法准确反映边界预测的质量。仅依靠教师模型的置信度筛选伪标签无法避免回归任务受到误导样本的影响。03 论文创新点1研究了现有半监督目标检测方法在无锚点检测器上的有效性发现了将半监督方法应用于无锚框模型时存在的核心问题实现了半监督框架对基于锚框、无锚框检测器的泛化。2提出Listen2Student机制基于教师模型和学生模型的相对不确定性估计设计了一种新型伪标签选择机制。3本文提出的方法同时适用于无锚框和基于锚框的检测方法在VOC、COCO标准和COCO扩展数据集上的表现均优于当前最先进的方法。04 方法4.1 无锚框检测器上的伪标签学习图 (a)传统策略对边界不做区分同一框内部分边界教师预测不可靠仍会作为监督信号参与回归训练引入错误监督。图 (b)全监督时无锚框检测器性能优于锚框检测器但在半监督少量标注场景传统半监督算法应用于无锚框模型会出现明显性能衰减与锚框检测器性能差距被拉大。如上图所示在无锚框检测器上直接应用现有的最先进SS-OD方法所获得的性能提升远小于基于锚框的检测器。本文将这一现象归因于以下两个因素中心度偏差和不可靠的标签分配。4.1.1 伪框筛选中心度偏差问题的示意图。(a) 在半监督学习中基于框分数选择伪框的结果比基于分类分数选择的结果更差。(b) 无锚框检测器的框分数被定义为中心度分数与分类分数的乘积c伪框的框分数由中心度分数主导而在半监督设置下中心度分数是不可靠的。在半监督训练中无标注样本会使中心度分支虚高分类分支性能下降。相乘后的框得分把大量分类错误、中心度高的样本保留为伪标签引入大量假阳性造成训练后期性能下降。因此本文修改伪标签筛选仅使用分类得分不再使用 Box Score。4.1.2 标签分配不可靠标签分配的示意图。(a) 现有的改进全监督无锚检测器的技术如中心采样和基于定位的分类标签对伪框中的定位噪声如框中心偏移鲁棒性较差且这两种技术的逐像素召回率和精确率均低于标准标签分配。因此(b) 本文的实证评估表明标准标签分配能取得更优的结果。FCOS 原生采用中心采样、基于定位的软标签分配在真值框完全准确的全监督场景效果很好。但半监督生成的伪标签自带定位噪声伪框发生偏移时中心采样、基于定位策略会把背景区域标记为前景产生大量错误监督信号。因此本文修改半监督阶段采用标准标签分配伪框内部全部视作前景区域。4.2 Listen2Student沿用Mean‑Teacher架构Student用标注数据做监督训练Teacher是 Student 的EMA指数移动平均版本。传统方案中只要检测框通过置信度阈值框全部四条边界直接拿来训练回归。但同一个伪框内部部分边界 Teacher 预测质量不如 Student直接使用会引入误导性监督。针对无锚框检测器半监督训练中回归伪标签带来的噪声问题本文提出Listen2Student边界粒度伪标签筛选机制。为回归分支新增定位不确定性预测头对检测框的4 条边界分别输出对应边界的定位不确定性使用 NPLL负幂对数似然损失训练不确定性分支。筛选条件δ t ( i ) σ ≤ δ s ( i ) \delta_t^{(i)}\sigma \le \delta_s^{(i)}δt(i)​σ≤δs(i)​逐条对伪框的四条边界做判断满足上式条件教师该边界不确定性更低代表预测更可靠该条边界参与无监督回归损失计算不满足条件该单条边界直接跳过无监督回归损失不回传梯度。边界粒度而非框粒度同一个伪框可以出现部分边界参与回归训练、部分边界舍弃的情况不需要把整个框全部保留或者直接丢弃分类分支不受影响分类任务依旧沿用原有框级置信度阈值筛选伪框本模块仅作用于回归分支通用性该模块对无锚框检测器、锚框检测器均可以生效。整体训练流程标注图像送入 Student 网络计算有监督损失分类 回归无标注图像送入 Teacher 网络生成伪标签。分类分支依靠分类得分做框级筛选得到候选伪框回归分支使用 Listen2Student 对候选伪框的四条边界逐条做不确定性校验只对满足条件的边界计算无监督回归损失。整体损失由三部分组成标注样本的有监督损失、无标注样本的无监督分类损失、经过 Listen2Student 筛选后的无监督回归损失。05 实验分析COCO‑standard 数据集无锚框检测器半监督对比结果本文方法在各标注占比下均取得最优性能低标注条件提升效果明显。COCO‑standard 锚框检测器半监督实验本文方法在各标注比例全面优于多数基线验证方法可跨模型架构迁移。不同 IoU 阈值下的消融对比Listen2Student 大幅提升高 IoU 指标证明可以有效过滤回归噪声、提升框定位质量。PASCAL‑VOC 数据集对比实验包含同源、跨域无标注两种设置本文方法均优于对比算法。06 结论本文研究了无锚点模型上现有的单阶段目标检测方法并构建了无锚点检测器的单阶段目标检测基准。通过识别并解决无锚点检测器伪标签方法中存在的核心问题本文提出的方法性能优于当前最优方法。本文进一步提出了Listen2Student这一新颖方法该方法利用教师/学生模型的相对不确定性以逐边界的方式明确避免误导性的回归伪标签并筛选出有益的回归伪标签。这使得回归分支能够从无标注图像的使用中获益。在实验部分本文在三种不同的半监督目标检测任务中对每种方法进行了测试均取得了稳定的性能提升并验证了所提出的Listen2Student机制在无锚框和基于锚框的检测器上的有效性与泛化性。07 个人声明本文为作者对原论文的学习笔记与心得分享受个人学识与理解所限文中对论文内容的解读或有不够周全之处一切以原论文正式表述为准。本文仅用于学术交流与传播内容均由作者独立整理完成不代表本文立场。如文中所涉文字、图片等内容存在版权争议请及时与作者联系作者将在第一时间核实并妥善处理。