深度长尾识别的类条件锐度感知最小化
摘要
人们普遍认为，深度学习模型的损失曲面中的最小值更平坦，往往能更好地泛化。然而，这种特性在深度长尾识别（DLTR）中没有得到充分的探索，这是一个实际的问题，当在高度不平衡的标签分布上进行训练时，模型需要在所有的类别中进行同样好的泛化。在本文中，通过经验观察，我们认为尖锐的最小值实际上在深度长尾模型中是普遍存在的，而将现有的扁平化操作简单地整合到长尾学习算法中几乎没有带来任何改进。相反，我们在DLTR的解耦范式基础上提出了一种有效的两阶段尖锐度感知的优化方法。在第一阶段，特征提取器和分类器都是在参数扰动下进行训练的，而参数扰动是由PAC-Bayesian框架下的平坦最小值的特征半径在理论上决定的。在第二阶段，我们用类平衡抽样生成对抗性特征，以进一步稳健分类器的骨干冻结。在多个长尾视觉识别基准上进行的大量实验表明，我们提出的类条件清晰度感知最小化（CC-SAM）与前沿方法相比取得了有竞争力的性能。
作者
周志鹏，李蓝青，赵沛霖，王平安，龚伟
期刊\会议
IEEE/CVF CVPR （CCF-A）
关键词
深度长尾识别，锐度感知最小化
