实验室最新成果Pareto Deep Long-Tailed Recognition: A Conflict-Averse Solution发表在ICLR 2024会议上。该研究介绍了PLOT，一种利用多目标优化解决长尾学习过程中的优化冲突和不平衡问题的方法。
长尾学习是指在训练集呈现长尾分布时，通过利用该数据集进行训练，从而使得到的模型能够对所有类别都具备良好的泛化能力。目前的长尾学习方法主要分为类别再平衡、数据增强、解耦学习和集成学习等几类。然而，很少有研究从长尾表征学习过程中的优化冲突角度来审视这一问题，导致这些方法学习到的表征仍然受到某些类别的支配。在本研究中，我们首先通过大量实验观察到了主流长尾学习方法在优化过程中存在的梯度冲突问题，以及相应的不平衡问题。多目标优化方法则被认为是解决这一问题的理想方案。
图：PLOT系统框架
接着，本研究将多种长尾学习方法和多目标优化方法相结合，展示了多目标优化方法在解决这一问题上的巨大潜力。此外，本研究还提供了基于多目标优化的长尾设定下的泛化和收敛性保证。在多个主流长尾学习公共数据集上的实验结果表明，本研究所提出的方法具有即插即用、普遍适用的优势。
本研究第一作者周志鹏是中国科学技术大学计算机科学与技术学院博士研究生，通讯作者龚伟是中国科学技术大学计算机科学与技术学院教授。这项研究得到了国家自然科学基金（NSFC）项目（编号61932017和61971390）的支持。
论文链接：https://openreview.net/forum?id=b66P1u0k15