项目周期：
2020.11-2021.08（已结项）
项目来源：
百度松果基金
合作单位：
中国计算机学会，百度公司
项目简介：
小样本学习指的是在当前仅有少量与目标任务直接相关的带监督信息数据的情况下，希望模型能快速在目标任务上适应（表现出良好的性能）。基于元学习的小样本学习方法主要可分为三类：基于优化的元学习方法、基于模型的元学习方法和基于度量的元学习方法。本项目旨在深入评估主流基于度量的小样本学习方法的鲁棒性，并针对其缺点提出改进方案，并在一些实际应用中部署该方案。
项目方法：
本项目采取如下研究方案：（1）度量分布层级的元学习方法。（2）面向无线感知的小样本学习。
度量分布层级的元学习方法：目前基于度量的元学习方法层出不穷，从MatchingNet到最近的DPGN，从简单的编码后求余弦相似度到利用图神经网络表征目标之间的关系。虽然目前最先进的基于度量的元学习方法在小样本学习公共数据集上表现优异，但其在实际应用中的鲁棒性存疑。当前多数的基于度量的元学习方法均遵循同样的思路：利用支撑集和查询集之间的对应关系和某种度量方式去学习一个嵌入空间，在该嵌入空间内，同类目标相互靠近，异类目标相互疏远。这种通过度量学习一个嵌入空间的方式在许多子领域有广泛的应用（例如目标跟踪，行人重识别等）。但值得注意的是，这种学习方式是基于实例层面的，其仅能保证在有大量训练数据情况能学习到一个具有良好表征的嵌入空间。显然，在小样本学习场景下，该类方法的适用性值得商榷。事实上，嵌入空间的学习不应基于实例层面，而应基于分布层面。因为实例仅是分布的若干采样，若采样的实例对分布不具代表性，则学习到的嵌入空间则无法很好地泛化至新的实例。而若能一定程度上还原目标的真实分布，根据目标之间的分布相似度来实现度量，则会有更好的泛化性能。类似的思想在DPGN中已有体现：DPGN构建了点图和分布图两个完全图，分别用于建模每个样本的实例级别表征和分布级别表征，在各大小样本学习公共数据集上表现了极高的准确率。但其是通过考虑支撑集内各样本相似度分布来改进图中节点信息的更新传播，并没有针对支撑集和查询集内各实例本身的分布建模。因此，本项目旨在建模支撑集和查询集内各类目标的实际分布，并度量这些分布的相似性，从而完成小样本学习。其方案示意图如下所示：
图1. 变分元学习方法
面向无线感知的小样本学习：当前评估小样本学习的公共数据集主要有基于图像的miniImageNet、tieredImageNet、Omniglot、CIFAR-FS、CUB 200、FC100等，以及基于文本的ODIC。许多小样本学习方法在其中部分数据集上准确率已超过90%。可见，部分数据集已无法客观评价当前的小样本学习方法。另一方面，该领域目前仅有基于图像和文本的公共数据集，应用场景不够丰富。为此，本项目提出一个基于无线信号的小样本学习数据集，进一步丰富小样本学习的应用场景，为各类模型增加一维评价指标。