面向未知域和未知类别的小样本学习

一、题目描述

人类具有通过极少量样本识别一个新物体的能力，如小孩子只需要书中的个别图片，就可以认识什么是“苹果”，什么是“草莓”。研究人员希望机器学习模型在学习了一定类别的大量数据后，对于下游任务中遇到的新类别，只需要少量的样本就能快速学习，实现“小样本学习”。传统的小样本学习考虑训练数据与测试数据均来自于同一个域。如果下游任务中包含了未知域, 则传统小样本学习方法效果不理想。请设计一个算法，使得模型在面向未知域、未知类别的下游任务，利用少量的样本学习，即可获得较高的分类准确率。

参考文献：[1] Cross-Domain Few-Shot Classification，https://arxiv.org/abs/2001.08735

[2] Prototypical Networks for Few-shot Learning，https://arxiv.org/pdf/1703.05175.pdf

二、具体要求

请设计算法训练一个特征提取器，利用少量未知域、未知类别的标签数据，基于给定的度量方法，实现较高精度的小样本图片分类。

1.训练数据：本赛题提供四个参考数据集，每个数据集对应一个域，即mini-ImageNet、CUB、Cars、Places。可自行划分训练集和验证集，例如利用其中三个数据集进行训练，在第四个数据集上验证模型在新域和新类别上的准确率。

2.模型输出格式：给定一张输入图片，要求输出对应的特征向量，格式如下：

                            {“feature”: [0.1, -0.05, …, 0.34]}

3.测试方法：测试数据包含三个域，测试时从每个域中抽取多个任务，每个任务包含若干张“A型”图片和“B型”图片，以A型图片为基准，对每张B型图片用最近邻方法进行分类，计算模型在该任务上的准确率，最终准确率为所有任务准确率的均值。任务构造和准确率计算具体方式如下。

每个任务包含N个类别，每个类别包含K张A型图片和K张B型图片，其中N为5-10之间的随机数，K为1-10之间的随机数。从测试集某个域中随机选取N个类别，然后从每个类别随机选取2K张图片，其中K张作为A型图片，另外K张作为B型图片。设X^A_ij为第i类第j张A型图片的输出特征，设X^B_ij为第i类第j张B型图片的输出特征。对每个类别计算A型图片特征中心点，作为该类别的原型（prototype）：

对每张B型图片X^B_ij，判断其类别为与其欧式距离最近的原型对应的类别，即

该任务的准确率为判断类别正确的B型图片数除以B型图片总数，即

三、模型规范

1、所提交的模型必须满足赛题说明中的模型输出格式。

2、评分系统使用ModelArts批量服务加载参赛者提交的模型，对比赛评分专用的评判集图片（此部分图片不公开，测试集图片约7800张）进行批量预测，评分系统根据预测结果自动计算识别准确率。

3、 模型对评判集批量预测总时间不能超过3小时（评分系统使用ModelArts批量服务CPU规格加载参赛者提交的模型，因此参赛者提交的模型需支持CPU推理）。

4、ModelArts模型管理中的模型创建后，不会自动更新，如果您有了更好的模型需要提交判分，要重新导入模型，然后再将重新导入的模型提交判分。

四、提交说明

所有参赛者需使用华为云一站式AI开发平台ModelArts来开发模型，并将模型部署为在线服务或批量服务验证其正确性。确认模型输出无误后，在ModelArts平台上将开发好的模型提交判分，最后在竞赛平台上查看分数及排名。

提交方法

1、在ModelArts左侧导航栏中选择“模型管理>模型”，单击模型名称左侧“∨”，然后单击页面右侧操作栏中的“发布>参赛发布”。

2、在弹出的“参赛模型提交”对话框中，选择比赛项目、比赛阶段，然后单击确定。

点击确定后，即成功提交模型判分。在如下界面中可点击“现在加入”，也可以点击“以后再说”或直接点击右上角关掉该对话框。

说明：模型提交判分后，需等待一定时间（判分系统进行判分需一定时间，运行时长与选手提交的模型有关），判分系统完成判分后，可在竞赛平台“提交作品”中查看得分，其中“提交作品”页面需报名比赛后才会显示。

评分说明

1、本次比赛初赛提交时间段为：7月1日09:00 - 8月20日23:59:59。（最终入围大赛下一阶段的队伍需提交代码审核）

2、每个团队每天有3次评测机会，所提交模型得分可在大赛平台页面“提交作品”中查询。

3、排行榜每2个小时刷新一次。