称为“LO-shot”的机器学习方法可以让模型识别比训练对象数量更多的对象。
机器学习通常需要大量示例。为了使AI模型能够识别马匹，您需要向其展示数千张马匹图像。这就是使该技术在计算上昂贵的原因，并且与人类学习有很大不同。在能够终生识别物体之前，儿童通常只需要看一些物体的实例，甚至只看一个物体。
实际上，孩子有时不需要任何示例来识别事物。显示的是一头马和犀牛的照片，并告诉独角兽介于两者之间，他们可以在第一次看到图画书时就认出它。
现在，安大略省滑铁卢大学的一篇[url=https://arxiv.org/abs/2009.08449]新论文[/url]提出，人工智能模型也应该能够做到这一点，研究人员将这一过程称为“少于一次”或“LO-shot”学习。换句话说，一个AI模型应该能够比在其上训练的示例数量更多地准确识别更多的对象。对于一个随着使用的数据集变得越来越大而变得越来越昂贵且无法访问的领域而言，这可能是一件大事。
如何工作？
研究人员在尝试使用流行的MNIST的计算机视觉数据集时，首先证明了这一想法。MNIST包含60,000个从0到9的手写数字的训练图像，通常用于测试该领域的新想法。
在以前的论文中，麻省理工学院的研究人员介绍了一种将大数据集“提取”为微小数据集的技术，并且作为概念证明，他们将MNIST压缩到仅10张图像。这些图像不是从原始数据集中选择的，而是经过精心设计和优化以包含与整个数据集相当的信息量。结果，当仅对10个图像进行训练时，一个AI模型可以达到与对所有MNIST图像进行训练的精度几乎相同的精度。
滑铁卢研究人员希望进一步进行蒸馏过程。如果可以将60,000张图像缩小到10张，为什么不将它们压缩到5张呢？他们意识到，诀窍是创建将多个数字混合在一起的图像，然后将它们输入带有混合或“软”标签的AI模型中。（回想一下具有独角兽特征的马和犀牛。）
“如果考虑数字3，它看起来也像数字8，但不像数字7，”滑铁卢大学博士研究生，论文的主要作者伊利亚·苏科洛茨基（Ilia Sucholutsky）说。“软标签试图捕获这些共享功能。因此，我们无需告诉机器“此图像是数字3”，而是说：“此图像是数字3的60％，数字8的30％和数字0的10％。”
LO-shot学习的局限性
一旦研究人员成功地使用软标签在MNIST上实现LO-shot学习，他们便开始怀疑这个想法实际上可以走多远。您可以教AI模型从少量示例中进行识别的类别数量是否有限制？
令人惊讶的是，答案似乎是否定的。使用精心设计的软标签，理论上甚至两个示例都可以编码任意数量的类别。Sucholutsky说：“只有两点，您可以将一千个类型，一万个类型或一百万个类型分开。”
这是研究人员通过纯数学探索在最新论文中证明的。他们使用一种最简单的机器学习算法（称为k最近邻居（kNN））来体现这一概念，该算法使用图形方法对对象进行分类。
要了解kNN的工作原理，请以对水果进行分类的任务为例。如果要训练kNN模型以了解苹果和橘子之间的区别，则必须首先选择要用于表示每个水果的特征。也许您选择颜色和权重，所以对于每个苹果和橙子，您都将水果的颜色作为其x值并将其重量作为y值来输入kNN一个数据点。然后，kNN算法将所有数据点绘制在2D图表上，并在苹果和橘子之间的中间沿直线向下绘制一条边界线。此时，将图整齐地分为两类，该算法现在可以根据新数据点落在线的哪一侧来决定它们代表一个还是另一个。
为了探索使用kNN算法的LO-shot学习，研究人员创建了一系列微小的合成数据集，并精心设计了它们的软标签。然后，他们让kNN绘制了所看到的边界线，并发现它成功地将绘制图分成了比数据点更多的类。研究人员还对边界线的下降位置进行了高度控制。通过对软标签进行各种调整，他们可以获得kNN算法以绘制花朵形状的精确图案。
当然，这些理论探索有一定的局限性。尽管LO快照学习的思想应该转移到更复杂的算法上，但是设计带有软标签的示例的任务却变得越来越困难。kNN算法具有可解释性和可视性，使人们可以设计标签。神经网络是复杂且不可穿透的，这意味着事实并非如此。数据蒸馏用于设计神经网络的软标签示例，但它也有一个主要缺点：它要求您从庞大的数据集入手，以将其缩减为更有效的数据。
Sucholutsky说，他正在研究其他方法来工程化这些微小的合成数据集，无论这意味着要手动设计还是使用其他算法进行设计。尽管有这些额外的研究挑战，但是本文为LO-shot学习提供了理论基础。他说：“结论取决于您拥有什么样的数据集，您可能会获得巨大的效率提升。”
麻省理工学院博士生Tongzhou Wang是最感兴趣的人，他领导了较早的数据蒸馏研究。他谈到Sucholutsky的贡献时说：“本文基于一个真正新颖而重要的目标：从小型数据集中学习强大的模型。”
蒙特利尔AI伦理研究所的研究员Ryan Khurana回应了这一观点：“最重要的是，LO-shot一次性的学习将从根本上减少建立功能模型所需的数据。” 这可能使迄今为止受该领域数据要求所困扰的公司和行业更容易使用AI。它还可以改善数据隐私性，因为从个人那里提取的信息更少，可以训练有用的模型。
Sucholutsky强调研究还很早，但是他很兴奋。他说，每当他开始向其他研究人员介绍论文时，他们的最初反应就是说这个想法是不可能的。当他们突然意识到事实并非如此时，它打开了一个全新的世界。