主动学习与弱监督学习

人工智能数据的获取没有想象中的那么简单，虽然我们早已身处大数据的浪潮下，很多公司在获取数据的大浪中翻滚却始终没有找到一个合适的获取数据的渠道。很多情况下，获取高质量的人工智能数据需要消耗大量的人力、时间、金钱，但是对于未来世界，以“人机协同”的方式为生活创造价值早已成为一个必然的趋势。 试想一下用这些数据来训练一个有监督的机器学习（ML）算法怎么样？ML算法可以执行与人类相同的分类任务，只是速度快得多！它可以减少成本和低效率。它可以减少成本和低效率。它可以在你的混合数据上工作，如图像、文本文件，以及简单的数字。它可以做所有这些事情，如果你的模型够好，你真的可以为所欲为。但是，要想获取这些数据，你要付出巨大的代价。不过我们总是能找到解决方案，如果你发现了一个“主动学习”的机器学习技术，或许如何获取大量数据也不会让你望而却步。

两种流行机器学习技术的比较

机器学习（ML）领域的发展已呈指数级增长，但对于许多企业而言，获取数据仍然是一项艰巨的任务。传统的机器学习算法需要大量人工标注数据。所需的庞大数据通常无法大规模获取，且成本高昂，更不用说手动标注数据所需的时间和精力。成品数据又达不到理想的质量标准。主动学习与弱监督学习：利用这两种出色的机器学习技术克服数据挑战。 标注数据还需要人工标注员。许多情况下，这些标注员在某种程度上是行业专家（SME），他们可以使用他们业内的专业知识进行准确标注。但SME 的可用性有限，而且雇用成本高昂。 考虑到这些挑战，开发人工智能（AI）解决方案的团队从完全监督式学习（需要完整的手动标注数据集训练ML模型）转向主动学习和弱监督学习。后者通常更快，人力成本更低，同时仍能够成功训练模型。了解不同学习技术的工作原理和优势，能够帮助团队决定弱监督学习或主动学习（或两者结合）是否是训练机器模型的合适解决方案。

主动学习与弱监督学习：如何适应监督式学习

首先我们要清楚地知道，在机器学习中存在不同的学习类型，所有这些学习类型均可归为这两大类中的一种：监督学习和无监督学习。在监督学习中，机器接收由人工标注的数据点，并使用这些数据点进行预测。另一方面，无监督学习使用未标注数据；算法必须在没有人工指导的情况下从数据中提取结构和模式。 监督学习还可细分为一系列学习类型。其中就包括主动学习（半监督学习的一种形式）和弱监督学习。

主动学习

主动学习是半监督学习的一种形式。与完全监督学习不同的是，这种学习形式仅从较大规模的未标注数据集中为机器学习算法提供人工标注数据的初始子集。算法对这些数据进行处理，并提供具有一定置信度的预测。低于该置信度水平的任何预测均将表明需要更多的数据。这些低置信度的预测将被发送给标注人员，以标注请求数据的算法。循环重复，直到算法经过训练，并在预期的预测精度下正常运行。 这种迭代的人机协同方法是建立在并非所有样本均有学习价值的基础之上，因此算法会选择所学习的数据。 主动学习的一个关键差异因素是所使用的采样方法，该方法强烈影响着模型的表现方式。数据科学家可以测试不同的采样方法，来选择产生最精确结果的方法。总体而言，与完全监督学习相比，主动学习对人工数据标注的依赖程度较低，因为并非所有数据集都需要标注，仅机器要求的数据点才需标注。

弱监督学习

弱监督学习是一种学习技术，融合了来自各种数据源的知识，其中许多数据源质量较低。这些数据源可能包括：

• 低成本来自非专业人士的低质量标注数据。
• 来自SME的高级监督，例如，使用启发法（规则）。启发法可能会这样表述，“如果数据点 = x，则将其标注为 y”。使用一种或一套启发法可以立即标注成千上万，甚至上百万的数据点。
• 预先训练的旧模型，可能有偏见或有噪声。

这些数据源中的数据通常不精确（数据有标签，但标签并不像期望的那样准确）或不准确（部分标签有错误）。你可以对模型进行编程，以使用简单的技术或标注功能（如模式识别）从收集的数据集中学习。然后，通过调整特征和超参数获得更理想的权重，直到模型达到所需的性能。可根据需要纳入规模较小的监督数据集以完成模型的训练。 弱监督学习是一种编程训练数据的方法，其目的是减少人工手动标注数据所需的时间。当有未标注的数据集需要管理时，或当应用场景明确允许使用弱标签源时，这种方法最适合分类任务。 到这里你大概知道利用主动学习如何能更有效的获取人工智能数据了，如何大量的标记数据集。