贯穿AI生命周期各阶段的道德问题：数据准备

随着AI在市场上得到更广泛的采用并被作为各种用例中的工具实现，更多的挑战也应势而生。AI项目遇到了一个长期的关键问题，即合乎道德的AI以及数据中的偏见处理。在AI发展初期，这个问题并不明显。 数据偏见是指数据集中某个元素的代表权重过大或不足。如果使用有偏见的数据来训练AI或机器学习模型，就会导致有偏差、不公正、不准确的结果。澳鹏正在深入研究AI生命周期各个阶段合乎道德的AI数据是什么样的。 在数据旅程的每一步，都有可能出现导致数据偏见的常见错误。值得庆幸的是，有一些方法可以避免这些隐患。在本系列文章中，我们将探索AI生命周期以下四个阶段中的数据偏见：

• 数据获取
• 数据准备
• 模型训练和部署
• 人工模型评估

并非所有的数据集都是平等的，但我们希望帮助您驾驭AI生命周期中复杂的数据道德问题，这样您就可以为AI模型创建最好、最有用且最可靠的数据集。

数据准备中的偏见

在使用数据训练AI模型之前，必须保证这些数据可读并可用。AI数据生命周期的第二阶段是数据准备，即获取一组原始数据，对其进行排序、标注、清理和复核。澳鹏为客户提供人工标注、AI自动数据标注等数据准备服务。这两者结合应用，则能以尽可能低的偏见交付高质量的数据。 在数据准备阶段，首先由标注员检查每条数据，并为其提供标签或标注。根据不同的数据类型，可能有以下标注方式：

• 在图像中的对象周围加边界框
• 转录音频文件
• 将书面文本从一种语言翻译成另一种语言
• 标注文本文件或图像文件

我们世界各地的人工标注员完成数据标注后，数据便进入数据准备的下一环节：质量保证。质量保证过程需要人工标注员和机器学习模型来检查数据的准确性。如果数据不适合项目或数据标注错误，则会从数据集中删除相应数据。 在数据准备阶段的最后，数据集接着进入模型训练阶段。在数据集进入这个阶段之前，必须保证它一致、完整并且干净。高质量的数据造就高质量的AI模型。 偏见可以通过多种方式引入数据准备过程，并产生道德问题，这些问题随后又被带进AI模型。数据准备中最常见的数据偏见类型包括：

• 数据缺口
• 数据标注员训练不当
• 标注不一致
• 个人偏见
• 数据过多或过少

数据中有缺口

AI数据集中潜入偏见的一种最常见情况是，数据缺口和数据代表性不足。如果数据集中缺少某些分组或类型的数据，就会导致在数据和生成的AI模型输出中出现偏见。常见的数据缺口包括少数群体代表性不足。数据缺口也可能是某类数据或罕见用例示例的代表性不足。 数据缺口通常是无意造成的，因此在准备阶段检查数据，查出这些数据缺口非常必要。如果不能通过添加更多代表性数据来解决数据缺口问题，用于训练AI模型的数据就会存在数据缺口，模型随之就会生成不太准确的结果。

数据标注员没有经过良好的训练

数据准备阶段引入偏见的另一种常见情况是，使用未经训练的数据标注员标注数据。如果数据标注员训练不足，不了解其工作的重要性，则标注过程中更有可能出现标注错误或是偷工减料的情况。 为数据标注员提供全面的训练和支持性监督，能够限制数据准备过程中出现的错误数。在数据标注过程中，未经训练的数据标注员可能通过几种方式引入偏见，其中包括标注不一致和个人偏见。

标注不一致

如果由多个标注员标注一个数据集，务必要训练所有标注员在标注每个数据点时保持一致性。当相似类型的数据标注不一致时，就会产生回忆偏见，导致AI模型的准确性降低。

个人偏见

在标注过程中，数据标注员引入偏见的另一种情况是，夹杂他们自己的个人偏见。我们每个人对周围的世界都有一套独特的偏见和理解。虽然标注员对世界的独特理解能够帮助其标注数据，但却可能会在数据中引入偏见。 例如，如果标注员标注带有面部表情的、流露情绪的图像，则来自两个不同国家的标注员可能会提供不同的标注。这类偏见是数据准备中所固有的，但可以通过全面质量保证流程加以控制。此外，企业还可为数据标注员提供避免无意识偏见的训练，设法减少偏见对数据标注的影响。

只使用人工标注或只使用机器标注

过去，标注数据的唯一方法是，由人工检查每一条数据，并用标签标注。近来，机器学习程序已经能够标注数据并创建训练数据集。 围绕两种标注方法的争论总是很激烈：哪个方法更好呢？我们想要双管齐下，既使用人工标注员标注数据，同时也使用机器学习程序对数据标注进行质量保证检查。这样做才能构建一流质量的数据集。

数据过多或过少

在准备阶段评估数据时，还需要考虑的重要一点是，要确保拥有适量的数据。训练数据可能太少，也可能太多。 如果训练数据太少，算法将无法理解数据中的模式。这被称为欠拟合。如果训练数据太多，模型的输出会不准确，因为它不能确定哪些是噪声，哪些是真实数据。为模型提供的数据过多称为过拟合。 为AI模型创建大小合适的数据集，将能提高模型输出的质量。

排除“无关紧要的”数据

在数据准备过程中，认真检查数据并从数据集中删除不适用于未来模型的数据很重要。在删除数据之前一定要反复检查，因为最初或对某人来说看似“无关紧要的”数据实际上可能并非如此。在这个阶段删除“无足轻重”的数据会导致排除方面的偏见。数据集的某个部分很小或是不常见，并不意味着它不重要。

数据准备中偏见问题的解决方案

虽然在数据准备过程中有多种方式可能会在数据集中引入偏见，但解决方案也有很多。下面介绍了一些可以在数据准备过程中避免偏见的方法。

雇佣多元化和有代表性的员工

在数据准备过程中消除偏见的一种最重要的方法是，确保决策者和参与者具有广泛的代表性。雇佣多元化的员工对减少AI训练数据集中的偏见大有帮助。 雇佣多元化的员工才是第一步，我们还可以再进一步，为所有员工提供无意识偏见训练。无意识偏见训练能帮助员工更好地识别自己的个人偏见，并有意识地在所标注的数据中寻找偏见。

在质量保证流程中增加偏见检查环节

如果只能做一件事来减少数据准备中的偏见，那应该是在质量保证流程中增加偏见检查环节。大多数偏见都是无意的。这意味着因为没有人察觉，或是没有人想去查找，导致偏见潜入到数据中。 通过在质量保证流程中增加偏见检查环节，可以有意识地进行偏见检查。这样有助于提醒员工明确查找数据中的偏见，批判性地思考数据中应该和不应该代表什么。为员工提供无意识偏见训练，将使他们更容易在数据准备过程中查找和消除偏见。

为标注员提供优厚的报酬和公平的待遇

偏见在AI数据中普遍存在。识别数据缺口需要敏锐的眼光和全面的训练。为解决AI训练数据集中的偏见问题，企业的一个简单做法是，确保其数据标注员获得优厚的报酬和公平的待遇。 工作报酬优厚的员工更有可能关注生产高质量的内容。企业善待员工，员工就更有可能以高质量的工作作为回报。本质而言，合乎道德的AI始于那些为训练AI模型而标注数据和清理数据的人。这些人的工作报酬不令人满意，偏见扩散的可能性就更大。 要为AI模型建立一个更合乎道德的美好世界，就应该回归起点：从数据开始。AI生命周期包括四个数据处理阶段，它们都有可能给训练数据集引入偏见。在数据准备阶段，至关重要的是要有训练有素、享有优厚报酬的员工，他们可以识别无意识的偏见，就能帮助尽可能多地消除偏见。