AI项目落地成功因素:数据和机器学习模型的选择

04/29/2022

构建机器学习模型时,需要考虑几个关键要素:计算能力、算法和数据。公司往往会将大部分资源集中于开发正确的、无偏见的算法,并加大对计算能力的投入,而在运行模型前,数据通常靠边站或完全被抛诸脑后。 如果数据被遗忘,部署率则会降低,机器学习模型的成功率也会下降。部署机器学习模型前,必须使用被针对性优化过的良好数据训练模型。使用数据前,必须对数据进行获取、格式化、清理、采样和整合。如果没有高质量的标注数据,机器学习模型则无法部署。 获取数据集不是问题。问题在于获取符合您用例的高质量数据。幸运的是,创建高质量、准确标注的数据的效率越来越高,成本也越来越低。


正确地获取数据

成功部署机器学习的关键是,通过标注和高质量来源正确地获取数据。对于许多团队而言,这意味着数据标注过程需要在内部完成。然而,数据标注是一项重复乏味且耗时的任务。 数据科学家在数据标注和准备上花费的宝贵时间,可以用于完成其他项目。采用高质量的数据固然重要,但对大多数AI项目来说,由团队内部完成数据标注工作并不具成本效益。AI团队应专心做好AI模型构建、算法优化以及部署准备等工作,而创建所需的高质量数据集则交由他人完成。 虽然获取高质量数据的前期花费可能比较大,但这实则是一项节省成本的措施。如果将数据准备工作外包出去,团队便可以将本用于数据集创建和正确标注的时间节省下来。 在一开始使用正确的数据有利于高效部署机器学习模型。如果前期没有花时间精心准备数据,算法可能会出现问题,而这会导致昂贵的模型再训练。当贵公司已经在AI项目上投入了大量资金,并赖以解决全公司的问题时,您需要项目能够首战告捷。 很多现实示例表明,成本阻碍了AI项目的成功部署。Gartner估计,在所有AI项目中,只有一半项目能够实现部署,而且平均部署时间为9个月。一旦项目出现错误,修正成本非常昂贵。OpenAI在GPT-3中发现了一个错误,但训练成本太高,重新训练模型并不划算。


获取正确的数据

处理数据时,我们会自然而然地认为,数据多代表着数据好。但在训练机器学习算法时,最好遵循一句古话,即宁缺毋滥。 采用高质量的小数据集可以从整体上节省您的费用。您可以从计算预算中省出一小部分,并将其重新分配用于购买高质量的小数据集。通过采用高质量的小数据集,您可以降低在计算方面的成本,并且可以避免在使用整个组织数据集后再重新训练模型。您会发现,购买正确数据的资金用得其所。 超过75%的公司表示,他们的AI模型从未实现部署。因此,明智的商业选择是把钱花在获取正确数据上,让机器学习模型得以运行并实现部署。 为更成功地部署您的机器学习模型,请遵循以下步骤,以获取正确的数据。

寻找高质量的数据源

您的首要任务是找到一个可以出售高质量数据集的数据源。选择一个可靠的数据源,并能够从中获取符合用例的良好数据,这是成功部署机器学习模型的关键。 在寻找适合用例的数据集时,您有几个不同的选择。您可以聘请一家公司创建适合您的用例和公司的独特数据集,也可以自行构建数据集。另一个选择则是寻找现成数据集。现成数据集即已经过整合,并随时可用的数据集。您甚至可以找到一些开源数据集,但这些数据集通常质量比较低,规模也比较小,可能不足以支持您的项目。 对于低预算项目或那些没有足够人手创建数据集的团队来说,现成数据集是个不错的选择。市面上有多个不同的资源库可供选择,您可根据自己需求,从中找到合适的现成数据集。 MediaInterface是现成数据集如何解决业务问题的一个示例,这是一家主要在德国、奥地利和瑞士开展业务的语言技术公司。当MediaInterface想要开拓法国市场时,他们意识到,他们需要大量采用法语的新数据。对此,我们可以协助他们找到符合需求的高质量现成数据集。

寻找小而宽的数据

虽然使用大数据集训练机器学习模型似乎很直观,但从长远来看,使用小而广的数据集实际上可能更具成本效益和作用。此外,要明白一点,即小数据并不代表数据量小。小数据是指用于解决您的问题的正确数据。 用小而广的数据集训练机器学习模型,可以提供更强大的分析,减少对大数据的依赖,并交付更丰富、更精准的算法。要创建高质量的小数据集,您需要关注:

  • 数据相关性
  • 数据多样性与重复性
  • 构建以数据为中心的模型

转向采用小而广的数据集,将使AI行业逐渐减少对数据的依赖。采用小数据可以减少计算和训练模型的时间,并返还有用的见解。

更有效地使用资源

通过采用高质量的小数据集,您可以更有效地利用公司的资源。训练机器学习模型是一项复杂的任务,需要时间、金钱和计算能力等不同的资源。通过高效利用资源,您可以更有效地部署AI模型。 NVIDIA TAO是构建企业级AI应用的重要资源,它代表的是训练(T,Train)、适应(A,Adapt)和优化(O,Optimize)。该应用是一个AI模型适应框架,可以帮助企业简化和加快AI模型的构建。从本质上说,您可以从他们的预制AI模型库中进行选择,然后根据您的独特用例进行定制。这有利于公司提高AI解决方案的部署速度和成本效益。 使用TAO这样的工具和购买价格适中的现成数据集,都可以提高公司的资源利用率。


AI项目落地的挑战

在部署机器学习模型和AI方面,存在诸多挑战和困难。这主要是因为受到范围、规模和数据选择等因素的影响,但行业发展仍然坚定、乐观。如今,大家更加关注以数据为中心的点解决方案和AI内部效率用例,这为他们的成功奠定了基础。 通过重新关注有效利用资源和寻找正确的数据,您可以避免其中一些实施和部署挑战。Alation的一份白皮书发现,87%的员工认为数据质量问题是公司未能采用AI技术的原因。 采用正确的数据资源,可以解决AI的数据质量问题。不要在内部完成数据标注工作,以免浪费公司资源。相反,直奔来源,购买小而广的数据集,其中包含适合您的机器学习模型的高质量、标注准确的数据。将公司资源集中于AI算法构建,而数据工作则交由专家来负责。

正确数据可以加快产品发布

始于优质数据,终于良好结果。如果组织在部署计划早期就关注数据,便可以更快进入生产阶段,并减少计算方面的资源浪费。 重视数据的同时,您也在为AI部署建立一个成功的长期战略。澳鹏坚信,如果拥有符合用例的、标准化的数据,并且将这些数据储存在不过时的系统中,您在未来可以更轻松地访问这些数据并将其用于更多项目。这是我们构建和创造负责任AI理念的部分内容,详见《真实世界的AI》一书。 当您从一开始就关注数据时,您就在构建数据生态系统的基础。

建立数据生态系统

数据生态系统是一个用于存储数据的零散系统和框架,同时也是一种分享数据的方式。在数据生态系统中,您需要有数据生产者、数据消费者和数据平台。 建立数据生态系统是建立公司数据基础的一种方式。在此过程中,建立数据信任是一个非常重要的步骤。您必须制定强有力的数据治理政策和流程,以确保所使用的所有数据都是高质量的。如果知道数据是好数据,您就会信任您的数据。当数据可信任时,您可以提高机器学习项目的部署速度,并信任所得到的结果。


澳鹏如何帮助您

如果您正在寻找一位数据合作伙伴加入您的数据生态系统,澳鹏可以帮助您。我们与一支由100多万名技能娴熟的承包商组成的团队合作,为数千个不同的用例标记和标注数据。我们拥有您所需的数据,以部署您的机器学习模型,满足您的AI目标。联系我们,了解我们可以如何帮助您进行高效高成功率的AI项目落地。

澳鹏为您的模型搭建及AI部署提供全生命周期的数据支持,包括数据采集、标注、模型测试以及数据集。