机器学习和人工智能继续在IT服务中找到它们的方式,并补充软件工程师开发的应用程序。如果IT团队想要跟上这个步伐,他们必须提高他们的机器学习技能。云计算服务支持用于构建和部署AI和机器学习应用程序的各种功能。在许多方面,AI系统的管理与IT专业人员在云中熟悉的其他软件非常相似。但是,仅仅因为有人可以部署应用程序,并不一定意味着他们可以成功部署机器学习模型。虽然这些共同点可能会加速过渡,但也存在显着差异。除了软件工程技能,您的IT团队成员还需要特定的机器学习和AI知识。除了技术专长外,他们还需要了解当前可用于支持其团队计划的云计算工具。让我们探索IT专业人员在云中成功利用AI所需的5种机器学习技能,并了解Amazon、Microsoft和Google提供的支持这些技能的产品。在这些技能组合中,虽然有一些重叠,但不要指望一个人拥有所有技能。通过组建一支具备这些技能的团队,您的企业就可以最好地利用基于云的机器学习。1.数据工程IT专业人员如果想在云端实施任何类型的AI策略,就需要了解数据工程。数据工程包含一系列技能,涵盖数据整理和工作流开发领域,以及软件架构知识。这些不同的IT专业知识领域可以分解为IT专业人员应完成的不同任务。例如,数据整理通常涉及数据源识别、数据提取、数据质量评估、数据集成和管道开发以在生产环境中执行这些操作。数据工程师应该熟悉关系数据库、NoSQL数据库和对象存储系统。Python是一种流行的编程语言,用于批处理和流处理平台(例如ApacheBeam)以及分布式计算平台(例如ApacheSpark)。即使您不是专业的Python程序员,您也可以使用各种用于数据工程和机器学习的开源工具来提高您的技能,并掌握一些语言知识。数据工程在所有主要云中都得到了很好的支持。AWS提供全面的服务来支持数据工程,例如AWSGlue、AmazonManagedStreamingforApacheKafka(MSK)和各种AmazonKinesis服务。AWSGlue是一种数据目录和提取、转换和加载(ETL)服务,包括对计划作业的支持。MSK是数据工程管道的有用构建块,而Kinesis服务对于部署可扩展的流处理管道特别有用。GoogleCloudPlatform提供CloudDataflow,这是一种支持批处理和Steam处理的托管ApacheBeam服务。对于ETL流程,GoogleCloudDataFusion提供了基于Hadoop的数据集成服务。MicrosoftAzure还提供各种托管数据工具,例如AzureCosmosDB、DataCatalog和DataLakeAnalytics等。2.模型构建机器学习是一门成熟的学科,你可以通过研究和开发机器学习算法来提升你的职业生涯。IT团队使用工程师提供的数据来构建模型和创建软件来提出建议、预测价值和对项目进行分类。了解机器学习技术的基础知识很重要,即使大部分模型构建过程都是在云端自动完成的。作为模型构建者,您需要了解数据和业务目标。您需要设想解决问题的解决方案,并了解如何将它们与现有系统集成。市场上有现成的产品,例如Google的CloudAutoML,这是一套服务,可以帮助您使用结构化数据以及图像、视频和自然语言来构建自定义模型,而无需对机器了解太多学习。Azure在VisualStudio中提供了ML.NETModelBuilder,它提供了一个用于构建、训练和部署模型的界面。AmazonSageMaker是另一种托管服务,用于在云中构建和部署机器学习模型。这些工具可以选择算法,确定数据中哪些特征或属性最有价值,并使用称为超参数调整的过程优化模型。这些服务扩展了机器学习和人工智能策略的潜在用途。就像你不需要成为机械工程师就可以开车一样,你也不需要机器学习的研究生学位来构建有效的模型。3.公平和偏见检测算法做出的决定将直接和显着地影响个人。例如,金融服务使用AI做出有关信贷的决策,这可能会无意中偏向某些人群。这不仅会通过拒绝信贷来伤害个人,还会使金融机构面临违反《平等信贷机会法》等法规的风险。这些看似艰巨的任务对于人工智能和机器学习模型来说是不可避免的。检测模型中的偏差可能需要强大的统计和机器学习技能,但与模型构建一样,一些繁重的工作可以由机器完成。FairML是一种用于审核预测模型的开源工具,可帮助开发人员识别其工作中的偏见。检测模型偏差的经验也有助于为数据工程和模型构建过程提供信息。谷歌云在公平性工具方面处于市场领先地位,包括假设工具、公平性指标和可解释的AI服务。4.模型性能评估模型构建过程的一部分是评估机器学习模型的性能。例如,分类分析是根据准确度、精确度和召回率来评估的。回归模型,例如预测房屋销售价格的模型,通过测量其平均错误率来评估。现在表现良好的模型将来可能表现不佳。这里的问题不是模型会以某种方式被破坏,而是在其上训练的数据会变得过时,不再反映未来世界的样子。即使没有突发重大事件,数据漂移也可能发生。评估模型并在生产中继续对其进行监控非常重要。AmazonSageMaker、AzureMachineLearningStudio和GoogleCloudAutoML等服务都包含用于评估模型性能的工具。5.领域知识领域知识不是特定的机器学习技能,而是成功的机器学习策略中最重要的部分之一。每个行业都有自己的知识体系,因此需要对相关行业进行研究,尤其是在构建算法决策工具时。机器学习模型受到用于训练它们的数据的限制。具有领域知识的人可以知道在哪里应用人工智能并评估其有效性。
