译者|崔浩审稿人|孙淑娟开篇当今社会，人工智能的发展已经成为全球企业和政府关注的焦点。然而，另一个与人工智能密切相关的问题却被忽视了：数据质量差。AI算法依赖于可靠的数据来产生最佳结果——当数据有偏见、不完整、不充分甚至不准确时，它可能会导致毁灭性的结果。识别患者疾病的AI系统是由于数据质量差导致结果不佳的一个很好的例子。当数据不足时，这些系统会产生错误的诊断和不准确的预测，从而导致误诊和延误治疗。例如，剑桥大学对400多种用于诊断Covid-19的工具进行的一项研究发现，由于使用了有缺陷的数据集，人工智能生成的报告完全无法使用。换句话说，如果数据不够好，人工智能计划可能会对现实世界造成毁灭性的后果。“足够好”的数据是什么意思？关于什么构成“足够好”的数据一直存在激烈的争论。有人说不存在足够好的数据。还有人说“太好”的数据会导致分析瘫痪（译者：应该是指过度拟合）——而哈佛商业评论则直言，如果糟糕的信息会让机器学习工具无法工作。在WinPure，足够好的数据被定义为“完整、准确、有效，并且可以放心地用于有风险的业务流程，数据的水平取决于个人目标和业务环境”。大多数公司都饱受数据质量和治理的困扰。折磨，虽然他们都不会承认。这种折磨不断增加项目的压力，使他们不堪重负，并想象他们承受着部署AI计划以保持竞争优势的巨大压力。可悲的是，像脏数据这样的问题在导致项目失败之前不太可能成为董事会讨论的话题。不良数据如何影响人工智能系统？当算法基于训练数据进行学习时，数据质量问题出现在流程的开始。例如，如果向人工智能算法提供未经过滤的社交媒体数据，它就会识别出辱骂、种族主义评论和厌恶女性的言论，正如微软的人工智能机器人所展示的那样。最近，人工智能无法检测深色皮肤的人也被归咎于训练数据的问题。这与数据质量有何关系？缺乏数据治理、数据质量意识差以及数据的孤立视图是数据质量差的罪魁祸首。该怎么办？当企业意识到数据质量存在问题时，他们会对招聘感到恐慌。通过盲目聘请顾问、工程师和分析师来诊断、清理数据，并希望尽快解决问题。不幸的是，几个月过去了，尽管花费了数百万美元，问题似乎并没有消失。对数据质量问题采取下意识的方法几乎没有帮助。真正的改变始于基层。如果您希望您的AI/ML项目朝着正确的方向发展，请采取以下三个关键步骤。认识和确认数据质量问题首先，通过建立数据素养文化来评估数据质量。BillSchmarzo在这方面很有影响力，他建议使用设计思维来营造一种文化，让每个人都能理解并为组织的数据目标和挑战做出贡献。在当今的业务环境中，数据和数据质量不再是IT或数据团队的唯一责任。业务用户必须意识到脏数据问题以及不一致和重复数据等问题。因此，首先要使数据质量培训成为一项有价值的组织工作，并使团队能够识别不良数据属性。通过下面的清单，您可以使用它来跟踪数据质量。数据健康检查表如何捕获、存储和管理数据？有多少数据源连接到您的中央数据库，数据是如何传播的？您的数据管理得如何？您是否实施了数据治理标准？有多少数据是结构化、半结构化或非结构化的？与自动化数据管理相比，您在手动修复数据上花费了多少？在访问和处理数据时，您的团队如何相互协调？IT和业务用户之间是否经常发生内部冲突？您的数据质量状况如何？您的数据是否及时、完整、准确、唯一并遵循标准化规则？制定满足质量指标的计划在数据质量方面，企业经常会犯错误。例如，聘请数据分析师执行日常数据清理任务，而不是专注于规划和战略工作。一些企业在没有计划的情况下使用数据管理工具来清理、删除重复数据、合并和清除数据。不幸的是，工具和人才不能孤立地解决问题。满足数据质量维度的策略是解决问题的根本。该策略必须解决数据收集、标记、处理和匹配数据到AI/ML项目的问题。例如，如果一个AI招聘程序只选择男性候选人担任技术职位，那么该程序的训练数据显然存在偏差、不完整（没有收集足够的女性候选人数据）和不准确。因此，这些数据并不服务于人工智能项目的真正目的。对数据质量的要求超出了清理和修复数据的日常任务。因此，需要在开始项目之前设置数据完整性和治理标准。它使项目免于陷入失败的境地！提出正确的问题并设定问责制对于“足够好的数据或数据质量水平”，没有通用的标准。相反，这完全取决于组织的信息管理系统、数据治理指南以及对团队和业务目标的了解，以及许多其他因素。不过，在开始该项目之前，有几个问题要问团队：我们的信息来源是什么，数据收集的方法是什么？哪些问题会影响数据收集过程并威胁到积极的结果？数据传达什么信息？它是否符合数据质量标准（即信息准确、完全可靠和持续）？指定人员是否意识到数据质量和低质量的重要性？是否定义了角色和职责？例如，谁需要维护定期的数据清理计划？谁负责创建主记录？数据是否符合目的？提出正确的问题，分配正确的角色，执行数据质量标准并帮助团队在问题出现之前迎接挑战！总结数据质量不仅仅是修复拼写错误或错误。它确保人工智能系统不具有歧视性、误导性或不准确。在启动AI项目之前，有必要解决数据中的差距以应对数据质量挑战。此外，启动一个组织范围的数据素养计划，将每个团队与一个总体目标联系起来。译者介绍崔浩，社区编辑，资深架构师。他拥有18年的软件开发和架构经验，以及10年的分布式架构经验。原标题：你的数据是否足以支持你的机器学习/人工智能计划？，作者FarahKim
