人工智能和机器学习带来了新的漏洞及其好处。本文介绍了几家公司如何将风险降至最低。当企业采用新技术时，安全往往被搁置一旁，以最低的成本尽快为客户提供新产品或服务似乎更为重要。人工智能(AI)和机器学习(ML)提供了与早期技术进步??相同的漏洞和错误配置机会，但也有其独特的风险。随着企业开始人工智能驱动的数字化转型，这些风险可能会变得更大。“不要急于进入这个领域，”博思艾伦咨询公司的首席科学家爱德华拉夫说。人工智能和机器学习需要比其他技术更多的数据，以及更复杂的数据。数学家和数据科学家开发的算法来自研究项目。拉夫说，在科学界，直到最近人工智能才开始被认为是一个安全问题。云平台通常处理大量工作负载，从而增加了另一个层次的复杂性和脆弱性。毫不奇怪，网络安全是人工智能采用者最担心的风险。德勤上个月发布的一项调查发现，62%的采用者将网络安全风险列为一个主要问题，但只有39%的人表示他们准备好解决这些问题。使事情进一步复杂化的是，网络安全是人工智能将用于的首要功能之一。德勤技术、媒体和电信中心执行董事JeffLoucks表示，在AI方面经验越丰富的公司，就越担心网络安全风险。此外，即使是更有经验的企业也没有遵循基本的安全实践，例如对所有AI和ML项目进行完整的审计和测试。Loucks说，公司目前在实施这些方面做得不好。AI和ML对数据的需求会产生风险AI和ML系统需要三组数据：训练数据以构建预测模型测试数据以评估模型的执行情况模型投入使用时的操作数据实时交易或操作数据显然是一项宝贵的企业资产，很容易忽视同样包含敏感信息的训练和测试数据池。许多用于保护其他系统中的数据的原则都可以应用于AI和ML项目，包括匿名化、令牌化和加密。第一步是询问是否需要数据。在准备AI和ML项目时，收集所有可能的数据并查看可以做什么。关注业务成果可以帮助企业将他们收集的数据限制在需要的范围内。为教育机构分析学生数据的Othot的首席技术官JohnAbbatico表示，数据科学团队非常需要数据，因此他们在处理学生数据时明确表示不需要也不应该使用高度敏感的PII（个人身份信息）被包含在提供给他们团队的数据中。当然，错误确实会发生。例如，客户有时会提供敏感的个人信息，例如社会安全号码。此信息不会提高模型的性能，但会引入额外的风险。Abatico说他的团队有一个流程来识别PII，将其从所有系统中清除并通知客户错误。人工智能系统还需要上下文数据，这可以极大地扩大公司的曝光率。假设一家保险公司想要更好地了解其客户的驾驶习惯。它可以购买购物、驾驶、位置和其他可以轻松交叉关联并与客户账户匹配的数据集。这个新的、呈指数增长的数据集对黑客更具吸引力，如果遭到破坏，对公司声誉的损害更大。AI的安全设计Box是一家需要保护大量数据的公司，这是一个在线文件共享平台。Box使用AI提取元数据并改进搜索、排序等功能。Box的CISOLakshmiHanspal表示，Box可以从合同中提取条款、续约和定价信息。Box的大部分客户内容分类要么是用户定义的，要么是完全被忽略的。他们坐拥大量可能对数字化转型有用的数据。Hanspar说，保护数据对Box来说是一件重要的事情，同样的数据保护标准也适用于人工智能系统，包括训练数据。Box建立并维护信任。这意味着所有系统，包括新的AI项目，都是围绕核心数据安全原则构建的，包括加密、日志记录、监控、身份验证和访问控制。HansParr指出，数字信任是他们平台固有的，他们将其付诸实践。Box为遗留代码和新的AI和ML驱动系统提供了安全的开发流程。“我们在开发安全产品时遵循ISO的行业标准。安全设计是内置的，并且存在检查和平衡，包括渗透测试和红队，”编写AI和ML算法的数学家和数据科学家HansParr说。通常编码而不用担心潜在的漏洞。当公司构建人工智能系统时，他们会借鉴现有的开源算法，使用商业“黑匣子”人工智能系统，或者从头开始构建自己的系统。使用开源，攻击者可能会嵌入恶意代码，或者代码包含漏洞或易受攻击的依赖项。专有商业系统还使用开源代码，即企业客户通常无法查看的新代码。反向攻击是一个主要威胁AI和ML系统通常是开源库和非安全工程师创建的新编写代码的组合。此外，不存在用于编写安全AI算法的标准最佳实践。鉴于安全专家和数据科学家的短缺，这两者的专家供应就更少了。AI和ML算法是更大的潜在风险之一，也是BoozAllenHamilton的Raff最大的长期威胁之一，有可能将训练数据泄露给攻击者。“在反向攻击中，你可以获得一个AI模型，为你提供有关自身及其训练内容的信息。如果它是根据PII数据进行训练的，你可以让模型将这些信息泄露给你，”他说。实际的PII可能会暴露。”拉夫说，这是一个积极研究的领域，也是一个巨大的潜在痛点。有一些工具可以保护训练数据免受反向攻击，但它们太贵了。“我们知道如何阻止这种威胁，但这样做会使训练模型的成本增加100倍，这并不夸张，所以没有人会这样做，”他说。你不能保护你无法解释的东西另一项研究领域是可解释性。如今，许多人工智能和机器学习系统，包括许多主要网络安全供应商提供的人工智能和机器学习驱动的工具，都是“黑匣子”系统。“供应商没有内置的可解释性，”YLVentures的CISOSounilYu说。“在安全方面，能够解释发生的事情是一个基本组成部分。如果我不能解释为什么会发生，我怎么能解释呢？”补救措施如何？”。对于构建自己的AI或ML系统的公司来说，当出现问题时，他们可以返回训练数据或用于解决问题的算法。Yu指出，如果你从别人那里构建，你不知道训练数据是什么，需要保护的不只是算法AI系统不只是一个自然语言处理引擎，或者只是一个分类算法，或者只是一个神经网络。即使这些部分是完全安全的，系统仍然要与用户和后台平台进行交互。系统是否使用强认证和最小权限原则？与后台数据库的连接是否安全？与第三方数据源的连接情况如何？用户界面是否对注入攻击有弹性吗?与人相关的不安全感的另一个来源是人工智能和机器学习程序独有的：数据科学家。Autott的Abatico表示，优秀的数据科学家会通过数据实验得出富有洞察力的模型。然而，当涉及到数据安全时，实验可能会导致危险的行为。当他们使用完数据后，他们可能会想将数据移动到不安全的位置或删除示例数据集。Othot很早就投资获得SOCII认证，这些控制措施有助于在整个公司实施强大的数据保护实践，包括何时移动或删除数据。“事实是，大多数AI模型中更大的风险并不在AI中，问题出在人身上。几乎没有AI模型没有安全问题，因为人们决定如何训练它们，人们决定要使用哪些数据包括，人们决定他们想要预测和预测什么，人们决定公开多少信息。”AI和ML系统特有的另一个安全风险是数据中毒，攻击者将信息输入系统以迫使其做出不准确的预测。例如，攻击者可以通过向系统提供合法软件样本来欺骗系统认为恶意软件是安全的Raff说：“这对大多数企业来说都是一个高度关注的问题。”“目前，我还没有发现任何人工智能系统在现实世界中受到攻击。”从长远来看，这是一个真正的威胁，但它现在正被攻击者用来逃避它。“杀毒软件的经典工具仍然有效，所以他们不需要再花哨了。”避免偏差和模型漂移当AI和ML系统用于企业安全时，例如，分析用户行为、监控网络流量或检查数据泄露，偏差和模型漂移会产生潜在风险。训练数据集很快就会过时使组织容易受到攻击，尤其是当他们越来越依赖人工智能进行防御时。企业需要不断更新模型，使模型更新成为一件连续的事情。在某些情况下，训练数据可以是自动的。例如，调整模型以适应变化随着时间的推移，天气模式或供应链交付时间表可以帮助使其更加可靠。当信息源涉及恶意行为者时，需要仔细策划培训数据集以避免中毒和操纵。企业已经在处理引起道德问题的算法，例如当面部识别或招聘平台歧视女性或少数族裔时。当偏见蔓延到算法，它还会产生合规性问题，或者在自动驾驶汽车和医疗应用的情况下，会导致人员死亡。正如算法可以将偏差注入预测一样，它们也可以用来控制偏差。例如，Othot帮助大学实现最佳班级规模或实现财务目标。Othot的Abbatico说，在没有适当约束的情况下创建模型很容易引入偏差。“检查偏见需要做很多工作。添加与多样性相关的目标有助于对目标进行建模并有助于抵消偏见，如果不将多样性目标作为约束包括在内，偏见很容易被掩盖。”AI的未来在云中AI和ML系统需要大量数据、复杂的算法和可在需要时扩展的强大处理器。所有主要的云供应商都在争先恐后地提供数据科学平台，将所有内容整合在一起方便的地方。这意味着数据科学家不需要等待IT为他们提供服务器。他们只需上网，填写一些表格，然后就可以开展业务。根据德勤的AI调查，93%的企业是使用某种形式的基于云的人工智能。德勤的Loucks说：“这让我们更容易开始。”这些项目随后成为操作系统，配置问题随着规模的扩大而成倍增加。有了最新的服务，集中的、自动化的配置和安全管理仪表板可能不可用，公司必须自己编写或等待供应商加紧填补空白。当使用这些系统的人是公民数据科学家或理论家时，这可能是个问题没有强大安全背景的研究人员。此外，供应商历来先推出新功能，然后再推出安全功能。当系统快速部署然后扩展得更快时，这可能会成为一个问题。我们已经在物联网设备、云存储和容器中看到了这一点。Raff说，AI平台供应商越来越意识到这种威胁，并从错误中吸取了教训。他说：“我看到，考虑到历史上‘安全至上’的心态，纳入安全内容的计划比我们预期的要激进得多。ML社区更关心这一点，延迟时间可能会更大。简而言之。”德勤AI联席主管IrfanSaif对此表示赞同，尤其是在支持大型企业AI工作负载的主要云平台方面。在网络安全能力的演进方面，它们可能比以前的技术更加成熟。AI项目安全检查清单这些有助于确保AI项目安全的检查清单摘自Deloitte《企业中的人工智能状况》（第3版）：维护所有AI实施的正式检查清单使AI风险管理与更广泛的风险管理工作保持一致让高管负责AI相关风险进行内部审计和测试使用外部供应商进行独立审计和测试培训从业者如何识别和解决围绕AI的道德问题与外部各方合作制定健全的AI道德规范确保AI供应商提供公正的系统制定政策或委员会来指导AI道德
