人工智能是一个不断发展的行业，由大型科技公司、新创业公司和大学研究团队推动。虽然AI技术正在迅速发展，但围绕机器学习安全的法规和故障保护是一个完全不同的故事。未能保护机器学习模型免受数据中毒等网络攻击的代价可能非常高昂。Chatbot漏洞甚至可能导致私人用户数据被盗。下面探讨了机器学习对网络安全的重要性。此外，我们还解释了聊天机器人安全提供商Scanta如何使用其虚拟助手保护聊天机器人。为什么机器学习安全很重要？保护机器学习模型免受网络攻击类似于确保车辆通过安全检查。仅仅因为汽车可以行驶并不意味着在公共道路上行驶是安全的。未能保护机器学习模型可能会导致数据泄露或更糟。一个很好的例子是McAfee技术人员如何侵入特斯拉的一辆自动驾驶汽车。特斯拉早期的道路标志检测系统模型使其容易受到网络攻击。技术人员只需在上面加几英寸的黑胶带，就可以让特斯拉误读35英里/小时的标志。这导致车辆将其解释为85英里/小时的标志。因此，只要汽车加速超过35英里/小时，就会应用制动器。自动驾驶汽车的漏洞可能导致致命事故。对于聊天机器人和虚拟助手，缺乏机器学习安全性可能会导致大量私人客户数据泄露、网络钓鱼攻击以及针对企业的代价高昂的诉讼。而这正是达美航空公司发生的事情。2019年，达美航空公司就该公司2017年违反乘客数据的行为起诉其聊天机器人开发商。黑客获得了达美航空公司聊天机器人系统的访问权并修改了源代码。这允许他们抓取用户输入的数据。这起事故使达美航空公司损失了巨额资金，导致数百万美元用于调查违规行为和保护受影响的客户。聊天机器人中的机器学习安全漏洞聊天机器人特别容易受到机器学习攻击，因为它们之间频繁的用户交互通常完全不受监督。Scanta揭示了聊天机器人面临的最常见的网络攻击。Scanta的首席技术官AnilKaushik说，他们看到的最常见的攻击之一是通过对抗性输入进行的数据中毒攻击。什么是数据中毒？数据中毒是一种机器学习攻击，黑客会污染机器学习模型的训练数据。他们通过注入对抗性输入来做到这一点，这些输入有意改变数据样本，以诱使系统产生错误的输出。不断接受用户输入数据训练的客户服务聊天机器人等系统特别容易受到此类攻击。大多数现代聊天机器人自主运行，无需人工干预即可回答客户查询。通常情况下，聊天机器人和用户之间的对话永远不会被监控，除非查询被上报给人类。缺乏监督使聊天机器人成为黑客利用的主要目标。为了帮助企业保护他们的聊天机器人和虚拟助手，Scanta不断改进其机器学习安全系统VAShield。Scanta由ChaitanyaHiremath于2016年创立，是一家科技公司，最初是一家增强现实游戏和社交媒体应用程序开发商。他们在增强现实(AR)行业的成功甚至在探索频道上留下了自己的印记。然而，Scanta最近转向为聊天机器人和虚拟助手提供机器学习安全服务。Scanta如何保护聊天机器人和虚拟助手Scanta的VAShield是一种机器学习安全系统，可在模型、数据集和对话级别保护聊天机器人。Scanta首席技术官AnilKaushik表示，“VAShield使用机器学习来防御机器学习攻击。我们对每个用户进行行为分析并标记任何异常行为。行为分析是针对最终用户以及聊天机器人。分析所有输入、输出和输入输出实体来检测任何恶意活动。”在会话级别，Scanta评估聊天机器人的输出以阻止恶意攻击并获取业务洞察力。他说：“上下文分析是一个简单的概念，聊天机器人的响应是根据请求在上下文中查看的。”为了进行这些分析，我们使用历史数据。例如，我们查看了用户的历史请求特征和聊天机器人的响应，以及聊天机器人的响应特征。“为什么常规IT团队不能处理这些攻击？Scanta首席执行官ChaitanyaHiremath表示，拥有自己IT团队的公司将机器学习安全服务外包。这些IT团队不能自己整合机器学习安全协议吗？Hiremath说，“我们与许多公司进行了交谈，我很惊讶地得知这些机器学习威胁是大多数人所不知道的，而现实是许多人甚至不知道这是他们必须保护的东西反对。大多数IT团队和安全解决方案都提供Web安全和Web应用程序防火墙等功能。这种类型的安全性与Scanta提供的安全性不同。我们正在讨论和展示的是不同的级别。这远远超出了训练数据的去偏。“在上面提到的达美航空公司的例子中，网络攻击者破坏了聊天机器人并修改了源代码，并且能够访问私人客户数据。“那是因为没有人监控聊天机器人正在做什么以及正在做什么，”Hiremath说.会发生什么，这是今天机器学习技术构建方式的结果。然而，必须有一种机制来解释恶意意图。我们将这个系统称为零信任框架。必须确保所有方面都受到保护“这与保护您的数据库或网络一样重要。”“人们的日常生活和个人数据越来越多地与计算机系统交织在一起。随着现代社会数字化程度的不断提高，提高数据安全成为当务之急。特别是随着GDPR等组织颁布的数据法，企业比以往任何时候都更需要保护他们的私人和客户数据。Scanta和机器学习安全的未来Hiremath说，“我们希望成为机器学习安全领域的领导者，并帮助各行各业的企业保护他们创建的机器学习系统。”我们不只是将其视为应用程序的插件或附加组件。在三到五年内，我们看到这将成为自己的行业，我们希望成为该领域的市场领导者之一。机器学习安全有许多用例。现在，我们想专注于虚拟助手和聊天机器人。我们不仅希望成为聊天机器人安全领域的领导者，也希望成为其他机器学习系统领域的领导者。我们目前正在进行研究和开发，以确定我们可以帮助他们保护的其他领域。“机器学习模型的更高安全性将使数据科学界和人工智能技术的日常用户受益。”2020年上半年，IBM以固有的种族偏见和执法部门可能滥用的证据为由抵制面部识别技术。重要的是，像IBM、Delta和Tesla这样的大公司应该后退一步，将安全和社会影响置于开发之前。希望更多像Scanta这样的公司会出现在机器学习领域，为使用机器学习技术的开发公司和使用这些技术的人创建更安全的人工智能系统提供帮助。
