网络犯罪分子不难远程操纵并对机器学习模型的性能产生负面影响。恶意用户可以毒化机器学习的训练数据，非法访问训练数据集中的敏感用户信息，并导致类似的其他问题。在过去的十年中，机器学习和人工智能的采用猛增。涉及这些技术的应用范围从面部识别和天气预报应用到复杂的推荐系统和虚拟助手。随着人工智能越来越融入我们的生活，人工智能系统中的网络安全问题也随之而来。根据世界经济论坛的2022年全球风险报告，网络安全故障是未来十年需要关注的十大全球风险之一。网络安全和人工智能不可避免地会在某个时候交叉，但我们的想法是利用人工智能的力量来增强网络安全。虽然它存在，但它还需要网络安全的力量来保护机器学习模型的完整性。这些模型的威胁来自一个来源：模型训练数据。危险在于机器学习的训练数据可能被黑客远程或现场操纵。网络罪犯操纵训练数据集来影响算法的输出并降低系统防御能力。这种方法通常无法追踪，因为攻击者伪装成算法的用户。如何操纵机器学习的训练数据？机器学习周期涉及使用更新的信息和用户洞察力进行持续培训。恶意用户可以通过向机器学习模型提供特定输入来操纵此过程。使用被操纵的记录，他们可以确定机密用户信息，例如银行帐号、社会保障详细信息、人口统计数据和其他用作机器学习模型训练数据的机密数据。黑客用来操纵机器学习算法的一些常见方法是：数据中毒攻击数据中毒涉及破坏用于机器学习模型的训练数据。该训练数据来自独立方，例如开发人员、个人和开源数据库。如果恶意方参与提供训练数据集，他们将提供精心构建的“有毒”数据，这会导致算法对其进行错误分类。例如，如果您正在训练识别马的算法，则该算法将处理训练数据集中的数千张图像以识别马。为了加强这种学习，您还向算法提供黑白奶牛的图像。但是，如果您不小心将棕色奶牛的图像添加到数据集中，模型会将其归类为马。模型只有经过训练才能分辨棕色牛和棕色马之间的区别，才能理解其中的区别。同样，攻击者可以操纵训练数据来教模型对有利于他们的场景进行分类。例如，他们可以训练算法将恶意软件视为良性，将安全软件视为使用有毒数据的危险软件。数据中毒的另一种方式是通过“后门”进入机器学习模型。后门是一种模型设计者可能不知道的输入类型，但攻击者可以使用它来操纵算法。一旦黑客发现人工智能系统中的漏洞，他们就可以利用它直接教模型他们想做什么。假设攻击者可以访问后门来教导模型，当文件中存在某些字符时，它应该被归类为良性。现在，攻击者可以通过添加这些字符使任何文件成为良性文件，并且只要模型遇到此类文件，它就会将其归类为良性文件，就像它被训练的那样。数据中毒还与另一种称为成员推理攻击的攻击相结合。成员推理攻击(MIA)算法允许攻击者评估特定记录是否是训练数据集的一部分。结合数据中毒，成员推理攻击可用于部分重建训练数据中的信息。尽管机器学习模型适用于广义数据，但它们在训练数据上表现良好。成员推理攻击和重建攻击利用这种能力提供与训练数据相匹配的输入，并使用机器学习模型输出在训练数据中重建用户信息。如何检测和预防数据中毒？该模型会定期使用新数据进行再训练，正是在这种再训练过程中，有毒数据可能会被引入训练数据集中。由于它随着时间的推移而发生，因此很难跟踪此类活动。模型开发人员和工程师可以在每个训练周期之前通过输入有效性测试、回归测试、速率限制和其他统计技术强制阻止或检测此类输入。他们还可以限制单个用户的输入数量，检查来自相似IP地址或帐户的多个输入，并根据黄金数据集测试重新训练的模型。黄金数据集是基于机器学习的训练数据集的可靠参考点。黑客需要有关机器学习模型如何执行后门攻击的信息。因此，通过实施强大的访问控制和防止信息泄露来保护这些信息非常重要。限制权限、数据版本控制和记录代码更改等一般安全做法将加强模型安全并保护机器学习的训练数据免受中毒攻击。通过渗透测试构建防御企业在对其网络进行定期渗透测试时应考虑测试机器学习和人工智能系统。渗透测试模拟潜在的攻击以识别安全系统中的漏洞。模型开发人员可以类似地对他们的算法运行模拟攻击，以了解他们如何构建防御数据中毒攻击的防御措施。当您测试模型的数据中毒漏洞时，您可以了解可能添加的数据点并构建丢弃此类数据点的机制。即使看似微不足道的不良数据也会使机器学习模型失效。黑客已适应利用此弱点并破坏公司数据系统。随着企业越来越依赖人工智能，他们必须保护机器学习训练数据的安全和隐私，否则就有失去客户信任的风险。
