对人工智能系统最严重的攻击可能不是来自恶意软件，而是来自单个便签。
由于人工智能系统处理大量数据来“学习”如何在其环境中进行交互，因此一个异常现象（例如粘贴在停车标志上的便利贴）可能会改变技术对其所看到内容的看法，具体取决于其训练方式。
。
因此，粘滞便笺不是解释停车标志，而是可以触发人工智能自动驾驶车辆将其注册为限速标志，这些标志在某些地方是黄色和方形的，造成潜在的伤害。
如果在人工智能系统的学习数据中嵌入足够的触发器，就可以显着改变其行为。
情报高级研究项目活动 (IARPA) 的官员正在寻找能够帮助阻止这种情况（称为特洛伊木马或后门攻击）的软件包，并向业界寻求帮助。
情报界的研究部门周六发布了一份广泛的机构声明草案，呼吁业界提供一种解决方案，可以评估和保护人工智能平台的数据和培训管道，以保护它们免受潜在的特洛伊木马攻击。
IARPA 的程序称为 TrojAI，旨在检测人工智能系统用于训练的数据中是否存在潜在的特洛伊木马触发器，然后再部署到实际操作中。
但这样的目标并非没有挑战。
BAA 表示：“针对木马攻击的明显防御措施是网络安全（保护训练数据）和数据清理（确保训练数据准确）。
” “不幸的是，现代人工智能进步的特点是大量众包数据集，而这些数据集难以清理或监控。
”人工智能系统还包含用于训练其他人工智能的公共数据集，并使其适应特定的用例，这一过程称为迁移学习。
因此，木马触发器可以在开发人员不知情的情况下被离散地摄取到多个人工智能系统的学习数据中。
IARPA 官员表示：“为了使木马攻击有效，在正常操作环境中触发必须不频繁，这样才不会影响人工智能在测试数据集或正常操作中的性能。
” “此外，理想情况下，触发器应该是攻击者可以在人工智能操作环境中控制的东西，这样他们就可以激活特洛伊木马行为。
或者，触发器可以是世界上自然存在的东西，但前提是对手知道人工智能的内容?当这种情况发生时，TrojAI 计划希望开发出一种能够在人工智能系统经过训练后检测到这些触发因素的解决方案。
具体来说，他们正在寻找具有深度学习、网络安全和其他经验的行业合作伙伴，以帮助开发人工智能内部处理的检查技术，以确定何时以及是否放置了木马触发器。
官员们表示，他们将首先测试遭受木马攻击的深度神经网络的潜在解决方案，并在变得更加有效时将其扩展到其他人工智能。
该计划将运行一个基准年，并有选择年和可能的额外后续工作。
IARPA 官员表示，他们将在 1 月 4 日之前接受有关 BAA 草案的反馈、评论和问题，最终的 BAA 将于晚些时候发布。