在讨论人工智能的威胁时，首先想到的是天网、黑客帝国和机器人启示录的图像。排在第二位的是技术性失业，这是一种在可预见的未来，人工智能算法接管所有工作，驱使人们在不再需要人类劳动的世界中为毫无意义的生存而奋斗的愿景。这些威胁中的一个或两个是真实存在的，这在科学家和思想领袖之间引发了激烈的争论。但人工智能算法也以不太明显和不太容易理解的方式构成当今更迫在眉睫的威胁。数学家凯茜·奥尼尔(CathyO'Neil)在她的书《数学破坏的武器：大数据如何增加不平等并威胁民主》中探讨了如何盲目相信算法来做出敏感决定会伤害许多接受它们的人。人工智能算法的危险可能表现为算法偏差和危险的反馈循环，并可能扩展到日常生活的所有领域，从经济到社会互动，再到刑事司法系统。虽然在决策中使用数学和算法并不是什么新鲜事，但深度学习的最新进展和黑盒AI系统的激增扩大了它们的影响，无论是好是坏。如果我们不了解当前人工智能面临的威胁，我们将无法从人工智能的优势中受益。危险人工智能算法的特征我们使用算法进行建模来理解和处理很多事情。“毕竟，模型只不过是某些过程的抽象表示，无论是棒球比赛、石油公司的供应链，还是电影院的预订，”奥尼尔在《数学武器》Destroy中写道。“无论是在计算机程序中还是在我们的头脑中运行，该模型都会利用我们所知道的并使用它来预测各种情况下的反应。”我们的世界正在日益数字化，越来越多的模型从我们的头脑中转移到计算机上。得益于宽带互联网、云计算、移动设备、物联网(IoT)、可穿戴设备和许多其他新兴技术，我们几乎可以收集和处理越来越多的数据。这种对数据和计算能力的日益增长帮助创建了可以自动执行越来越多任务的AI算法。以前仅限于研究实验室，深度神经网络已经进入了许多以前对计算机具有挑战性的领域，例如计算机视觉、机器翻译以及语音和面部识别。到目前为止，一切都很好。有什么问题？在WeaponsofMathematicalDestruction中，O'Neil指出了使AI模型变得危险的三个因素：不透明性、规模和破坏性。算法和企业的不透明性人工智能系统的不透明性有两个方面：技术和公司。近年来，技术不透明（也称为人工智能的黑盒问题）受到了广泛关注。简而言之，问题是，我们如何知道人工智能算法正在做出正确的决定？随着AI逐渐进入贷款申请处理、信用评分、教师评级、累犯预测和许多其他敏感领域，这个问题变得越来越重要。重要的。许多媒体发表文章将AI算法描述为神秘的机器，其行为甚至连开发人员都不知道。但是，与媒体所描绘的相反，并非所有人工智能算法都是不透明的。传统软件，在AI术语中通常被称为符号人工智能，以其可解释和透明的特性而闻名。它们由手工编码的规则组成，由软件开发人员和领域专家精心组合。它们可以被探测和审计，错误可以追溯到发生错误的代码行。相比之下，近年来越来越流行的机器学习算法通过分析许多训练示例和创建统计推理模型来发展其行为。这意味着开发人员不一定对AI算法的行为拥有最终决定权。但同样，并非所有机器学习模型都是不透明的。例如，决策树和线性回归模型是两种流行的机器学习算法，它们将清楚地解释决定其决策的因素。如果你训练一个决策树算法来处理贷款申请，它可以给你一个树分解（因此得名）如何确定要确认和拒绝哪些贷款申请。这为开发人员提供了发现潜在问题因素并纠正模型的机会。但是在过去几年变得如此流行的深度神经网络在揭示它们的工作原理方面尤其糟糕。它们由人工神经元层组成，这些小数学函数将它们的参数调整到训练期间看到的数千个例子。在许多情况下，很难探索深度学习模型并确定哪些因素有助于其决策过程。贷款申请处理深度学习算法是一种端到端模型，贷款申请进入并得出最终结论。没有关于人工智能算法如何做出决策的逐个特征细分。在大多数情况下，训练有素的深度学习模型会比不那么复杂的模型（决策树、支持向量机、线性回归等）表现得更好。说起来不会被注意到。但即使是最准确的深度学习系统偶尔也会犯错，而一旦犯错，就很难查明哪里出了问题。但是深度学习系统不需要在不透明度成为问题之前犯错误。假设一位愤怒的客户想知道为什么AI应用程序拒绝了他们的贷款申请。当你有一个可解释的人工智能系统时，你可以清楚地解释做出决定所采取的步骤。但是，尽管人工智能算法的技术不透明性在科技媒体上引起了很多关注，但很少有人讨论公司使用其算法的不透明方式，即使算法本身微不足道且可以解释。“即使参与者知道要建模什么，或者模型的用途，模型是不透明的，甚至是不可见的吗？”O'Neill的问题在《数学毁灭性武器》。将人工智能算法视为公司机密的公司会尽最大努力将其隐藏起来，以保持对竞争对手的优势。人们对为谷歌搜索提供动力的人工智能算法知之甚少。这种保密是有道理的。例如，如果谷歌公布了其搜索算法的内部结构，它就会容易受到该游戏的攻击。事实上，即使谷歌没有透露其搜索算法的细节，业界也随时准备寻找捷径，以达到谷歌搜索第一的位置。毕竟，算法是按照自己的规则行事的无意识机器。他们不使用常识判断来识别违反行为准则的邪恶行为者。但是，举同样的例子，在没有透明度的情况下，我们如何确保谷歌本身不会操纵搜索结果来实现自己的目标和经济利益？这仅显示了组织在使用AI算法时所走的路线。当人工智能系统不透明时，它们甚至不需要犯错误就可以造成损害。即使是对系统性能的怀疑，也足以引起对系统的不信任。另一方面，过多的透明度会适得其反，并导致其他灾难性的结果。在GDPR和CCPA等规则生效之前，O'Neil在2016年写了。法规要求公司对人工智能算法的使用保持透明，并允许用户调查其自动化系统背后的决策过程。其他发展，例如欧盟委员会的人工智能道德规则，也促进了透明度。在解决围绕AI透明度的技术、伦理和法律问题方面已经取得了很大进展，还需要做更多的工作。随着监管机构通过新的法律来规范公司机密，公司将找到新的方法来规避这些规则，而不会陷入例如明显剥夺您的算法透明度权利的长期服务对话。谁来承担AI算法的损害AI算法提出愚蠢的购物建议、错误分类图像以及做其他愚蠢的事情的例子很多。但随着人工智能模型在我们的生活中变得越来越根深蒂固，它们的错误正在从良性转变为破坏性。在书中，奥尼尔探讨了允许算法对人们的生活造成严重破坏的许多情况。示例包括错误地惩罚人们的信用评分系统、根据种族和族裔背景对被告处以更重刑罚的累犯算法、最终解雇表现优异的教师并奖励作弊者并赚取数十美元的教师评分系统。以低收入阶层为代价的数十亿美元交易算法。算法的影响加上缺乏透明度导致创建危险的人工智能系统。例如，奥尼尔说，“新的累犯模型是复杂的和数学的。但是这些模型中嵌入了许多假设，其中一些是有偏见的，”补充说，“累犯模型的工作方式隐藏在算法中，只有少数精英人才理解。基本上，这意味着人工智能算法可以根据种族决定监禁，而被告无法找出他们被认为没有资格获得赦免的原因。还有另外两个因素使得危险的AI算法的破坏更加有害。第一，数据。机器学习算法依赖于高质量的数据来进行训练和提高准确性。如果图像分类器要准确地检测猫的图片，就必须为它提供许多带有标签的猫图片。同样，贷款申请算法将需要大量贷款申请历史记录（已支付或未偿还）。问题是，那些被人工智能算法伤害的人往往是那些没有足够质量数据的人。这就是为什么贷款申请处理者可以为那些已经拥有足够银行业务机会的人提供银行服务，为没有银行账户的人提供更好的服务，并惩罚那些在很大程度上被剥夺了金融系统的无银行账户和弱势群体。第二个问题是反馈回路。当AI算法开始做出有问题的决策时，它的行为会产生更多错误的数据，这些数据被用来进一步完善算法，这会产生更多的偏见，并且循环下去。在警务这个话题上，奥尼尔认为，犯罪偏见的影响预示着更多的警察将住在更贫困的社区。“这会形成一个有害的反馈循环，”她写道。“警务本身会产生新的数据，证明更多的警务是合理的。我们的监狱里关押着成千上万被判犯有无害罪行的人。”当您查看所有这些独立且相互关联的事物时，随着您对AI系统如何相互理解有了更深入的了解，您将看到真正的危害是如何发生的。奥尼尔总结了这种情况：“穷人更有可能有不良信用，住在犯罪率高的社区，和其他穷人在一起。一旦大规模杀伤性武器的黑暗世界消化了这些数据，它就是次级抵押贷款或-营利性学校被放置在掠夺性广告中。它派出更多的警察来逮捕他们，当他们被定罪时，他们会服更长时间的刑期。这些数据被输入到其他大规模杀伤性武器中，这些大规模杀伤性武器将相同的人评为高风险或容易攻击的目标，并继续以防止他们在提高抵押贷款、汽车贷款和各种可能的保险费率的同时工作。这进一步降低了他们的信用评级，无非是制造了一个模特死亡螺旋。在大规模杀伤性武器的世界里，贫穷变得越来越危险和昂贵。“《TheExplosiveScaleofAlgorithmicHazards》第三个问题是模型是否具备指数级增长的能力。正如统计学家所说，它可以扩展吗？”奥尼尔写道“数学毁灭性武器”。考虑一下我们之前讨论的Google搜索示例。数十亿人使用Google搜索来查找有关健康、政治和社会问题的重要信息。问题。Google的AI算法中的一个小错误可能会对公众舆论产生巨大影响。同样，Facebook的排名算法决定了每天有数以万计的人看到哪些新闻。如果这些算法有问题，你可以通过它们被恶意利用演员传播虚假、耸人听闻的新闻。即使没有直接的恶意，他们仍然会造成伤害。例如，有利于吸引内容的新闻提要算法会放大偏见并产生过滤气泡，使用户对其他观点的容忍度降低。当一个不透明错误的AI算法，决定亿万人的信用评分，或者决定国家教育体系的命运，你具备所有要素摧毁数学武器。那么这个Do应该怎么办呢？我们需要承认我们部署的AI算法的局限性。虽然拥有一个可以减轻您做出艰难决定的责任的自动化系统似乎很诱人，但您必须了解人类何时处于这些决定的接收端以及它们是如何受到影响的。大数据过程组织过去。他们不创造未来。这样做需要道德想象力，这是人类可以提供的。我们必须明确地将更好的价值嵌入到我们的算法中。有时，这意味着将公平置于利润之上。
