随着越来越多的个人、政府和企业将AI技术视为一种邪恶，显然需要衡量指标来确保AI是一个好的“公民”。那么如何衡量人工智能应用中的“恶”呢？这听起来像是一个滑稽的问题，但人们应该问问自己，将“邪恶”一词应用于任何应用程序意味着什么。而且，如果“邪恶的人工智能”是一个应该避免的结果，那么知道如何衡量它是很好的，这样就可以证明它不存在于交付的工作产品中。显然，这纯粹是一个人的实验，但只要仔细阅读AI行业最近的新闻，就能感受到这个话题的严肃性。具体来说，值得注意的是，MLPerf公司最近发布了最新版本的AI推理和训练基准套件。MLPerf是一个由40家人工智能平台供应商组成的集团，包括硬件、软件和云计算服务提供商。作为其标准基准在AI供应商中获得相当大吸引力的一个明确迹象，一些供应商开始发布他们的平台技术在这些套件下的比较情况。例如，谷歌云声称其用于自然语言处理和对象检测的TPUPod在最新的MLPerf基准竞赛中打破了AI模型训练的记录。虽然只发布速度方面的基准数据，换句话说，缩短训练特定AI模型以获得特定结果所需的时间，但在未来的某个时候，将有可能记录TPUPod技术的性能如何支持这些工作负载。扩大规模，降低成本。这本身并没有什么“邪恶”，但它更像是AI运行时执行的基准，而不是AI的潜在疯狂。鉴于这项技术目前在社会上面临的质疑，有必要权衡任何特定人工智能计划可能侵犯隐私、对弱势群体造成社会经济偏见以及从事其他有害做法的可能性。这些“邪恶的AI”指标将更多地应用于整个AIDevOps管道，而不是任何特定的可交付应用程序。对AI中“邪恶”的价值进行基准测试应该归结为以下列方式对相关的DevOps流程进行评分：数据敏感性：AI计划是否对AI应用程序中个人身份信息的访问、使用和创建敏感？该模型是否采用了一套控制措施来遵守法规？模型可变性：AI开发人员是否考虑过依赖特定AI算法或模型（例如面部识别）以实现其预期的良性用途（例如，对用户进行身份验证）的下游风险？登录）也可以在“双重使用”场景中被滥用。算法问责制：AIDevOps流程是否配备了不可变的审计日志，以确保对每个数据元素、模型变量、开发任务和用于构建、训练、部署和管理道德应用程序的操作流程的可见性？开发人员是否有适当的程序确保每个AIDevOps任务、中间工作产品和应用程序交付物都根据其与相关道德约束或目标的相关性以通俗易懂的语言进行解释？质量保证检查点：AIDevOps在进行进一步审查以验证可能破坏道德目标的隐藏漏洞（例如有偏见的二阶特征相关性）的过程中是否存在质量控制检查点。开发人员同理心：AI开发人员如何彻底地将主题专家、用户和利益相关者的道德相关反馈纳入围绕AI应用程序迭代开发的协作、测试和评估过程中？如果定期发布这些基准，AI社区将显着减少该技术对社会的潜在不利影响。未能对可能潜入AI的DevOps流程的“邪恶”数量进行基准测试可能会加剧以下趋势：监管过度：AI通常作为必要的邪恶进入公共政策讨论。以这种方式处理这个问题往往会增加政府颁布严厉法规的可能性，这些法规可能会影响许多其他有前途的“两用”人工智能计划。拥有清晰的AI实践清单或记分卡可能正是监管机构需要知道的推荐或禁止的内容。如果没有这样的基线框架，纳税人可能不得不从社会角度承担大幅减少人工智能应用的负担和成本，而行业认证计划等替代方案可能是最有效的人工智能风险缓解机制。企业变得虚伪：许多公司已经创建了“人工智能道德”委员会，为开发人员和其他业务职能部门提供高级指导。AI开发人员忽视此类指导的情况并不少见，尤其是当AI是企业在营销、客户服务、销售和其他数字业务流程中展示成果的秘诀时。这种情况可能会影响致力于减轻人工智能负面影响的公司的诚意。拥有AI道德优化基线可能正是公司在其AI开发实践中建立有效道德护栏所需要的。沮丧的员工：如果一些有才华的开发人员认为人工智能会导致社会和道德下降，他们可能不愿意参与人工智能项目。如果一家企业有AI异议文化，它可能会削弱其维持卓越中心和探索该技术创新应用的能力。将AI实践记分卡与广泛接受的企业公民计划相结合，可能有助于减轻此类担忧，从而鼓励新一代开发人员贡献自己最好的作品，而不会觉得自己在为邪恶的目标服务。妖魔化人工智能的危险与将技术用于邪恶目的的危险一样真实。如果没有这样的“良好人工智能”基准，企业可能无法从这套颠覆性的工具、平台和方法中获得最大价值。如果毫无根据的怀疑主义阻止整个社会利用人工智能的前景，我们都会变得更穷。如果毫无根据的怀疑阻止社会利用人工智能的前景，人们的工作和生活将受到不利影响。
