翻译|朱宪忠策划|XuJiecheng与开发人员信任的其他软件开发工具不同，AI工具在训练、构建、托管和使用方面存在一些独特的风险。自2022年底ChatGPT发布以来，互联网上充斥着几乎同等比例的支持和怀疑。不管喜欢与否，AI正在进入您的开发组织。即使您不打算构建AI产品或利用AI工具为您编写代码，它仍然有可能被集成到用于构建、测试和运行源代码的工具和平台中。人工智能工具存在一些特定的风险，可能会危及自动化任务带来的生产力收益。这些风险主要源于AI的训练、构建、托管和使用方式，而且AI工具在许多方面与开发人员信任的其他工具不同。了解风险是风险管理的第一步。为了帮助大家了解AI工具的潜在风险，我们设计了一些AI工具的面试题。这些问题可以决定该工具能否被贵公司成功“入驻”。一般来说，所有的人工智能工具都有一定的共性。无论人工智能的类型或目的如何，在选择使用它之前都应该问以下问题：这个人工智能工具的基础设施在哪里？所有现代人工智能都不需要专用且昂贵的硬件来支持它。除非您打算购买一个新的数据中心；你的人工智能工具只能远程工作，需要远程访问和异地数据存储，这会带来一定的安全风险。当代码离开处理边界时，有什么保护措施可以防止IP丢失？从智能电视到智能汽车，一切都在向其制造商提供数据。一些企业使用这些数据来优化他们的软件，而另一些企业则将这些数据出售给广告商。因此，您必须准确了解AI工具将如何使用或处理源代码或它用于其主要任务的其他私人数据。你的输入能否用于模型的训练任务？人工智能模型的持续训练是模型拥有者和模型训练者非常关心的工作。例如，模型所有者往往不希望广告商过多地干预他们的模型训练，以达到免费广告的目的。结果有多准确？ChatGPT最致命的缺点是其结果的不准确性。它擅长制造谎言和真相；这被称为AI幻觉。了解AI可能出错的方式和场景有助于管理AI工具何时出错。此外，所有的人工智能公司和开发者都会有自己的一系列安全问题。这些新问题包括对AI训练模型的威胁，这些威胁可能会破坏其结果并泄露有关模型运行方式的专有信息，以及可能破坏模型生成结果质量的威胁。此外，AI模型必须通过API、Web访问、移动应用程序和其他需要安全构建的应用程序与传统世界交互。除了一般问题，开发人员在使用人工智能工具时还必须询问其他方面，例如使用人工智能安全扫描仪，以管理软件开发过程中引入的风险。AI工具适合这样的场景吗？了解人工智能不擅长什么是至关重要的。例如，如果一个任务可以细分为“根据学习到的规则做出决定”或者“写出符合学习到的规则的内容”；那么AI通常非常擅长此类任务。如果问题的变化超出了这个范围，AI可能表现不佳。如果人工智能工具出错，应该采取什么保护措施？永远不要在您的过程中引入单点故障，尤其是可能产生幻觉的故障。推荐的方法应该是依赖于与纵深防御相关的传统实践，或管理风险的方法——也就是说，如果系统的一层出现问题，下一层会发现它。需要如何监控审查工具的结果？其实这是一个老问题又被提出来了。传统的问题日志抓取方案通常分为两部分：第一是获取重要事件的数据；第二个是审计日志。在AI进一步成熟并且其缺陷被理解或减轻之前，人类仍将需要保持对循环的控制。如今，越来越多的开发者“雇佣”ChatGPT来编写源代码。初步报告表明，ChatGPT能够编写多种编程语言的源代码，并且精通所有常用语言。由于当前测试版中训练和模型的限制，它生成的代码并不总是完美的。它通常包含可以改变软件运行方式的业务逻辑缺陷、可以混合不同版本软件的语法错误以及其他看似人为的问题。粗略地说，ChatGPT只是初级程序员。那么，谁会是它的上位者呢？也就是说，ChatGPT也是初级开发者级别的。因此，在使用这个初级开发人员编写的代码时，必须考虑如何管理：谁来做它的上级，这样它编写的代码的整体效果才能得到保证？初级开发人员通常需要高级开发人员的帮助。每一行代码都必须进行测试，并且必须修复一些代码。然而，有报道称，这种校对过程比从头开始编写代码更耗时、更复杂。它是否将训练代码注入或重新混合到代码库中？一个更隐蔽的威胁是，有时像GitHubCopilot这样的人工智能机器人会生成源代码，完美地复制训练数据中的代码块。因此，需要使用反剽窃工具来确保管理许可风险。人工智能工具从哪里获取训练数据？人工智能模型的能力水平与其训练数据密切相关。如果用旧的或不正确的代码训练AI，那么它会产生旧的和不正确的结果。引擎托管在哪里？分析源代码的人工智能机器人需要将源代码集成到相应的处理设备中。应特别考虑数据离开公司控制后如何保护、使用和处置。无论如何，2022年12月发布的ChatGPT预示着软件开发的新时代。重要的是要密切关注此类工具的变化，不要被它们淹没。在采用这些新工具时请注意，变化越多，它们就越应该保持不变：预防安全事件比发现事故更好。原文链接：https://thenewstack.io/hiring-an-ai-tool-to-code-what-to-ask-at-the-interview/
