据外媒报道，经过几十年的发展，人工智能已经从科幻小说中的概念转变为当今科技发展的主流。
苹果的语音控制系统Siri、亚马逊的智能助手Alexa、IBM的Watson超级计算机、谷歌大脑等等，能够理解世界并给出高效反馈的智能机器似乎指日可待。
强大的互联网接入和计算机算法使机器在理解人类语音和视频信息方面取得了长足的进步，正在逐步走向真正的人工智能。
AI（人工智能），能够实现自动响应的人工智能产品离我们还远吗？如何让它们不断更新和升级，但仍处于人的控制范围内？这个问题给人们带来普遍的担忧和焦虑。
“我认为人工智能的发展最终将导致人类的灭绝，”物理学家史蒂芬·霍金在接受BBC采访时给出了这一观点。
特斯拉创始人埃隆·马斯克称人工智能是“对人类最大的潜在威胁”。
微软前总裁比尔·盖茨也表达了类似的担忧。
有多少担心是值得的？问题有多紧急？我们聚集了一批产业、科研、政策决策方面的专家，对人工智能的发展风险进行评估。
参与讨论的包括Skype创始人之一、人类未来发展潜在风险研究所智库成员Jaan Tallinn和IBM沃森超级计算机研究所计算机认知研究专家Guruduth S。
巴纳瓦尔是帕多瓦大学计算机科学教授，毕业于哈佛大学拉德克利夫高等研究院，弗朗西斯卡·罗斯是聚集了最多人工智能研究人员的国际人工智能研究协会主席。
以下是专家言论的编辑摘录。
到底有什么危险呢？记者：人工智能会给人类带来哪些威胁？ Banavar：受科幻小说和电影的影响，人工智能带来的威胁主要是人与机器之间的冲突。
这种观点其实是错误的。
在某些领域，人工智能可以比人类更好地解决问题，例如筛选大数据。
然而，在某些人类擅长的领域，机器表现却很差。
比如常识推理、提出伟大的问题以及“跳出框框”思考。
人与机器的结合是我们研究计算机认知能力的基础，是解决各领域复杂问题的革命性思路。
基于人工智能的系统在很多方面方便了我们的生活：自动股票交易系统、自动飞行控制系统、工业装配机器人、错误检测和搜索引擎。
。
。
在过去的5-10年里，计算机算法和先进的计算机架构使我们能够开发出许多新的应用程序。
然而，需要认识到计算机算法已经被运用到了极端。
要取得更大的进展，需要引入更复杂的符号系统——这是一项艰巨的任务。
今天，我们的神经科学和认知科学研究仅仅触及了人类智力研究的表面。
我个人的观点是，能够达到人类水平、实现一般感知和推测的人工智能机器只是一个娱乐话题。
塔林：今天的人工智能不太可能对人类构成威胁。
如果我们要讨论人工智能的长期影响（即人工智能何时能够比人类更好地完成策略、科学和人工智能研究），就不得不涉及控制超级智能的问题。
记者：超智能控制的问题是什么？塔林：当今最先进的机器人还具有“关机按钮”，可以让人类实现完全控制。
不过，“关闭按钮”起作用的前提是位于机器人工作区域之外。
例如，下棋计算机的领域仅限于与人类下棋，并且它不知道其人类对手可以拔掉其电源并终止游戏。
然而，超级智能机器，有意或无意地被编程为完全理解周围的世界并预测某人激活“关闭按钮”的后果，这对于人类来说是很难控制的。
记者：这个问题有多严重？塔林：目前这只是理论上的推测。
但重要的是要谨慎认识到超级智能机器可能仅受物理定律和人们为早期智能机器人设定的编程控制。
早期的程序是根据我们非常有限的物理学知识设计的。
想象一下，如果我们面对一个智能机器人，而我们给出的指令是“为人类创造更美好的未来”，我们最好非常确定它会如何反应。
罗西：在很多具体领域，人工智能已经超越了人类的表现，包括一些涉及精确判断的领域。
目前，人工智能还没有威胁到人类，但人类已经受到机器判断的影响，比如在线自动交易系统、健康检查系统以及即将普及的自动驾驶汽车和无人武器等。
我们需要清楚地认识和分析人工智能在特定领域的潜在威胁，不仅要让它们发挥作用，还要确保它们能够安全、友好、符合人类价值观地运行。
这不是一个容易的话题，因为即使是人类也无法按照他们大多数时候为自己设定的原则行事。
对日常生活的影响 记者：人工智能在特定领域会给人类带来哪些威胁？罗西：例如，在自动交易系统中，机器给出的错误决定会给很多人带来经济损失。
无人驾驶汽车的错误也可能对人类生命构成威胁。
记者：我们应该如何看待这些风险？ BANAVAR：任何风险都有两个方面：做事的风险和不做事的风险。
我们基于不完整的信息和不专业做出了许多错误的决定，导致数千人死亡，数百万的损失，以及医疗保健等核心领域进展??缓慢。
基于IBM Watson超级计算机在多个领域的应用经验，我相信人工智能可以有效降低特定领域的风险。
不过，我对综合人工智能领域持谨慎态度。
我认为我们一直低估了这个问题的复杂性。
还有很多我们还不知道的事情。
记者：IBM采取了哪些措施来降低人工智能技术的风险？ BANAVAR：IBM的计算机认知系统与其他现代计算机系统一样，是基于云计算结构、算法和大量数据构建的。
为了防止违规，可以记录、跟踪和审计这些系统的操作。
这些认知系统不能自主运行，因此它们的指令、数据和结构要求我们采取一定的保护措施来防止人为的外部攻击。
任何人访问和更新系统都是可控的。
我们主要通过复杂的加密和数字签名来保护数据，通过漏洞扫描等技术手段保护计算代码，通过隔离等手段保护计算机结构。
这些支持人工智能安全运行的政策是在深入分析风险的基础上设计的。
这些政策需要获得美国安全交易委员会 (SEC)、美国食品药品监督管理局 (FDA) 和美国国家标准与技术研究院 (NIST) 的批准，这些机构负责制定各自领域的安全标准。
审查。
记者：Watson超级计算机正在帮助医生解决医疗问题。
其自身过错造成的医疗损害能否承担责任？ BANAVAR：Watson 超级计算机不会给出诊断。
它通过处理大量的患者医疗数据，为医生提供各种处理建议。
医生会考虑沃森的建议并综合分析其他因素以做出最终的治疗判断。
罗西：医生也经常犯错误，主要是因为他们没有掌握有关疾病的所有信息。
像 Watson 这样的系统可以帮助他们减少错误。
塔林：有一项研究将医生与自动化医疗诊断系统进行了比较。
结论是大多数医生都输给了电脑。
BANAVAR：我认为 Watson 提供更完整的医疗建议将非常有益。
我很想有机会让它诊断我。
对人类的影响 记者：有专家认为，人工智能抢走了人类的一些工作。
你同意？塔林：技术进步肯定会消除一些工作岗位。
一位 Uber 司机曾经兴奋地告诉我他是如何在平板电脑中输入目的地并获得行程的。
我告诉他，几年后，也许这些小科技产品就能把我送到目的地。
司机高兴地说，他只要坐在驾驶座上就可以更轻松地享受旅程。
坐在后排的我忍不住摇头。
我相信，无人驾驶汽车给人类带来的最大影响不是便利，而是工作岗位的消失。
从长远来看，我们还应该思考我们的社会除了工作之外还能围绕什么运转。
BANAVAR：纵观历史，我们构建了工具来帮助我们做我们无法做的事情。
每一代工具都促使我们思考自然和我们的工作方式。
生产力提高，工作被重新定义，新的职业被创造，有些职业消失。
计算机认知系统拓展了人类思维，具有更大的替代潜力。
问题的关键在于，应该建立一个机构来快速培训专业人员，让他们能够开发计算机认知系统作为助手，协助完成各自的任务。
这些技能可以增强人类的专业知识，并为“专家”设立新的标准。
记者：我们应该如何为人工智能社会做好准备？塔林：关于何时、甚至是否能够实现全面的人工智能，存在很多不确定性。
（尽管作为一名物理学家，我认为一切皆有可能！）但不确定性并不是不考虑控制的借口。
如何控制它的针对性研究刚刚开始，可能需要几十年才能产生结果。
罗西：我相信我们完全可以将人工智能应用于特定领域对人类的负面影响控制在最小程度。
我们需要为机器设定人类价值观，设定工作原则和优先级，比如与人类一致的冲突解决能力。
一旦特定领域的人工智能设计工作完成，我们就可以设计出不伤害人类的综合性人工智能。
BANAVAR：20世纪90年代初，当计算机进入医疗领域时，许多国家的社会活动家发起了保护患者权利的运动。
十年后，《医疗信息保密协议》诞生。
同样，特定领域的人工智能也面临着一个严峻的问题：哪些权利不能侵犯，侵权后又应承担哪些责任？罗西：目前，普通汽车的销售必须通过一系列安全测试。
未来，无人驾驶汽车的销售也将需要新的安全测试标准。
需要仔细检查的不仅仅是汽车的操作程序，还有基于人类伦理和道德原则设计的紧急情况判断程序。
BANAVAR：在无人驾驶汽车的世界里，司机、乘客和行人有哪些权利？消费者可以向投资顾问和智能助手隐瞒所有信息吗？谁负责提供投资建议？是投资顾问、投资服务组织者、智能助理设计师还是数据托管者？未来，拥有智能机器的人类社会仍然要面对和解决很多问题。