近期，Facebook方面表示，因其意识到机器人程序（bot）开始自行开发出人类无法理解的简略语言，为了防止机器人“失控”，公司将被迫停掉了其中一个人工智能实验项目。

但值得一提的是，今年5月份，Facebook公司刚刚启动了新平台ParlAI，该平台的目的就是能够实现AI研究人员与机器人、单个机器人之间以及多个机器人之间的交流，而如今却因为机器人之间实现“交流”而被迫叫停某些项目。

Facebook这两次大举措看似“自相矛盾”，却也表现出时下人们对于人工智能领域的态度，既希望其进一步发展，却也为人工智能的“失控”而担忧。

一、人工智能失控？

1、失控事件分析

上个月，Facebook 人工智能研究所（FAIR）使用机器学习方法，对两个聊天机器人进行对话策略迭代升级，结果发现它们竟自行发展出了人类无法理解的独特语言。研究者不得不对其进行了人工干预。

这一研究一经发布，迅速在网络和媒体上引起了广泛的关注和传播。但是也有人指出，这不就是一堆乱码吗？现在Facebook 的研究院已经停止了这一项目的研究，原因是“担心可能会对这些AI失去控制”。

这不是第一次发现 AI 偏离训练所用的英文，转向发展出新的更加有效的语言。虽然在人类看来，这些沟通更像是胡言乱语。但是，从AI 智能体的角度上看，他们实际上是有词义意义的。

正如Fast Co. Design报道，研究员注意到，系统中的聊天机器人（bots）完全放弃了用英语进行交流，但是，升级版的系统确实能够与其他的智能体进行交流。他们一起可以决定如何继续进行任何工作。一开始，他们所使用的词汇似乎是无法理解的，但是，通过长期的观察，研究者发现，这些词汇其实代表了智能体面临的任务。

例如，在一次交流中，两个进行对话的机器人——Bob 和 Alice，使用自己创造的语言来完成了交流。Bob 开始说：“I can can I I everything else”。Alice回答，“Balls have zero to me to me to me to me to me to me to me to me to。” 接下来的对话都是类似这样的句子。

虽然这些词语组合第一眼看上去没什么实际意义，但是，研究者认为，他们揭示了两个机器人是如何工作的，每一个词汇他们需要进行多少次处理。Bob的重复说明了他如何使用这一词汇，来想Alice传递更多的信息。如果用这种方法来进行阐述，那么它所说的那就好就有点像人们所说的“I’ll have three and you have everything else”。

看起来，似乎智能体们发现，英语的句子对于特定场景的理解并不是必需的。当下，以深度学习为主的AI 遵循的是“回馈”（reward）原则，智能体通过依照一系统特定的行为行动，会获得相应的利益（benefit）。但是，在这一场景中，继续使用英语并没能带来相应的回馈，所以智能体决定适应更加高效的方法进行沟通。

Facebook AI Research (FAIR)的研究员对FastCo. Designs说，“英语语言中，并没有所谓的回馈能让智能体来遵从。”FastCo. Designs报道称：“智能体会偏离自己人类能理解的语言，创造出自己的‘代码语言’。比如，如果提到‘the’ 5次，那么就是我想要复制这一术语5次。这和人类创造的缩写其实也没有多大的差别。”

其他的AI开发者也注意到了智能体会使用“缩写”来简化沟通。在Open AI，研究者成功地让AI机器人学会自己创造的语言。如果AI继续创建自己的语言，开发人员可能会在创建和采用新的神经网络时遇到问题，但是不清楚这是否会让机器实际上推翻其研发者。

然而，这些新的发展使得AI能够更有效地工作，并且如果他们在工作中学习新的AI创建的“缩写”，并保持最新的这种新的沟通方式，可以使研究团队长期受益。

AI会变成新物种吗？AI会毁灭人类吗？科幻电影里的场景真的会发生吗？其官方解释说，关闭的原因并非“失控”，而是无意义，“希望 AI 与人沟通，而不是相互沟通。”“两个机器人为实验性质，且并没有发明新的语言，因为他们还是在用‘i’、‘balls’、‘the’等英文单词沟通，只是没有了英语语法的这个激励项，创造了一种新的表达方式而已。”。简单来说，它们只是英语不太好。

二、关于AI威胁论的讨论

1、AI威胁人类生存

今日，华润董事长傅育宁称：人工智能已经威胁到了业务存亡。

华润有好几块业务都属于制造领域，有超过10万名以上的员工直接从事生产制造岗位。华润雪花在全国有98家生产工厂，水泥的生产基地和混凝土搅拌站加起来共有六七十家，医药在国内拥有40个生产基地、288条生产线，微电子、化工、纺织、怡宝、五丰等企业均有十几家生产工厂或基地。

当我们建设新工厂还在考虑人工成本的时候，国外的可口可乐、国内的海尔已经开始运营无人化的智能工厂；当我们的物流中心还在使用皮带传送分拣时，亚马逊早已开始使用模块化的机器人传送了。智能生产、智能物流和智能工厂。看似离我们很遥远，实则已经威胁到我们一些业务板块的生死存亡。

而人工智能的长期批评者——特斯拉CEO马斯克，日前在推特上发文再度对人工智能的快速发展表示担忧，他警告称人工智能对人类的威胁比核武器更大。他认为，人工智能将对公众构成威胁，因此政府应该将其列入监管范围，如同汽车、飞机、药品和食品一样。“如果你不担心人工智能的安全性，那么现在你应该担心。它比核武器危险得多，”马斯克在推特上表示。

除了担任特斯拉CEO外，马斯克目前还带领着太空探索公司SpaceX打造商业太空旅行项目。太空探索公司SpaceX曾于2016年4月完成人类历史上首次在海上对火箭进行回收。2017年8月14日，SpaceX公司第一次为美国宇航局（NASA）把一台超级计算机送往国际空间站。2016年底，在彭博全球50大最具影响力人物排行榜单中，马斯克排第11名。外界评论认为，马斯克不仅完成了私人公司发射火箭，同时还造出了全世界最好的电动汽车，并打造出世界上最大的网络支付平台。据传，电影《钢铁侠》就是以马斯克的故事为蓝本进行创作。

马斯克对人工智能的担忧也获得了微软联合创始人比尔盖茨以及知名科学家霍金的支持。

霍金曾多次公开发表过对人工智能的担忧。比尔盖茨则表示，他同意马斯克和其他人的观点，并且不理解为什么有些对此并不感到担心。比尔盖茨认为，虽然目前AI（人工智能）还没有达到超级智能的水平，但是几十年后，人工智能将强大到足以引起担心的水平。因此，他对人工智能长期的发展感到担忧。

2、人工智能“威胁论”为时尚早

“现在说机器有智能是没有根据的。”北京大学教授、中国工程院院士高文注意到目前有些对话型的智能机器人，通过了图灵测试，但他认为它们还不具备人的智能，“因为人的智能绝不仅是自然语言的表达。”他展示了《清明上河图》的一部分来解释：“一图胜千言，这幅图上所传达的信息实在太多了。”

在此前举行的“2017第二届语言与智能高峰论坛”上，高文院士做了题为《图灵视觉测试》的报告，提出“图灵视觉测试”是对图灵测试的自然拓展。他举了一个例子，一幅照片上有长条桌，上面摆满香蕉，周边有人。人看到照片后会描述：一个人站在香蕉面前；而机器则描述：香蕉周边有一群人。为什么机器与人的描述有区别？这是因为人对周边事物的识别是很自然的，虽然机器可以通过训练识别猫狗以及人脸，但是让机器多任务、多物种视觉识别目前还做不到。

因此，从所看所知完成概念提取，从所看所说中完成语言的描述，在所看所知所说中建立联系，才能完成智能的表达。其中，语言的理解比语言处理更难。

“人工智能不与语言结合，是无法发展的。”高文院士做了一个比较，人类从小到大的学习是把视觉、听觉、语言自然地结合在一起的，而现在对机器的设计却不是这样，有的只是在做语言，做视觉的则只做图像和视频。所以，人工智能研究也要回归本源，让机器对几种能力进行结合学习，从而推进计算语言学发展。

人工智能概念的提出已经有60多年，近几年，智能硬件、智能家居、智能汽车、智能机器人众多应用的出现，让人工智能发展又迎来一个春天。但是人们看到，虽然AlphGo可以战胜人类围棋高手，可是今年推出的高考机器人却在数学考试中考不过状元，有老师给出评语称“AI语文没学好，读不懂题目”。

而诸如“天冷了，能穿多少穿多少；天热了，能穿多少穿多少”，“乒乓球队，谁都赢不了；足球队，谁都赢不了”，机器也都还不能理解。

对此，中国计算机学会（CCF）中文信息技术专委会秘书长赵东岩教授解释，AI的一个重要部分是认知智能，包括理解、运用语言的能力，掌握知识、运用知识的能力，以及在语言和知识基础上的推理能力。认知智能又主要集中体现在语言智能也就是自然语言处理上。也就是说，只有通过自然语言理解，才能实现智能与人类的无缝对接，实现真正意义上的人工智能，他认为“自然语言理解是人工智能这座高峰上的一颗明珠”的比喻是非常恰当的。

此外创新工场李开复博士对于当前AI的发展看法，也提出过5个方面的具体观点：

● AI只是工具，离超级智能还很远；基于我投入AI领域的科研、开发、投资相关工作37年的经验，“超级智能”、“灭绝人类”这类耸人听闻的说法，根本没有切实的工程基础。

● 智库、科学家应该讨论AI安全问题、AI对社会的改变，但是科技圈的意见领袖不应该在这时误导大众AI要控制人类，让人类灭亡，这确实是不负责的说法。大部分的人已经对AI所知有限，这会造成更为错误不实的群众恐慌。

● AI可以为人类创造大量财富，甚至逐渐解决人类温饱问题；我们每个人也将获得更多的时间和自由，来做我们爱做的事情。

● AI真实会带来的问题是人类的失业，失业后可能的抑郁和丧志问题，还有贫富不均问题，人类社会目前所习惯的职业结构确实会发生显著的改变。

● AI会带给我们100%确定性的巨大机会，随着改变也会产生些必然的问题。此时去用概率极低甚至是零可能性的“超级智能”，误导大众恐惧AI，甚至约束AI，反而不去拥抱机会、解决问题，是没有道理的。

3、AI存在更值得讨论的问题

近期人工智能专家吴恩达表示，人类有更迫在眉睫的问题需要解决。

在近日《哈佛商业评论》的一次会议上，Andrew Ng和观众分享，比起那些关于人工智能取代人的恐慌，我们更应该担心的是机器学习带来的工作机会的流失。

“作为一名身在人工智能领域的从业者，我开发和推出了很多款的人工智能产品，但没有发现一条人工智能在智力方面会超过人的可行之路。”Andrew Ng说。“我认为，反倒工作岗位流失会是个大问题，我希望我们能对这一问题的解决引起重视，而不是成天沉醉在那些在科幻作品中才可能出现的场景。”

Andrew Ng曾参与过包括谷歌大脑团队在内的多个知名人工智能项目。虽然Elon Musk和Stephen Hawking等科技大佬曾多次提出过人工智能将超过人类的担心，Ng则认为这种情况在不远的将来是不会出现的。

并不是说人工智能超过人是不可能的，只是眼下还有更其他更迫切的问题。

“我私下曾与许多学术界的人工智能专家和开发人工智能产品的产业界朋友们交流过，他们都觉得一款新的人工智能产品的出现在一家公司就可能消灭数以万计个工作岗位，那么在多家公司就会更多。” Ng说道，“但有趣的是，那些工作岗位可能会被人工智能所取代的人们，他们并不理解什么是人工智能，更别谈获得理解人工智能所需要的培训，因此他们还意识不到自己的工作将被人工智能所替代的危机。”

Andrew说，虽然科技和人工智能对于创造财富来说是件好事，但要在此之上创建一个公平的社会，人类还是任重而道远。因此，他大力呼吁社会要提供更多的教育机会，特别是对于工作岗位面临人工智能威胁的人群。

“我认为现在是要重建教育系统的时候了，或者至少要给现有的教育系统增加一些新的元素，使工作岗位被取代的人，有机会获得找到新工作所需要的培训。”

这并不意味着Andrew 希望人人都学会写代码，但他以前也确实表示过希望有越来越多的人可以自己写软件。他表示，未来的夫妻小作坊店最好都能对使用的技术进行个性化定制，来更好地满足自己的需求。

但Andrew也指出，解决人工智能危机工作岗位这一症结的良药并非是让人人都成为能实施人工智能项目的软件开发者。在他看来，一种解决方案是帮助这些人找到适合他们的工作。

“如果自动化导致焊接工作的消失，一些电焊工就能成为风力涡轮机的技师吗？当然不会。”提供一个普遍的基本收入，让每个人有一笔数额的资金来给自己充电，这是帮助解决缩小“科技贫富差距”的建议之一。Andrew也基本认同这个想法，但他说这样并不意味着要无条件的给人钱。

“我认为工作中的尊严感很重要，基本收入的某一方面其实是和工作的自我价值实现背道而驰的。”Andrew更希望的是建立一个基本的收入计划来支持人们的学习，从而帮助他们找到有意义的工作。

但这条道路也是曲折的。其中一个关键问题就是，有些人可能不想接受再培训了“一个经验丰富的电焊工老炮儿可能很难一时放下曾经的光环，重新去学习去转变一个新角色，这更多的会是情感上的挑战。”Andrew类比道，“这和我们平时遇到的问题是一样的，为了寻求更大的价值，曾经我是个搞Basic的程序员，现在还要再去学习Python。”

三、如何预防人工智能失控

在本月，OpenAI 的人工智能花了 10 分钟就打败了人类的 Dota 世界冠军。

在 OpenAI 位于旧金山的办公室里，研究人员 Dario Amodei 正在通过赛船冠军赛（Coast Runners）来训练人工智能。不过，这个人工智能好像有点失控了。

赛船冠军赛的游戏规则很简单，如果想赢，选手必须收集到最多的分数，然后跨过终点线。

但 Amodei 的人工智能玩着玩着有点过火了，它在不断地追求高分，非但毫无跨过终点线的意思，反倒为了要多转几个圈拿高分，它开始和其它赛船碰撞，或是在过程中自己撞墙爆炸了。

为了应对，Amodei 和 OpenAI 的同事 Paul Christiano 正在研发一套不仅可以自我学习，同时也愿意接受人工监控的算法。

（Amodei 在告知人工智能，怎样的操作模式才更好）

在赛船游戏的训练中， Amodei 和同事将不时通过按键来指出人工智能的不当之处，告知人工智能，不仅要赢分数，同时也要跨过终点线。他们认为，这种包含了人工干预成分的算法可以确保系统安全性。

而在 Google 旗下 DeepMind 的研究人员也同意 Amodei 和同事的想法。两个团队，分别代表了 OpenAI 和 DeepMind，最近罕有地合作发表了部分人工智能安全方面的研究论文。

除此以外，Google 旗下的 Google Brain，以及来自伯克利大学和斯坦福大学的研究团队，都设有该方向研究课题，从不同方面考虑人工智能安全问题。

除了这种在自我学习过程中“搞错重点”的潜在危险，另一个可预想的人工智能危险在于“为了完成任务，拒绝被开发者关机”。

一般在设计人工智能时，研发人员都会给它设定“目标”，就像赛艇游戏中的“得分”一样。一旦人工智能将获得“分数”为终极目标，它可能会产生一个方法论——想要获得更加多的分数，其中一个方法就是不关闭自己，这样就能无止境地获取分数了。

伯克利大学的研究人员 Dylan Hadfield-Menell 和团队最近发布了讨论这个问题的论文。他们认为，如果在设计算法的时候，让人工智能对目标保持一定不确定性，它们才有可能愿意保留自己的“关机键”。他们采用了数字方式来尝试实现这个设置，目前还处于理论阶段。

除了人工智能自我“失控”，研究人员还在考虑黑客对人工智能的干预影响。

现代计算机视觉基于深度神经网络（deep neural networks），它通过学习分析大批量数据来形成对模式的了解。也就是说，如果要让计算机学会什么是“狗”，那就让它分析大批量狗的图片，并从中寻找规律。

但 Google 的 Ian Goodfellow 则认为，这种模式可能会为黑客提供“蒙骗”人工智能的机会。Goodfellow 和其它研究人员曾展示，只要修改图片中的几个特定像素，他们就能让神经网络相信图片中的大象是一辆汽车。

如果这个神经网络是应用在安保镜头的话，这样就问题大了。

即便你用了数百万张标志了‘人’的照片来训练一个物件识别系统，你还是可以轻易拿出系统和人工识别 100% 不同意的图片。我们需要认清这种现象。

Goodfellow 说道。虽然这些研究大多仍处于理论阶段，但这群致力于将意外扼制于摇篮的研究人员坚信，越早开始考虑这个问题越好。DeepMind 人工智能安全方面的负责人 Shane Legg说道：虽然我们还不能确定，人工智能将以多块地速度发展。但我们的责任是尝试理解并猜测，这种技术将有可能以哪种方式被误用，并尝试找出不同的应对方式。

四、总结

其实，对于人工智能的看法，一直有两种不同观点。以物理学家霍金、特斯拉CEO马斯克为代表的“威胁论”，认为人工智能会对人类带来冲击，甚至会“驾驭”人类；但是包括扎克伯格在内的技术派科学家，则认为“威胁论”毫无根据，是杞人忧天。

在金准数据看来，其实AI已经在不知不觉中渗透到了我们生活的各个部分。手机芯片、人脸识别，等等。对于一项新兴技术，我们的确该拥有忧患意识，不能完全相信放纵人工智能，但这不该是阻碍我们发展的脚步，毕竟这是诸多科学家60多年奋斗的结果。我们应该考虑的是，如果要防止这种情况出现，我们需要做哪些准备、采取何种措施，迎难而上、排除障碍。想好AI带来方便的同时会对我们的生活造成什么重大的影响，又该如何去降低甚至消除这些问题。我们应当满怀信心，憧憬着人与人工智能的融合：几个人运作一个公司，每个人都能率领成千上万个机器人，这些机器人做不同且擅长的事情。机器和人将成为一个共同的“军队”，不断地攻克堡垒，推动人类向更好的方向发展。