为什么有很多名人让人们警惕人工智能？

一些新闻：
霍金：人工智能会导致人类灭亡
比尔・盖茨：人类需要敬畏人工智能的崛起
马斯克称人工智能是人类生存最大威胁

这是因为人工智能要进入新阶段了？这些名人是不是可能比较先得到信息，所以向人们预警？
或者是每年都有很多人提出这个问题，只是今年报道的比较多？
有人说在人工智能的发展上存在一个奇点，越过这个奇点就能通过图灵测试。
如果人工智能已经越过了这个奇点，这个世界会发生怎样的质变？
超体和超验骇客都出现过类似越过奇点后，科技的突然爆发。
这又让我想起三体里面，宇宙丛林法则中，由于对对方的不了解，又担心对方文明的突然爆发，所以选择了摧毁。
如果人工智能突然越过奇点，瞬间产生了意识，可以迅速吸收人类的文明，发展出新的文明。
人类跟人工智能之间，会不会出现类似三体里面的博弈？
--------------------------------------------------------------------------------------------------------------------------------------------
感谢大家的回答。特别是看完@尚之森的回答有很大的启发。
--------------------------------------------------------------------------------------------------------------------------------------------
但是，我还有一个问题：

弱人工智能是不是只是模拟了人思维的一部分？并且这部分能力是足够应付图灵测试。

换句话说，图灵测试并不能测试完整的人的思维能力？它只能测试人思维的一部分。

或者说，只通过语言交流是不能够得到被测试物的完整信息？那么这是语言交流的缺陷？或者说人类语言在交流过程中会带来信息流失？

还有一个想法：
是否可以开发出强图灵测试：
比如有针对的出一系列问题，对人工智能作一些全方位的思维能力测试，最后得出它在各个方面的水平，比如在创新能力上，几乎为零，虽然它可以采用插科打诨的方法来避免正面回答，但是最终我们可以得到它在创新能力上的水平。

首先要明确一个观点，即绝大多数人都是对人工智能的发展是持鼓励与支持态度的，之所以他们提醒人们警惕人工智能，更多的是担心很多人对人工智能的能力没有敬畏之心，对其发展方向没有综合全盘的考虑，只是把人工智能的能力理解成技术的进步，而忽略了人工智能这种能力的社会要素。一方面过于追求表面上的成效，而忽略了人工智能对人类社会发展的影响；另一方面由于并不是所有的国家或个体都有能力或有主动意愿对人工智能持以积极的拥抱和学习态度，长此以往，一旦人工智能的发展突破到一个新的境界，就很容易产生人们常说的数字鸿沟或者说智能鸿沟，其结果是使得一个国家或一个阶层对另一个国家或另一个阶层产生“降维打击”式的竞争优势。
这种现象在前几轮工业革命的时代已经出现过数次，小到个人，大到国家，受到冲击的后果我想大家都已经看得很清楚了。
正因为如此，我们既不可神话人工智能，也不可淡化人工智能，更不可妖魔化人工智能。应该客观公正去理解人类试图掌握的这种新工具的本质特征和发展规律，充分发挥人类发明和利用工具改造自身现状的特质，来为社会的发展和人类的福祉作出贡献。由于人工智能这个新工具的能力太强大了，与过往人类发明与应用的工具不同之处在于，过往的工具代替的是人类的四肢和部份的感知与计算能力，主要取代的是人类的肌肉力；人工智能这个新工具试图取代的是人类的部份认知与决策能力，也就是脑力，不认真对待的话，其直接后果就是会产生智能时代的新型“文盲”个体、团体、甚至是国家。
人工智能技术的发展将会极大地提高人类与机器之间的沟通和连接效率不仅仅是提高人类的脑力能力更是由于这种人与机器连接性的提高而大大强化人类广义上的“四肢”能力。大家知道，人类作为一种碳基生命，其物理与化学结构是很脆弱的，如果借助人工智能使人类能够更有效的利用比人类的物理与化学结构强大与灵活的多的机械工具，那么对于不具备这种能力的人类，其生存压力的变化是可想而知的。
另外，说到警惕，很多人会误解为是提醒大家不要去做这件事，这种理解是危险的。正如古人所言：“知其雄，守其雌”。与其说因为担心某种能力而不去拥有某种能力，倒不如主动理解并拥有这种能新的能力，但同时在哲学与道德层面去把控这种能力的应用。因为现实的情况是，你无法把控别人的行为。那么比较积极主动的方法或许是：你也去拥有这种能力，然后大家在一起协商到底如何更好的使用这种能力。如果你连对新生事物的理解和使用能力都没有，那有什么资格去对这种新生事物进行评判呢？
明确的这个观点，我们可能就能好好的谈一下目前人工智能的状况了。
其实很多名人对于人工智能的警告，很大程度是基于媒体对于人工智能这种能力的神话而产生的担忧。正是因为人工智能将会很强大，注意是个“将会”，还不是现在，目前的这种神话，反而会对人工智能的发展造成不利的影响。那么人工智能这种能力到底是个什么呢？
过去这几年，新技术的词汇层出不穷，令人目不暇接。在全球范围内由于技术的进步引发的新话题也比比皆是，人们好不容易形成的一些对技术的理解，马上就被新的理念所突破。因此越来越多的公司和人们发现，人类其实是开始进入「无人区」，没有一个大思想家、大哲学家或大科学家能够告诉我们未来会怎么样，每个人都在探索。所以人们产生了很多争论，关于人工智能的争论，关于机器智能的争论，关于机器人的争论，关于技术和人类关系的争论等等。
微软CEO萨提亚曾说过，未来没有人引导我们，那么我们可以以史为鉴，看看历史上发生过什么。
最有代表性的就是第一次工业革命到第二次工业革命之间，由蒸汽时代进入电气化时代。「我把这个阶段总结为四种态度和四种结局。当时有很多有影响力的全球性的公司，他们用蒸汽力量代替人的四肢。但当电气出现的时候，绝大多数公司态度是看不起电，因为开始的阶段电的效率并不够高。第一类公司的想法是电力不行，效率低，没有未来，蒸汽力量足够了，一百年之后他们被淘汰了。」
第二类公司放下一些包袱，认为电是新生生物，也有潜在发展的可能性，但是仍然坚信蒸汽机的力量，坚信只要对蒸汽机进行改良一样可以保持竞争力，这些公司也被淘汰掉了。
最可惜是第三类公司，他们已经放下旧的生产力，开始拥抱新的生产力和形成新的生产关系，但是思维方式没有改变。他们认为自己全面拥抱电气化时代，已经产生比蒸汽机时代超高的效率，更低的成本，但是他们还在跟蒸汽机相比，思维方式还是有蒸汽力与电力的区别，这些公司最终也被淘汰掉了。萨提亚在会上提到，我们做了一些粗略的分析，只有不到5%的公司在那个时代完成了转型和飞跃，真正进入了电气化时代。
当时大部分企业对于电气化的观念只是能点多少盏灯，或者生产线能够提高多少效率。只有5%的公司选择彻底放下包袱，忘记什么是电气，什么是蒸汽，而是把它们都当成是工具。这些公司要的就是进入新的时代。这代表更高的效率，更低的成本和更优秀的用户体验和产品品质。
我经常举一个例子，假如说现在我去朋友家里做客，如果朋友跟我说：“你瞧，我们家可先进了，是个电气化家庭。你看我家里这些墙上的插座，能够随时提供电力，你只要把一个插头往上一插，你的灯就可以被点亮。”相信大家会觉着这种思维方式很可笑。但是我们仔细想一想，当我们口口声声言必谈互联网、物联网、人工智能、5G的名词的时候，恰恰是我们还不具备这种能力的时候，跟电气化的初始人们会以家里有电来炫耀的现象是一样。而真正进入电气化时代的标志，是没有人去说“电”这个词，而是专注于“电”能够用来做什么，是开始考虑怎样做更好的电视机、电冰箱、电动汽车。当然我们并不是说不要去专注于当下的这些技术名词，只是要理解到，当我们还在满足于这些名词表象，并以此为骄傲的时侯，其实说明我们离真正拥有这种能力还相去甚远，更不要提具备使用这种能力的能力了。
因此从技术的发展来说，“学以致用”、“造福人类”是技术发展的永恒归宿。
以微软自身的转型经历而言，微软在跟客户的交流中也有思考，是否需要做思维的转变，才有可能真正理解这一轮技术变革是怎么回事。如果我们还抱着老的观念，抱着产生问题时候的观念，我们真能够理解这个伟大的时代将带给我们的辉煌未来吗？
我们是否需要先把我们认为的所有成见都放掉，然后再来看现在的技术到底怎么回事？我们也知道深度学习只是机器学习、人工智能的一部分，我们要把深度学习的包袱也放下，扩展到我们进入的这个时代来思考。
理解时代特点，我们要了解深度学习，了解机器学习，进而了解人类学习特点，但是更重要是什么？我们要号准时代的脉搏，要知道在这个时代要采取什么样的态度和策略，才能够跟上时代的脚步。我们既不要成为时代的弃儿，也不希望成为烈士，我们最希望成为一个先行者。这个时代最大特征就是机器从代替人的四肢开始，已经于无声处开始代替人的大脑，甚至会慢慢代替所有能够出现模型的人类能力。明白这一点我们才可以理解所处的时代。
面对深度学习和人工智能的发展，一种人选择放弃自己，一种人会产生绝对的抗拒心理，不去主动拥抱这种能力，这都是有问题的。因为这种能力确实很强大，你不去拥抱的话，有可能被去拥抱这种能力的人类所淘汰掉了，被他们产生降维打击的能力了，这个其实很危险的。
与其说是机器或者人工智能，或者机器智能会代替人，倒不如说掌握了机器智能人类变成一种超人类，他们会把不具备这种能力的人类所代替掉，或者所降维打击掉。《深度学习》的作者特伦斯的良苦用心是希望我们做一个合格的地球人。为什么不是说作为一个美国人或者中国人？因为地球上的人类都面临这样的挑战，都面临我们如何跟机器智能相处，如何提高我们能力，才能使我们具备更高的能力来应变这个时代的挑战。人工智能带来的这种降维打击还是很强大的，如果我们不认真的应对，去努力学习，并且去积极拥抱这种能力，有可能就真的被降维打击了。
如何理解人工智能？如何入门深度学习？我认为有以下几点：
首先，一定要透过现象看本质，充分理解到这一轮人工智能的进步是以算力和数据的飞速发展作为基础的，其理论在几十年前就已成型。理解到这一点之后首先可以去除神秘化，认识到它的基础与数学、物理、化学、神经科学等密不可分，那么对于想学习入门的朋友们来说与其说一味的紧追人工智能或深度学习的术语，倒不如先从最基础的数学着手，比如用数学的方法实现一下最基本的单层神经网络，比如不用库函数去实现一下Tensor，也就是张量的运算。这时你就会发现，你在读书时代认为很枯燥的标量、向量、矩阵、微积分等等数学理论，会在实际应用中产生出多么有趣而强大的结果。
其次，既然是说“深度学习”，我们就先要理解什么是学习？为什么我们的先哲在两千年前就提出“学而时习之”？学习的能力跟大脑的运作是什么关系？人类所具备的“眼耳鼻舌身”在学习过程中产生的作用？学习过程中神经元的变化和发展？学习的各种理论，诸如行为主义、认知主义、建构主义等等。这些貌似跟人工智能无关的理论，其实才是形成机器学习理论的源动力。因此，深度学习的发展不仅仅要靠数学的进步，不仅仅要靠计算机科学的进步，还要对人类自己的神经、脑神经、传输神经、感知神经的理解，理解人类自己学习的过程和方式，但又不囿于人类的学习方式，能够充分发挥机器的特点，或者形象的比喻为发挥“硅基”学习的特点，可能能够对人工智能的发展探索出超越前人的道路。
如果我们去学了「学会如何学习」的课程就会发现，人类学习的范式也是在不断进步中。这种进步一方面会影响人类自身的学习方法，同时也会对机器学习的发展方向产生影响，而且这两种学习方法也可以互相借鉴。这就谈到另外一个话题：“学以致用”。
学习的方法有一个分支，叫做 Problem-Based Learning，就是以问题为导向的学习，以实际解决问题方案的学习。未来是终身学习的时代，不存在大学毕业之后就不学习了。如何终身学习？一定要带着问题去学，这样学得越来越深入，学得越来越有用。人工智能也是一样的，它是一种学习的过程。学习不能为了学而学，一定是问题为导向的。所以如果你去问有实际工程经验的人工智能专家，他们大都会在谈及算法之前问两个基本问题：第一、你要解决什么问题。第二、你有没有与这个问题相应的可供学习的数据。从这种思维方式上，相信大家就能够更好的理解实现人工智能，或更精确地讲实现这一轮的以机器学习或以深度学习为代表的人工智能的前提要素。
在具体实施过程中，要真正产生深度学习能力，我们需要有数据，需要有人才，还要有算法和算力。像微软这样专业公司可能会提供更强大的算法和算力，更多的公司需要在人才培养，数据收集上面下很大功夫，这样才能产生互动的促进作用。数据、人才、算法、算力这四者缺一不可。每一方面在未来都巨大的商机，正是因为我们即将进入智能社会，商机恰恰不是只在智能本身，而是各个方面。
「人们大都倾向于高估他在一年内所能完成的事情，但又容易低估他们坚持十年后能够取得的成就。」大家一定要明白，第一没有专家，第二没有起跑线，第三每天都在重新更新有新知识新理念出现，我们先不要放弃自己，同时把握最基本的对自己的自信和信念，认真学习。
因此，人工智能本身并不可怕，也不会威胁到我们，但是，人工智能是未来每个人生存于时代的基本知识，而深度学习作为它的根基，每个人也应该懂一些，如果你想要入门，想要对不确定的未来有所把握，可以来听听我的 Live，时间是 5 月 9 日晚上 8 点，点击这里可以参与收听https://www.zhihu.com/lives/1096786265575346176

九寨沟地震发生18分钟后，中国地震台网的机器，写了篇新闻稿，写作用时25秒。

稿件用词准确，行文流畅，且地形天气面面俱到，即便专业记者临阵受命，成品也不过如此。

再考虑到25秒写作时间，人类完败。

几年前，机器写作概念刚出现，朋友圈一片调侃。调侃中难掩骄傲：机器怎么能写新闻？

而今，当读到科技、财经或体育类简讯时，我们已很难分辨，报道背后的作者，到底是不是人类。

在今日头条上，一个名叫小明的机器人去年上线。截至今年5月，它已完成5139篇体育类报道，总阅读超1800万，并收获过单篇十万加。

在每篇开头，小明会很老实地写上“机器人写作”字样。如果删掉这句话，它可以完美掩饰AI血统。

当然，小明还不会花式调侃国足，目前仅处于采集数据，填写模板阶段。

然而，就如其他许多行业中，正在成长的人工智能一样，它们一旦出现于赛道，人类终将难以望其项背。

人工智能在混沌中，慢慢睁开双眼，它模仿我们写作，模仿我们说话，并把感官触角，蔓延至更冷门领域。

去年10月，西甲赛场，皇马在主场被意外逼平。比赛结束时，嘘声四起，愤怒的C罗嘟囔着回应，这一幕被摄像机拍下。

全世界都在猜他说了什么。最后，唇语专家解密，C罗在说：“Qué poca calma!”，大意为“能不能安静点！”

然而，这极可能是唇语专家最后的高光时刻。他们的职业突然濒危。

去年春天，开发出阿尔法狗的谷歌DeepMind，开始训练人工智能解读唇语。他们给机器观看了5000小时BBC新闻，然后找来人类专家对决。

测试结果，人类专家完全正确率为12.4%，而AI的完全正确率为46.8%，超过人类3倍，这仅是初步学习的结果。

在中国，相关公司也进行了类似开发。他们给机器看了一万小时新闻联播。因为汉字一字一音等便利，中文读唇更为简单，机器识别准确率已超70%。

这意味着，嘴唇轻动，人工智能便知心意的日子，很快就会到来。事实上，人工智能读唇，在军事情报、公共安全等领域有着广阔应用。

比如，借助已经遍布中国城市的天网系统，人工智能读唇，或将提供更多破案线索。

你说的每一句话，不会消散在时空，而是成为可以回溯的痕迹。

在这样严肃的功用之外，读唇还有更多妙用。

在业界，为影音自动生成字幕的难点在于，AI很难将人声和背景音剥离。但配合上AI读唇后，准确率将大为提高。

我们携带翻译APP行走异国，浏览翻译软件处理的网页，观看自动生成字幕的电影，语言的界限越来越模糊。

远古，神灵为了阻止人类窥伺神国，用语言分割族群，巴比伦塔就此荒颓。

而今，人工智能正在重建巴比伦塔，重建的速度，或许已快过神明。

<hr/>
钱塘江大潮时，有段视频网上走红。

视频中的人们，江边观潮，前一秒还在拍照嬉闹，下一秒就遇浊浪如山，只得尖叫逃跑。

这和我们将要面临的人工智能浪潮何其相似。我们极有可能低估了新时代的力量，以及新时代到来的速度。

过去，AI封存在科幻电影中的未来。阿尔法狗亮相后，AI等候在“不久的将来”。直到生活中的AI痕迹越来越多，我们才明白AI已在“明天”，甚至“今天”。

我们只知大势将至，却不知未来已来。

演唱会开场之际，万人体育馆低语喧嚣；郭德纲尚未出场，小茶馆内杯盘作响；炎热的夏夜，乌云蓄势了整个黄昏。人人皆等雨来，只有少数人，看到云中缭绕的电光。

我们正处于一个躁动的调试时刻，人工智能正在调试自己的神魂和硬件，以待全面登场。

在谷歌、在亚马逊、在阿里和百度、在各领域大大小小公司内，无数工程师正在从不同维度，完善人工智能的神魂。

他们的做法，其实和传说中苗疆养蛊相似。

养蛊人寻多种毒虫，投入陶罐，择日深埋土下，最后罐中胜者成圣，以血肉定期供养。

对AI而言，它所需打败的对手，便是各类训练用AI，而它所放养的陶罐，则是整个互联网。

AI游走在巨大陶罐内，观察人类，并日夜不息地迭代进化。

对于那些拥有海量用户的互联网巨头而言，我们正充当着他们训练AI的人肉样本。

医疗AI正在识别龙飞凤舞的病历报告，驾驶AI正在模拟复杂多变的突发状况。

写作AI早已看完了金庸全集，并已经能流利写出郭靖和杨康的打斗。当然，它尚需学习人类的文学喜好，明白哪类句子在感觉上更好。

牛津的学者，给出AI神魂健全时限：十年之内，AI将变得足够聪明，并消灭40%以上的职业。

如果说神魂健全的时间线尚显模糊，那么从硬件上判断，AI全面降临的速度可能更快。

未来学家Kurzweil认为，当我们用1000美元购买的电脑产品，能达到人脑的计算速度时，人工智能时代将全面到来。

1985年时，1000美元能买到人脑计算速度的万亿分之一，1995年变成了十亿分之一，2005年是百万分之一，而2015年已经是千分之一了。

按此速度，2025年，个人电脑便可和人脑运算速度匹敌。

持类似观点的还有软银的孙正义。

孙正义认为，人脑中有300亿个神经元，当芯片的晶体管数量超过300亿时，新时代即将到来。

虽然摩尔定律已垂垂老矣，但芯片上的晶体管数量仍在增加。

孙正义说，20年前，他判断超越之年为2018年，几年前，他又重新估算了一下，依旧是2018年。

为此，软银成立了一个规模达到1000亿美元的软银愿景基金，规模超过全球所有风险投资总和。此前，全球风投投资总和为650亿美元。

在7月29日软银世界大会上，孙正义说，“我非常激动，真的感觉连睡觉都是在浪费时间。”

<hr/>
并非所有人都对未来满怀期待。

Facebook的项目经理马丁内斯，对人工智能主导的未来深度悲哀。

他认为，接下来30年内，一半的人类没有工作，大革命即将发生。

他为此辞职，带着猎枪，隐居在西雅图北部的森林。

他的一些硅谷同行们，则与之观点相反。这些高管热衷于健身和服用营养药物，以保证能活到超人工智能诞生之日。

在他们眼中，人工智能将带来永生。

毁灭和永生，几乎是人类对人工智能两大终极想象。即便这些太过遥远，仅从工具角度，人工智能依然有着双面性。

比如人工智能解读唇语，如果用在监控领域，那么我们或将迎来一个比《1984》更窒息的世界。

无论结局是忧是喜，我们都无力阻挡其发生。新时代的洪流已至，你我皆被裹挟其中。

我们能做的，只是在洪流中，尽量抓住一切带有想象和创造元素的稻草，尽量逃避被淹没的命运。

从今日起，尽量让自己的工作更多创造性内容，尽量掌握一门以想象力为核心的技能，尽量观察信息的风口，并不断迭代自己的认知储备。

旧职业的消亡，只是开始讯号，在新时代的巨震中，每个人都将被重新判断价值。

九寨沟地震时，风景区正上演汶川大地震情景剧。大地震颤之际，许多游客尚以为是演出特效。巨变总在猝不及防时到来。

同样，我们已身在大时代地震的震中，当我们以为人工智能不过是流行演出时，巨变或许即将发生。

郭德纲在相声界是什么地位？
有趣文章很多
欢迎移步微信公众号
“摩登中产”（ID:modernstory）

这里进入视频，对话 科大讯飞联合创始人胡郁博士为什么有很多名人让人们警惕人工智能？
因为从前的工业革命，是替代繁琐劳动的工种，现在的人工智能出现了“去专家化”的特征。这让专家们开始警惕了。
比如说围棋，围棋是一个在我国有 3850万爱好者的智力运动，在过去，专家们，也就是职业棋手们，是一群有着绝对话语权的人群，以我国活跃的职业棋手数据为例，大致有 480位左右的职业棋手。对应下来，接近于10万分之一的比例。
而这一轮ALphaGo 引领的围棋人工智能浪潮以后，职业棋手纷纷表示向阿老师学习，业余棋手也开始大量学习远比职业棋手更到位的全新招法，职业棋手对于招法的话语权消失了。
也就是说，人工智能发展到了开始令专家们感到警惕了。
那么是不是只有围棋是这样的呢，不是，以语音识别为例，曾经我国做语音识别，需要邀请不少的语言专家做特征归纳，而如今熟练使用神经网络的大学生就可以轻松超越语言学家的参与。
在大量的算力面前，过去总结经验、规律的低效非常明显。
就好像冷兵器与马克沁机枪的比较，甚至更大差距。
不知道大家还记不记得，从前还有电话接线员这种职业，以前的发展替代的都是这样的劳动力：


300年前机器逐渐开始替代梳理熟练工人，100年前越来越多的交通发展刷新了车夫可能的认知，40年前计算机开始替代人类推算的部分工作。到现在，很多重复性工作，甚至一部分创意性决策性工作，可能永远都不需要雇用一个人了。
【这句话是从哪里来的】
言归正传，我们正本清源。
比较广泛的开始说这个问题，是从霍金的一段视频开始，我截图放在这里：


霍金的说法是，成功创造人工智能，可以说是人类文明史上最大的事件。
大家注意一下这个比较级，是最大的事件，而这个警惕的点，是发展人工智能会成为少数人欺压多数人的新方法，霍金的原话是希望大家警惕这个问题。
当然，提醒警惕是好的，技术的发展是不可阻挡的就是了。
【如何理解人工智能】
说起人工智能崛起的威胁，我们常能听到，说到两个词：
1 强人工智能
2 弱人工智能
这两个词被使用的场景是：
强人工智能还远远没有实现，弱人工智能还仅仅是自动化而已。强人工智能指的是让机器有了人一样的智慧，重点是通才。弱人工智能则是专精某一个领域，比如说 AlphaGo，围棋很强，但是其他事情就需要人来帮他写代码、做调优，自己是没有意识的。

「人工智能」怎么定义其实一直是个难题。不过通过一张图至少可以知道处于哪个位置：



​

1.严格标准
我们说一个公认的标准，「图灵测试」：
如果一台机器能够与人展开对话（通过电传设备），并且会被人误以为它也是人，那么这台机器就具有智能。
讲真，如果对话不局限在声音，棋盘也可以的话，深蓝（deepblue）和更深的蓝（deeperblue）早就在二十年前实现了。卡斯帕罗夫当时有在和人下的「错觉」。
AlphaGo的时代更不必说，巨大规模的硬件集群，已经不是误以为是不是人的问题，而是带有了明显是凌驾人类的走子系统。这时候你误以为对面是人在下反而是贬低了。
在计算机科学刚萌芽的1956年夏， 美国达特茅斯学院召开了历时两个多月的会议，学者经过充分的总结和讨论，首次提出了“人工智能” （ArtificialIntelligence）这一术语。斯坦福大学人工智能实验室的教授尼尔斯·J·尼尔森提供了一个可供参考的定义： “人工智能致力于使机器智能化，智能化是衡量实体在特定环境中反应和判断能力的定量指标。”
人工智能致力于使机器智能化，智能化是衡量实体在特定环境中反应和判断能力的定量指标。
反应和判断能力，「听说读写」是反应，「意识」有关判断。
从前计算机语音识别还需要语言专家调试，现在语料库茫茫浩如烟海，全凭算法自己训练。
就像下面这段话说的：
如果你是主编，很遗憾，你是一个悲剧人物。 你能够为这个行业做的最大贡献，就是尽可能放弃自己的权力，削减自己的职能，鼓励每一个下属尝试没有主编的媒体形态，配合技术部门创造不需要主编的生产流程，直到让自己这个职位的市场价值归零。


与科大讯飞联合创始人胡郁博士共同对话人工智能未来十年

反对@谢熊猫君 的高票答案。
翻译得很辛苦，也确实提供了有趣的视角，
但应该注明这是作家写的，而不是科学家写的。
文章引用的都是畅销书，而不是peer reviewed论文。
这种貌似严谨的文章最容易造成误导。
以下批评针对原文，不针对翻译。
没有回答“为什么名人让我们警惕人工智能”，只是提醒大家，不一定要警惕人工智能。
---------------------------------------
文中引用主要来自作家、哲学家、企业家，比如：
“未来学家”Ray Kurzweil，
哲学家兼畅销作家Nick Bostrom，
畅销书作家James Barrat，作家Carl Shulman，
企业家Jeremy Howard。
虽然上面的部分人曾经做过技术，不过后来都跑去卖概念了。
引用这些人真的没问题吗？
美国是个极端爱好bullshit的国家，
工业界金融界文化界很多人吹牛逼是不打草稿的。
全篇那么长，居然全是脑补，没有严谨论据和专家观点，挺不容易的。
引用的参考文献几乎全是畅销书，点开全是amazon上的卖书链接。。
咳咳，作家生活不易啊。
--------------------------------------------
文中真正“专家”的言论只有两处：

2013年的时候，Bostrom做了个问卷调查，涵盖了数百位人工智能专家，问卷的内容是“你预测人类级别的强人工智能什么时候会实现”，并且让回答者给出一个乐观估计（强人工智能有10%的可能在这一年达成），正常估计（有50%的可能达成），和悲观估计（有90%可能达成）。

和

另外一个独立的调查，由作家James Barrat在Ben Goertzel的强人工智能年会上进行，他直接问了参与者认为强人工智能哪一年会实现，选项有2030年，2050年，2100年，和永远不会实现。

并且得出结论：

从以上答案，我们可以估计一个中位的专家认为强人工智能到超人工智能可能要花20年左右。所以，我们可以得出，现在全世界的人工智能专家中，一个中位的估计是我们会在2040年达成强人工智能，并在20年后的2060年达成超人工智能——也就是踩上了绊线。

OMG..
第一个Bostrom的调查，请问“数百个人工智能专家”都是谁啊？
包不包括业内大牛啊，比如MIT的Patrick Henry Winston，Stanford的Richard Fikes之类的。
或者说上面提到的作家哲学家都是“人工智能专家”？
第二个调查在“强人工智能年会”上做的，
知道啥叫幸存者偏差吗？都去参加“强人工智能年会”了当然对强人工智能是乐观的啊，
就好像去天主教堂调查宗教信仰，结论是90%人都信上帝一样可笑。
另外这个年会是个神马玩意啊，为啥我搞AI的朋友都没听过啊。
不会是这个会吧（
The Eighth Conference on Artificial General Intelligence），
恩恩，主席是Ben Goertzel，应该没跑了。
不过这个Ben Goertzel好像不是科学家啊，
任职于一个金融公司，建立了一个IT公司，写了几本畅销书。。
跟学术有关的职位有两个，
一个是奇点大学（
Singularity University）的advisor，专门研究人类什么时候会被计算机干掉的地方。。。好科幻啊。。。
另一个是Research Professor in the Fujian Key Lab for Brain-Like Intelligent Systems at Xiamen University。。。中国人民的好朋友啊。
我个人的观点，他的研究不能支撑他做出的预言，你们感受一下。
---------------------------------

强人工智能是有可能实现的，但是现在的技术离强人工智能的距离还非常远。
原文中第一个图很有意思，就是技术发展曲线。
全文的所有论据，都建立在“指数发展”这个假设上。
指数曲线在接近0的时候是类似线性的，
不光是指数，多项式函数、对数函数、甚至多重指数在小范围内也可以用线性拟合得很好。
而且不同的指数和在0附近都很接近，
但对“奇点”何时到来的估算可能误差千百年。

如果按照“指数发展”来算，而且乐观的估计指数的系数，
那你妹的什么技术都不是问题啊，人类分分钟占领全宇宙。
我更相信的是，科学发展是有爆发期和稳定期的。
一个技术突破会带来难以想象的繁荣，之后的科学发展都比之前的更快，
但不会天天都是技术突破。
比如，二十世纪上半页的物理学十分辉煌，相对论和量子力学的建立引发了一系列技术革命。但从那以后物理学一直很平稳。
杨振宁就说过他赶上了物理学的好时候，让他现在做学术，可能就不会选物理学了。
要是科幻作家站在1950年前后，用指数发展估计物理学的发展，
那到今天我们早就弄出大统一理论搞定核聚变发电了。
又比如人均寿命从先秦时的二十几岁发展到现在的80岁，如果用指数拟合，
那过几十年是不是要活几百岁了啊？
--------------------------------------
文中提到的可能支持人工智能指数发展的路线包括：抄袭人脑，进化算法，电脑自己解决。
我不知道这几条是不是对应类似machine learning, neural network, evolutionary algorithm, program synthesis之类的领域。
如果是的话，这几个领域我都有一点粗浅的了解。
欢迎大神批评补充。
比如machine learning和neural network, 核心都是回归和数据拟合，离智能化还很远。
大牛Andrew Ng的网课，
Coursera - Free Online Courses From Top Universities光靠这个实现强人工智能我是不信滴。
关于evolutionary algorithm，去年有一个大牛的talk，推荐大家看一下。
全篇都是技术讨论没有涉及“奇点”，大家可以自己判断现在的研究前沿离真正的强人工智能还有多远。从43分钟开始：
Dana Scott: VSL Opening & Christos Papadimitriou: VSL Keynote Talk "Computational Ideas and the Theory of Evolution" on Vimeo
program synthesis里，现在计算机能自己生成的程序还很弱智，
而且算法复杂度都是exponential time甚至doubly exponential time(比如)的。
用的方法本质上是先靠程序员输入一个程序模板和参数空间，
然后用各种方法遍历所有可能的程序，看看是不是满足要求。
这其实引出了一个很有意思的问题：
现在我们CPU的计算能力是指数增长的，
但按照今天的算法，许多真正有趣的问题都是需要“指数时间”，甚至多重指数时间才能解决的。
那么，我们实际解决新问题的速度一定是指数发展的吗？
让该领域内的专家来介绍现在的研究成果和面临的巨大问题，
比起作家自己泛泛而谈要好得多。
--------------------------
其他反对的观点其实也不少，
比如可以参考这篇文章
Hyping Artificial Intelligence, Yet Again等有空我可能会翻译一下。
麻烦高票答案加上“本文代表部分业内观点，不具有普遍性和权威性”，
以免误导不明真相的群众。

目前已有13个回答，但暂且没有深入的回答。而且很多回答跑偏了……我花点时间写一个吧。
--
直接回答题目问题：目前精英们对人工智能的担忧主要集中于可控性和失业方面。也有人在考虑伦理方面的问题。
对可控性的担忧其实有点科幻，短期做不到超出控制的水平的……毕竟目前的人工智能还处于“有多少人工就有多少智能”的阶段。
因为题主问的主要就在这个方面，那我就只讲这个方面好了，毕竟失业和伦理大家不是那么关注。
讨论这个问题，一定要明确两组概念：人工智能（Artificial Intelligence，AI）和人工生命（Artificial Life，AL），强人工智能和弱人工智能。（强弱人工智能是作为假说出现的，我这篇回答里指两个假说中的人工智能形态）
以下从人工智能和人工生命两个话题切入，并且穿插强弱两种人工智能的描述分析。题主在描述里的问题放在文末回答。
1.人工智能

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

这是人工智能，许多码农在这个领域里挥洒着青春和荷尔蒙。
1) 人工智能应用的现状
目前对人工智能的应用其实相当原始。语言识别、图像识别看上去好像很厉害，其实就是那么几个算法拿语料库图像库训练出来的。这不是“智能”，而是对人类智能的模拟。
为什么这么说？上吧，中文屋！

“中文房间”最早由美国哲学家John Searle于20世纪80年代初提出。这个实验要求你想象一位只说英语的人身处一个房间之中，这间房间除了门上有一个小窗口以外，全部都是封闭的。他随身带着一本写有中文翻译程序的书。房间里还有足够的稿纸、铅笔和橱柜。写着中文的纸片通过小窗口被送入房间中。根据Searle，房间中的人可以使用他的书来翻译这些文字并用中文回复。虽然他完全不会中文，Searle认为通过这个过程，房间里的人可以让任何房间外的人以为他会说流利的中文。

中文屋是对强人工智能（机器拥有思想，能够独立决策）假说的第一次打脸（是强人工智能假说），Searle指出当时设想的绝大多数人工智能实现方案都不是强人工智能，而是弱人工智能（程序设计者预测会出现的情况，然后做出应对方案，由机器判断符合条件与否并加以执行）。
通过一套完整的流程（从字典里找对应的文字，然后翻译成英文，作答，然后用字典翻译回中文，发回去），一个不懂中文的人可以用中文回答中文问题，让屋子外的人以为他会中文。
这个人会中文吗？不会。
这其实就是目前人工智能在做的事情。
比如语音识别程序，其大致流程是：把声音中频率、音色转成数字，通过算法转化为一系列特征值，查找字典找到对应的文字然后显示出来。典型应用是Siri，Siri在语音识别的基础上加了一套应对。


Siri的表现让大家以为“这个程序听得懂人在说什么”，但其实这个程序听不懂人类说的话，它做的事情只不过是照着流程坐了一趟而已，不需要听懂你的话也能完成。真正听懂你的话的人是程序员。

<今年也请多指教。
>谢谢你，今年的充电也要拜托您了

大家都知道，后面那句话其实是程序员写上去的，是程序员在卖萌，不是手机里的Siri程序自发卖萌。
总之，这就是人工智能在应用方面的现状啦。这是一些不会自己思考的程序，设计者也没打算让它思考，实际上设计者也不知道怎样才能让它思考。它能做的事情就是按照设计者的安排，一步一步完成既定程序。
@klin 的回答在目前看来是多虑，神经网络模型最大的用处是配合各种数据库确定参数……也就是我在上面说的，拿来训练算法。神经网络模型虽然确实神奇，但并不是依赖于完整的智能才能实现，而是一套反馈修正的训练模式，并不是智能的本质。
2) 为什么目前人工智能只能做到这个程度？
原因很简单，人工智能是人类对“智能”的模拟，目的是实现某个人类能完成的工作，所以受人们对智能的理解限制。
即使配合上神经网络模型和遗传算法的训练，目前的程序也只能在“这个程序达到了预期目标但我也不知道它怎么达到目标的”方面让人吃惊而已，程序本身不会演化出崭新的能力（在我所知的案例中），即只会接受训练，不能创造新事物。
所以目前的人工智能只是工具而已。
2.人工生命
看完人工智能的描述会失望吧。
其实科幻小说里面描述的机器人拥有智能然后反过来统治人类什么的，跟人工智能的大部分领域不相关，主要跟人工生命的领域有关系。

人工生命(AL:Artificial life)是通过人工模拟生命系统,来研究生命的领域。人工生命的概念，包括两个方面内容：1）、属于计算机科学领域的虚拟生命系统，涉及计算机软件工程与人工智能技术，以及2）、基因工程技术人工改造生物的工程生物系统，涉及合成生物学技术。 AL是首先由计算机科学家Christopher Langton在1987年在Los Alamos National Laboratory召开的"生成以及模拟生命系统的国际会议"上提出。

在这里主要取用1）的定义，即广义的生命定义（强人工生命）。

强人工生命:主张"生命系统的演化过程,是一个可以从任何特殊媒介物中抽象出来的过程."(John Von Neumann). Notably, Tom Ray 在Tierra模拟试验中第一次展示了,进化过程在有着抢占计算机存储空间之争的计算机程序的某种群体中极易发生。

科普书《复杂》对此有描述。
人工生命涉及了广义的生命定义，生命在这里指代的是一个会对外反馈、自反馈的一套稳定系统。
比如一个炒股的人，这个人本身是一个生命，他会对股市上的各种现象做出反应，会对熊市恐慌对牛市兴奋；但这个由所有炒股者组成的股市也有类似的现象，中央银行调整利率汇率时股市会做出对应反应，经济危机时股市会萎靡不振，各类金融报道里会有“美国股市情绪相对稳定”之类的用词，实际上就可以把股市看做一个生命。
与此类似，单个蜜蜂是一个生命，一个蜂巢里整个蜂群也算作一个生命；一只白蚁算一个生命，一整个白蚁群体也可以算作一个生命。
实际上对人的个体进行切割的话，你会看到每一个细胞都有自己的职责，在微观层次上每个细胞也都是一个生命，一组细胞组成的一个器官也算一个生命，一组器官构成的人也是一个生命。
比较绕对吧……这是生命的广义定义，人工生命的定义基于此而产生。
比如一个程序，如果满足了广义上生命的定义，就可以看做是一个生命……也就是人工生命。
强人工智能（与前文弱人工智能相对）实际上必须基于人工生命才能成型，人们恐惧的也是强人工智能。
强人工智能要求程序有自己的思维，能够理解外部事物并自发做出决策甚至行动，其表现就像一个“人”一样，甚至很可能比人的反应更杰出、更可靠。（想到深蓝的知友请去面壁，深蓝和更深的蓝都是弱人工智能）
反过来，这些能够自行思考的人工生命，也有背叛人类的可能……甚至于很可能会背叛人类。
对于人工智能可控性的担忧主要就在强人工智能上。
但是这种担忧离二十一世纪初的我们还很远……目前对人工生命的研究仍然很原始，原始到所有的研究发现出来的东西都不知道能拿来做什么。
我觉得，这帮科技精英们有对强人工智能的担忧是很合理的，作为能影响人类社会科技研发方向的人，他们有责任提醒大家“这个方向上有狼往前走要小心”，有责任提醒大家人工生命的研究要在严格控制条件下进行。不过他们其实也没有很担忧，毕竟这玩意目前看来还是太科幻……
盖茨的发言已经能说明这一点了：

不明白为什么有那么多人并不担心这种技术对未来的影响

以及，
比尔盖茨的担忧 竟是人工智能发展_TechWeb 这篇报道的记者根本狗屁不通……盖茨担心的是强人工智能和人工生命，盖茨兴致勃勃在搞的是弱人工智能。

回答题主在描述里的问题。
Q: 这是因为人工智能要进入新阶段了？
A: 跟这个没啥关系。纯粹是因为特斯拉CEO马斯克跟媒体提到了这一点，于是人工智能变成话题了，其他人做出自己的表态而已。
Q: 这些名人是不是可能比较先得到信息，所以向人们预警？
A: 得到谁的消息？恐怖分子研发出强人工智能了？不要搞阴谋论啊……
Q: 或者是每年都有很多人提出这个问题，只是今年报道的比较多？
A: 应该这么说吧，确实是媒体的姿势水平不到位。
在学界，强人工智能有风险是一个不用讲大家都理解的事情，但是外界对此懂的太少，常常混淆强弱两种人工智能，这次马斯克一提出防范人工智能，媒体们漫天乱喊搞得跟个大新闻似的。换言之，这玩意在业内是常识，不会每年都有人提，这次捅出来给公众做了个科普但是没有科普到位。
Q: 人类跟人工智能之间，会不会出现类似三体里面的博弈？
A: 天知道……这也是大家在担心的事情。所幸离我们还远，通过图灵测试的程序还遥遥无期。
——————答案发布之前突然想到的——————
等等，该不会有人被前次的坑爹记者误导了吧？
电脑冒充13岁男孩 首次通过“图灵测试”（图） 这根本不是通过图灵测试，只不过有30%的评委在五分钟交谈的记录中判断这有可能是一个13岁不懂英语的小孩而已。


够贱的。
而这玩意实际上仍然是弱人工智能：

这个程序实际上是一套人类对话的模拟脚本，从认知角度来说，它真不大能算得上是思考

通过图灵测试这个事儿吧，大家不要再提了，纯粹是媒体的姿势水平太低了。简直给人类丢脸。