我们到底该不该继续发展人工智能？

人工智能确实方便了人们的生活，但是霍金曾经提出过三大警告，其中一个就和人工智能有关，如果人继续发展无限制人工智能的话，迟早会出大问题。而霍金就非常反对发展人工智能。就像日本推出拟人机器人那样，就是在与霍金的警告背道而驰，大家对此怎么看？

谢 @桔了个仔 @Serendipity 邀。
其实这个问题可以分情况讨论的。
对于完全不懂人工智能的群体来说，要发展人工智能，因为它的发展可以在不损失你利益的前提下降低你的劳动成本，提升你的生活质量。
对于对于人工智能有一点的了解并且可能有利益关系的群体来说，也要发展人工智能，因为它可以提供更多的低劳动量的工作机会。
对于人工智能从业者，更要发展人工智能了，现在的也配叫人工智能，只不过最初级阶段的低级人工智能罢了，也可以叫人工智障。

首先列出观点: 我们必须继续发展人工智能。
人工智能就是新时代的核武器，潘多拉魔盒一旦被打开，就不会有停止。

举个大家最近很热点的隐私窃取为例：当你还在担心手机会不会偷偷录音窃取隐私的时候，已经有人用手机的加速传感器来间接“偷听”你们的说话了。
@Ele实验室 《App是不是在监听我们的谈话？》介绍了这种窃取隐私的可行性，通过加速传感器的振动信号，通过深度学习的方式来“预测”你的说话内容。



说话和行动时会产生振动，这些振动信息对应着特定的行为和说话内容。
手机的加速传感器获取三维的时频域振动信息，这种时序预测就是机器学习的强项了。



通过振动预测行动



通过背景噪音预测所在场合



预测的 Top-1 精度

因此，仅提高用户的自我保护意识是不够的，现有技术的发展已经超乎大家认知水平，认为没有录音权限就不会检测到说话内容、没有摄像头启动就没有人脸信息泄露，这些基于常识的内容正在被专业人士破解。

但是，时代的车轮推着人类的认知以及道德法律向前迈进，而科技的进步就是时代车轮的发动机。
让更多的人类更好地活下去，只能依靠科技的不断发展，未来的征途在星辰大海。
曾经我们造出了核武器，认为世界毁灭就系与一线之间，但在均衡中我们以核威慑减少了全面战争的爆发，使得各方能够保持克制；
如今我们发展人工智能的程度还仅处于婴幼儿时期，真正的技术爆炸可能还需要等待下一次理论上的革新。
所以，向前吧！即使新时代没有载着老夫的船，但是请务必前进、前进、前进！

参考文献：Learning-based Practical Smartphone Eavesdropping with Built-in Accelerometer

霍金不是人工智能专业，但也不是毫无依据民科。霍金的话是从非常长的时间上说的，但目前我们应该发展人工智能。害怕人工智能失控就不发展人工智能，就好像害怕人类太多地球会毁灭就不敢吃自然界生物一样，完全没必要。
但霍金害怕的人工智能是什么？他是这么说的

“它可能自行启动，以不断加快的速度重新设计自己。而人类局限于缓慢的生物进化过程，根本无法竞争，最终将被超越。”

霍金担心的是发展成这样形态的人工智能：


而我们日常使用的人工智能是：



董小姐，你嘴角向下的时候很美

霍金担不担忧我不确定，但董小姐她可能会感到担忧吧。人在家中坐，锅从天上来，自己做广告代言人，结果咋这被闯红灯了呢？

人工智能目前发展到第三波，而人工智能超越人类并且失控，可能得第n波之后吧（n我不确定是多少，但>4是必须的，搞不好>100都不行）。顺便说下，这三波分别是[1]：

第一波发生在1950年至1970年，当时的主要工作是计算机科学家在从事机器推理系统，同时发明了早期的神经网络和专家系统。这一时期的理论流派被称为符号主义。
第二波出现在1980年至2000年。我们现在讲的统计学派、机器学习和神经网络等概念，在这一阶段都已提出。此时的主流理论流派被称为联结主义。
第三波是在2006年之后，主要得益于大数据的推广。谷歌利用大数据成功地对流感进行预测，引起了卫生部门的关注，这是大数据和人工智能密切关联的一个重要例子。在这一波浪潮中，人工智能技术及应用有了很大的提高，以神经网络为中心的算法取得突破。

而尚未来临的第四波人工智能浪潮可能会是怎么样的？李开复在《AI·未来》一书里是这么认为的：

自主智能化。这波浪潮是前三波的集大成者，也是顶峰。如果自动驾驶汽车能够运行的很好，也属于此类。当然，自主智能化的发展潜力远不止自动驾驶汽车，其将改变工厂、消防、城市、餐厅等等地方。机器将能够自主听到和看到我们周边的世界……

现在的人工智能显然是远远没有这个水平的。现在的人工智能需要顶尖科学家来设计，科学家来帮助它进化，进化失败，则轻轻点击一下停止按钮就好。而且即使发展到AI全方位智能水平超越人类，但如果AI不是物理化的存在（例如终结者里的机器人），那么人类依然拥有非常大权力的，AI失控，老子给你断电，你有种就从电脑里跳出来开电闸啊。AI，你过来啊！！！


而且即使李开复认为的这个第四波人工智能浪潮来临，我也并不觉得人类需要害怕，可以看到，这个「第四波」的应用范围是有限，并非所谓的「通用人工智能」。
有的人可能会想起GPT-3，人称回答水平能过图灵测试的人工智能。但其实媒体也是展现出了cherry-picking之后的结果。我在下面这篇文章说，讲过GPT-3的一些失败回答：
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?

问：长颈鹿有多少只眼睛?
答：长颈鹿有两只眼睛。
问：我的脚有多少只眼睛?
答：你的脚有两只眼睛。
问：蜘蛛有多少只眼睛?
答：蜘蛛有八只眼睛。
问：太阳有多少只眼睛?
答：太阳有一只眼睛。
问：一棵草的叶子有多少只眼睛?
答：草叶有一只眼睛。

显然，这时候GPT-3就被人耍了。这种结果没有媒体报道，因为搞不出大新闻。脚有两只眼睛？脚上长鸡眼了吗？
我还在下面这篇文章中举到了一些人工智障的例子
桔了个仔：什么样的人工智能叫人工智障？我说到现在大多数情况下的基于深度学习的人工智能，其实是薛定谔的人工智障。
前些天，一个「研究团队通过一副眼镜破解19款手机人脸识别」的新闻等上热搜，也说明的我上面这句话并非乱说的。人可以轻易用对抗训练样本来骗过人脸识别系统，这个新闻里，一个研究团队拿一个特殊的眼镜就能骗过人脸识别系统。而原理并不复杂，我之前在一个回答简单的讲了下。
桔了个仔：研究团队披露「一副眼镜破解 19 款手机人脸识别」，手机人脸识别可靠吗？普通用户信息被伪造了怎么办？但我想说的是：


正常人类哪里干得出这种事？？？正常人哪可能被骗？？？
相比起人工智能失控，我更担心的是我们过度信任解释性低的深度学习模型。Gary Marcus在《如何创造可信的AI》一书中说到：

第一是“轻信坑”，这是由于人类进化的现实过程还没有发展出清晰辨别人类与机器之间区别的能力，导致我们往往用基于人类的认知模式去看待机器的能力，从而容易轻信机器拥有人类般的智慧。第二是“虚幻进步坑”，每当AI技术的进展攻克了一类新的问题时，我们往往错误地假设AI技术就能解决以此推及的、现实世界中的类似任务。但是AI学术上的问题往往是定义在狭义而简化的假设下，而现实世界的具体任务都有很大的复杂性和不确定性。第三是“鲁棒坑”，受限于当前深度学习算法和训练数据，对容错性很低特别是使命关键的应用领域比如无人驾驶等，今天的AI还没能达到实际“落地”的能力。马库斯告诫我们必须关注“AI鸿沟”，因为踩坑的代价是非常高的。

显然，这才是我们这个阶段发展人工智能最该担忧的是，先别担忧人工智能统治人类了。
（我在跑机器学习模型时，我家猫咪都看我代码了，猫咪马上学会AI，统治人类(*^ω^*)）

我们目前的这点进展，离被人工智能威胁还差得远，跟所谓的人工智能威胁论更是一点都不沾边。
目前我还没看出有被人工智能威胁的可能，倒是看出了继续发展的好处之所在。
所以，加油吧

我们应该“继续发展人工智能”。
现有的计算机距离“霍金的警告”对应的水平还很遥远，“日本推出”的所谓“拟人机器人”跟科学家们谈论的“人工智能的威胁”更是不沾边的。现有的计算机在多个领域的表现还不能让人们满意，显然需要进一步发展。
最近几年，谷歌等科技公司一直在训练各种机器学习模型，规模搞得比不少国家投资的项目还大，因为他们认为在人工智能方面的领先可以转化为大笔利润，你无法指望“科学家对长远未来的预测”去阻挡这些人工智能发展计划——这类预测能起的作用是“让人们更关注人工智能安全课题”，OpenAI就以“可能被用来炮制假新闻”的理由反复推迟GPT系列的公开，但这也很难说有任何实际意义。
长远而言，在你个人的层面，你可以拒绝参与人工智能的发展，但是你很难不让别人去发展。与此类似，在国家的层面，可以有一些国家拒绝投资发展人工智能，但是很难阻止别国和其它非国家组织在这个领域的投资。如果你要幻想“各国达成共识禁止发展人工智能”的可能性，你大可参照“国际上普遍禁止”有没有阻止民间犯罪组织去进行走私、贩毒、买卖人口。ISIS研究人工智能，谁管得了他们呢。
对从业者来说，这不止和个人能力与理念有关，个人的努力能起的作用是有限的。投入人工智能安全研究的资金远少于其它方面，许多企业和国家行为体并不多么注重安全，更别提ISIS了。当然，这相关的安全甚至可能在理论上就不成立：
来自马德里自治大学、马克斯-普朗克人类发展研究所等机构的研究者于2021年1月初发表在《人工智能研究杂志》（JAIR）上的一篇文章谈到，由于计算本身的固有限制，人类可能无法长时间控制强人工智能。

• 例如，旨在确保人工智能无法伤害人类的抑制算法必须模拟人工智能可能采取的行为，来预测其行动的后果，在“可能造成伤害”的时候停止运行并报告。可是，抑制算法不可能良好模拟比自己的运算速度更快的AI的行为。
  
• 而且，我们可能无法知道自己有没有创造出强人工智能，因为莱斯定理指出“递归可枚举语言的所有非平凡性质都是不可判定的”。我们不能“仅通过观察程序本身，就知道程序可能会输出什么”。
  

这不是说“强人工智能无法被控制”，而是说“强人工智能无法被永远控制”——这似乎是理所当然的。用这个当理由去阻止发展人工智能的话，你应该考虑一下“我们的后代无法被我们永远控制”的问题。
所以，目前的策略是“继续发展人工智能，并探讨如何防止人工智能毁灭人类等可怕未来”。

在打算教给人工智能来防止它们将来毁灭人类的各种概念里，人类的追求被Elierzer Yudkowsky表述为连贯的外推意志，其内容是这样的：

• 我们的连贯外推意志是我们想要知道更多，思考得更快，变成比我们所希望的更好之人，能一起更远地成长。外推是汇集的而不是发散的，我们的愿望是连贯的而不是被干扰的；我们想要外推的被外推，我们想要解读的被解读。
  

当然，你无法期待ISIS的人工智能写入这种东西。也许他们会制造出负责消灭所有异教徒的超级计算机，并从一开始就不打算控制这计算机——“和异教徒一起在烈焰中燃烧”对他们来说是完全可以接受的。你可能要指望“正经的科学家比奇奇怪怪的人们更快地发展人工智能”。
而且，能贯彻“连贯的外推意志”这种理念的社会想必是相当美好的，但我们并不知道这具体是个什么样的社会。让人工智能一手包办实现此种社会的过程的话，你可以参照火箭科学：

• 火箭科学是十分艰深的，您可能会遇到意料之外的高效率拆解（爆炸）或垂直着地（坠毁）。
  
• 改造社会是十分艰深的，您可能会遇到意料之外的高效率拆解（物理）或脑袋着地（字面）。
  

我们不能用试错法来处理生存危机。一些科学家提出所谓预防原则：如果某件事的后果未知且大量科学家判断这事有极小可能会带来巨大的负面风险，这事最好不要搞。但即使在同行评议的学术界，这些东西的标准也是非常难判断的。
我们可以用环保的情况做参考：

• 在一些科学家跳脚呼吁保护珊瑚礁的情况下，破坏还在持续。在我们造成的过度捕捞、海洋污染、海水酸化和水温上升的联合攻击下，全世界浅海的珊瑚都可能被摧毁，数十年后我们就可能再次看到五亿年前的大海样貌：有许多藻类和水母。
  

那么，你觉得“我们到底该不该继续发展经济”呢。
显然，问题根本就不在于“该不该”。人工智能的情况也是一样的。