ChatGPT 的出现是不是意味着强人工智能已经不是遥不可及了?
现在chatgpt已经能够很好地处理语言，理解里面的逻辑，理解人类问题的意图，并拥有上下文的记忆和连贯性，能够很好地表达输出。虽然它的训练包含了大量现成的资料讯息，但它给出答案时并不是去资料库里面实时搜索，就好像我们人考试时并没有去翻答案一样。这样的一个智能体，难道不是跟人已经很接近了吗？虽然现在确实能找到它的很多问题，但要看它的机制是怎样的，它还有多少长大空间。我们人类的逻辑基本都是建立在语言之上的，如果它有能力从语言中学习和整理逻辑，随着模型参数的持续增长以及类似提示工程师这样的智能挖掘/训练，它必将越来越复杂，逻辑能力越来越强，越来越智能，并且这个演进应该是加速的。但我看到似乎没有人将它和强人工智能关联到一起讨论，即使是专业人士。不少人还是像AI尚未碾压人类顶尖围棋手时那样只去找它当前的薄弱点去轻视它。这是为什么呢？ 大火的ChatGPT 会成为通用人工智能吗？人类的梦想回就此成真吗？
还是说，这只是一个大众的一厢情愿？
美国天普大学计算机系的王培老师讲为您从理论上分析ChatGPT的若干根本局限，及各界对其存在的几个普遍误读！
撰文 | 王培（美国天普大学计算机系）
ChatGPT问世以来，在引起全社会关注的同时也触发了很多争论。很多人被它似乎无所不知的内容储备和流畅的语言表达能力所震惊，但也有不少人因为它不时冒出来的 “一本正经的胡说八道” 而断定其不堪大用。关于对未来社会的影响，有人欢欣鼓舞地憧憬脑力劳动的效率提升，而另一些人则在忧心忡忡地预测就业机会的减少。一时间众说纷纭，蔚为大观。本文无意于讨论这些问题，而只准备集中分析一个话题：这种系统会成为所谓 “通用人工智能” 吗？
ChatGPT是什么？
网上已经有对 ChatGPT的很多介绍材料，所以我这里只谈和本文的话题直接相关的。ChatGPT属于 “大语言模型”（Large Language Model，LLM），其直接目标是总结人类语言使用的统计规律。其构造过程主要包括两个阶段：首先，利用互联网等来源提供的语言材料训练一个巨型人工神经元网络，直接在字词、语句等水平上总结语言使用者的习惯。最简单的情况就是统计一个词出现在另一个词之后的频率，比如在 “这” 出现之后，有多少次下一个字是 “里” 。既然一个语言的词汇量是有限的，这种统计就完全可能进行，只是由于计算量极大，没有人会这样学习语言而已。以此为基础，可以进一步根据一个句子的开头计算其各种结尾的出现频率，以至于在一句话之后出现另一句话的可能性，如此等等。这和很多输入法根据已经打出的字猜测后面的字的做法基于相同的原理，只是海量的语言材料和超人的计算能力使得这种模型取得了任何人类都无法企及（甚至难以想象）的结果。这就直接解释了ChatGPT的内容广度和语言流畅性，因为它所说的话就是该语言的使用者们在相同的语境下最可能说的。
在上述 “预训练” 的基础上，ChatGPT又经过了一个 “强化学习” 过程，在其中人类训练者为它提供了大量典型问题，并对其回复进行 “奖励” 或 “惩罚”，通过调整模型的参数使得其行为符合人类要求。这就解释了它为什么会在某些问题上提供背离统计数据的回复，尤其是当那些统计结果可能引起伦理或政治麻烦，或者不符合其作为聊天程序的 “身份” 的时候。
尽管上述过程已经覆盖了非常大的范围，但总还有问题超出其外，就是说既没有来自语言材料的显著统计结论，也没在后续训练中出现过。在这种情况下，ChatGPT（或者说作为其基础的人工神经元网络技术）就会根据最类似的已知问答做出反应。这里 “类似” 的标准也是统计性的，比如说 “这” 的统计特征（即前面提到的各种频率）和 “那” 会很接近，而和 “和” 就不会那么接近。这种处理方式当然有道理，但也正是各种 “一本正经的胡说八道” 的来源，因为如果类似程度不够高，这种替换结果的可信性就很成问题，而且这种 “统计上的类似” 和 “含义上的类似” 毕竟不完全是一回事。
虽然上面的介绍包括了大量简化，从中已经可以看出ChatGPT的一些根本局限。由于训练材料不可能穷尽一个语言的所有用法，而基于统计相似性的解决方案并不可靠，其答案的可信性就不可能仅靠更多的训练来彻底解决。对于那些超出当前人类共识的问题，它就更是力所不逮了，因为这种技术对知识的有效拓展办法甚少，尽管它常常可以出色地总结和表达现有的人类知识。但既然这种模型的目标是 “再现一般人类的平均行为” ，所以对一个问题而言，即使其训练材料中确有真知灼见，也完全可能被陈词滥调所淹没。同理，所谓 “AI的偏见” 往往都是社会的偏见，不能怪在ChatGPT 的头上。另外要注意的是，所有所谓 “ChatGPT认为” 实际上都是 “人们认为”，而ChatGPT是没有 “个人观点” 可言的。很多网友热衷于询问ChatGPT对各种价值评价问题的看法，然后将其回复理解为 “反映了人工智能系统的世界观和价值观”，这对于大语言模型来说完全是一种误读。
什么是通用人工智能（AGI）？
现在来看问题的另一端。
众所周知， “人工智能” 一直没有一个公认的定义，但这绝不意味着随便怎么说都行。我在参考文献里对此有详细讨论，在参考文献中也有简略介绍，其主要结论是说“人工智能” （AI）是对 “人类智能” 某一个方面（但不可能是所有方面）的再现。对于不同的研究者而言，这个方面会是下列选项之一：
A.结构，即AI应该基于一个人脑模型，从而实现 “类脑智能” ；
B.行为，即AI应该在外部表现上，尤其在言语行为上，做到与人一致；
C.能力，即AI应该能解决以前只有人类才能解决的实际问题；
D.功能，即AI应该具备人的各种认知功能，如学习、推理、感知、运动、通信等；
E.原则，即AI应该遵循体现在人类思维当中的理性原则。
我的结论是上述五个研发目标均有其理论和应用价值，但彼此并不相同，也不能相互包括，尽管因为历史原因常常都被称为 “人工智能”。
那么，“通用” 又是怎么加上去的呢？
在开始时，人工智能研究是以研发与人类智能具有一般可比性的计算机系统为目标的，这在图灵的文章（参考文献）和其它早期AI文献中几乎是不言而喻的，因此不必特别申明。但后来构建通用系统的努力屡屡受挫，导致大部分AI研究者转向专用的工具和问题解决方案，而视对通用智能系统的研究为死路，并将其斥之为 “白日梦” 甚至 “伪科学”。大约二十年前，一些对这个潮流持不同意见的AI研究者（包括我自己）开始 “抱团取暖”，并在需要一个新的 “旗号” 时选择了Artificial General Intelligence（AGI）。当时的一个主要考虑是 “g-factor”（“通用因素”）以及相应的 “general intelligence”（“通用智能”）在心理学关于 “智商” 的研究中已经是广为人知的概念，加上 “人工” 以后可以自然地引入到AI 中来。与其相比，其它的候选方案，如 “Real AI”（“真正的人工智能”）、“Strong AI”（“强人工智能”）、“Human-level AI”（“人类水平人工智能”）等等，都有比较大的缺陷。在我们确定了这个名称之后，于2007年出版了第一本AGI文集（参考文献），并在随后的几年里开始了AGI年会和学报，从而标志着这个与主流AI分道扬镳的研究社群的建立。当这个概念被译为中文时，“通用人工智能” 显然比 “人工通用智能” 更符合中文的构词习惯和直观理解，而 “General Artificial Intelligence” 在英文里往往会被理解成 “人工智能概论/综述”，所以从没有被我们作为一个选项。在这里，中、英文的词序差异完全是语言差别而造成的，并非某些人所说的误译。
随着深度学习的兴起，几家大公司开始用 “迈向AGI的重要一步” 来称呼他们的技术进展。由于他们的巨大影响力，AGI这个概念在公众的印象中和深度学习建立了密切关系。比如有些人以为既然深度学习可以用于很多领域解决不同的问题，这就已经是AGI了。这里的误解是混淆了 “通用技术” 和 “通用系统”。深度学习的确可以算是个通用技术，但用这个技术开发出来的计算机系统常常只能做一件事（下围棋、图片分类、语言翻译等等），因此都是专用系统。而通用系统是不能只会做一件事的，无论这件事做的有多好。
那么问题来了：“通用” 除了作为 “专用” 的反面之外，还有其它的含义吗？在目前的讨论和研究中，对 “通用人工智能系统” 的理解主要有下面几种：
[*]能解决所有问题，
[*]能解决所有人能解决的问题，
[*]能解决所有能被某个模型（例如图灵机）所描述的问题，
[*]能接受所有在系统感知范围内的问题并尝试解决它们（虽然不保证一定成功）。
在上述4种 “通用系统” 中，我不知道有任何AGI研究者是以第1种为目标的，而且我们多次明确地拒绝了这种肤浅的解读。实际上，在科学技术领域，提到 “通用”，一定是相对的、有条件或范围的，例如 “通用图灵机”、“通用计算机”、（心理学中的）“通用智能” 等等。
除去作为 “反面典型” 的1之外，上述2，3，4都可以算作是对 “通用系统” 的合理解读（至于能否实现则是另一个问题了）。这三种 “通用” 和前面五种 “人工智能” 有十五种可能的组合，尽管不是每种都有人在做研究，但起码说明了目前对 “通用人工智能”（AGI）理解的多样性。对于这样复杂的问题，早期的理解多样性是正常的，而这种分歧的解决只能通过长期研究的结果比较，而不是看谁的地位高或嗓门大。
ChatGPT和AGI是什么关系？
有了前面的准备，我们可以讨论这个本文中心问题了。根据前面的分类可知，虽然ChatGPT的所指相对明确，AGI可远非如此。只有对 “通用” 取前面的解释2，而对 “人工智能” 取前面的解释B时，ChatGPT 才和这种AGI（“像人那样解决人能解决的所有问题”）直接相关。对于其它理解，ChatGPT或者基本无关，或者只有轻微贡献。
以我自己的研究项目纳思（NARS, Non-Axiomatic Reasoning System）为例，由于这个系统试图利用现有知识和资源合理地解决所有可感知和表达的问题，因此作为AGI对应于对 “通用” 取前面的解释4，而对 “人工智能”取前面的理解E。为了实现这个目标，纳思可能用像ChatGPT这样的大语言模型作为知识源和语言界面之一，但不会完全相信其结论，更不会靠它完成系统的核心推理和学习功能。由于本文的目的不是介绍我自己的工作，对纳思有兴趣的读者可以通过其它材料对其进行了解。
我对ChatGPT的看法可以代表一些其他AGI研究者。如前面介绍的，目前实际上存在两个分离的 “AGI研究社区”，一个以大公司为代表，大致上是基于深度学习技术的，而另一个（前面介绍的）则是仍在探索很多其它非主流途径。后者形成于深度学习出现之前，而且至今没有把深度学习做为核心技术。这其中的原因远非本文可以覆盖，我这里只是希望各位读者知道，并非所有AGI研究者都认为深度学习（包括ChatGPT和其它人工神经元网络）是实现AGI的最佳途径，而且大概不能简单地说这些人都是出于固执或嫉妒，更不是出于无知，因为早在深度学习一炮而红的2012年的两三年前，在AGI会议上已经有关于深度学习的介绍与讨论了，只是大部分与会者认为这个技术远不足以解决AGI的核心问题。与此相反，很多深度学习的研究者只知道其它AGI方案尚未做出轰动性成果，而极少花时间了解其具体内容。
行为标准的成败
现在一定有读者要问，既然ChatGPT所代表的路线并非实现AGI的唯一可能，为什么只有它取得了当下这种现象级的成功？这就要说起在智能观上的 “行为标准”（即以 “行为上像人” 为目标）的特征了。我在参考文献中讨论过 “图灵测试” 和 “伊莉莎效应”，并写道 “至今以通过图灵测试为目标的工作仍只占人工智能领域中很小的一部分。” 在七年以后，这句话显然不再符合当前的情况，但我仍认同那篇文章中的其它观点，而这里只补充一些更接近现状的思考。
在前面列出的五类对人工智能的理解中，“行为” 和 “能力” 是最直观的，因此最容易被公众所接受。比如说，围棋程序AlphaGo就是 “能力” 派的代表之一，因为很多人会想，它连世界冠军都战胜了，还不够智能？而与此相比，一个AI系统是否在结构、功能和原则上像人，则即使是连专家们也不容易取得共同意见了。但这些直观的方案仍有各自的 “软肋”。就 “行为” 而言，一个明显的问题就是 “人类中心主义”。如我在参考文献中指出的，“说话像人” 固然可以做为 “有智能” 的充分条件，但肯定不是必要条件（图灵在参考文献看到了这一点，但没有展开讨论），否则根据这个定义，全宇宙除了人类就不可能有其它智能系统了。此外，说话是否的确 “像人” 也不是可以简单断定的。比如说有不少人开始被ChatGPT的本事所震惊，但聊了一阵子就觉得 “技止此耳” 了。
在对聊天程序进行评价时，“伊莉莎效应” （“ELIZA effect”）是不能忽视的。伊莉莎是人工智能早期（上世纪六十年代）的一个著名的聊天程序。它之所以有名，不是因为在技术上有多么先进（伊莉莎靠预制模板和固定套路进行对话），而是因为其欺骗性，即很多人误以为这个程序有智能。从此以后，“伊莉莎效应” 就指人们为计算机的行为所迷惑，而认为其已经具有了某些它其实没有的能力。对ChatGPT某评论中所说的 “能表现得理解，就是理解” 正是这种效应的一个典型形式，而类似的判断还包括说ChatGPT “有情感”、 “能进行逻辑推理”，甚至 “有一定程度的自我意识“。
从认知科学的角度来看，伊莉莎效应不难理解。当我们观察到一个新奇的现象时，总是试图用我们最熟悉的概念去解释和理解它，这和心理学家皮亚杰（Jean Piaget, 1896.8.9-1980.9.16）提出的 “同化”（assimilation）现象和逻辑学家皮尔士（Charles Sanders Peirce,1839.9.10-1914.4.19)提出的 “归因” （abduction）推理都有关系。一个典型的例子就是不少人在初次见到收音机时，会认为那个匣子里藏了个小人，因为这个解释比所谓 “无线电” 等天书般的解释好懂多了。由于人工智能的新功能往往是以前只有人类智能才能完成的，不了解内情的观察者难免会按人类行为来解释其工作原理和过程。伊莉莎效应在大语言模型中尤为显著，因为我们对他人是否具有各种认知功能（理解、推理、情感、意识等等）的判断常常是通过和这个人的对话完成的，因此如果一个系统能够很好地复现人类的对话能力，就会一揽子 “表现” 出很多其它认知功能，尽管它并不真的拥有这些功能。
一定有读者会问 “你怎么知道它没有那些功能？”，但完整回答这个问题需要对上述认知功能的详细讨论，而那是远超本文所能做的。因此，我这里只简单分析 “ChatGPT能进行逻辑推理” 这个结论。ChatGPT的确在很多例子中表现出良好的逻辑推理能力，但在另一些例子中却明显地逻辑混乱，而二者的基本差别往往是训练数据的差异，即ChatGPT关于前一种例子有大量训练数据，但对后一种例子缺乏了解。根据公认的定义，逻辑推理是基于知识的结构或者说模式的，而与其内容无关。比如说从 “A是B” 和 “B是C” 中可以推出“A是C”，而这和A，B，C各自代表什么具体概念无关，更不用说系统关于它们各有多少数据了。因此，ChatGPT在 “推理” 中表现出的话题相关性就暴露了它并不真能进行逻辑推理，而只是通过模仿人类言语行为，往往会正确描述某些推理过程。这种分析同样适用于其它认知功能。我们甚至可以说 ChatGPT “不解决问题，但总结人们对问题的解决”。这在某种意义下的确可以说成是解决问题的一个 “通用” 方法，和 “不解决问题，但解决提出问题的人” 有异曲同工之妙。
我的结论
我认为大语言模型的确有重大理论和应用价值，但和智能模型基本是两码事，因为二者的研究目标就不一样，而这又导致了许多其它差异。智能是不能仅仅通过对人类语言行为的模仿来实现的，而像PaLM-E和GPT-4那样将感知运动行为加进来也不足以解决核心问题。即使只谈对语言的处理，语言模型是把语言本身当作模拟对象，而智能模型则是把语言当作通信工具和知识来源。具体说来，大语言模型的首要目标是像一般人那样说话，而智能系统在使用语言时的首要目标是根据系统自身需要完成当前的通信任务，在这个前提之下才会考虑符合常人的语言使用习惯。由此造成的差别就是智能系统未必会用大多数人所选择的方式来完成一个句子，而是要表达自己的特定观点，即使这个观点尚未被别人表达过也是这样。我这篇文章所表达的观点显然和当前对ChatGPT的普遍评论不符，但有兴趣的读者不妨用本文的标题询问ChatGPT 或其它大语言模型，然后将其回复和本文比较一下，看看哪个更有资格被看成是由智能系统所生成的。
参考文献
“On Defining Artificial Intelligence”, Pei Wang, Journal of Artificial General Intelligence, 10(2):1-37, 2019
当你谈论人工智能时，到底在谈论什么?，王培，《赛先生》 2015-08-06
“Computing Machinery and Intelligence”, Alan Turing, Mind 49: 433-460, 1950
Artificial General Intelligence, Goertzel, B. and Pennachin, C. (eds.), Springer, New York, 2007
“Introduction: Aspects of artificial general intelligence”, Wang, P. and Goertzel, B., in Advance of Artificial General Intelligence, pp. 1–16, Goertzel, B. and Wang, P. (eds.), IOS Press, Amsterdam, 2007
计算机不是只会 “计算”，图灵机也不是一台“机器”, 王培, 《返朴》 2020-06-02
Non-Axiomatic Reasoning System: Exploring the Essence of Intelligence, Pei Wang, Ph. D. Dissertation, Indiana University, 1995 图灵测试是人工智能的标准吗？王培，《赛先生》 2016-05-23
注：上述8篇文章，除有链接的外，其余皆可在作者主页 https://cis.temple.edu/~pwang/papers.html下载
本文受科普中国·星空计划项目扶持
出品：中国科协科普部
监制：中国科学技术出版社有限公司、北京中科星河文化传媒有限公司
首先我尽可能把这篇文章写的不那么精神病，大家担待点看，其次偏向结论性的东西我倾向于一笔带过，详细的部分大家直接看科技新闻就行，我赘述一遍觉得在浪费大家的时间，最后我建议这篇文章配合goatrance或者psytrance服用。
正文开始
在最开始，我们需要确认的是，几乎每个业内人士都认可，ChatGPT并不存在实质性的科学突破。
那么它为什么这么神奇？因为当人们考察了以 GPT-3 为代表的语言模型，发现语言模型的表现并非随着模型规模增加而线性增长，而是存在临界点，只有当模型大到超过特定的临界值，才会涌现出较小的模型不具备的能力。语言模型的这种涌现能力意味着，大型语言模型可能进一步扩展语言模型的功能。（Emergent Abilities of Large Language Models）
听起来很离奇是吧，我们不知道为什么，反正莫名其妙从某个临界点开始，一个智障就突然聪明了。在这里我要解释一下涌现是什么，涌现就是说一个系统当中，产生从整体无法分解成个体，个体也无法组成整体的结果。
举个例子，椋鸟群飞行就是典型的涌现系统，它的特性是整齐划一且持续的：鸟儿们不会相撞，同向而飞且最大程度的密集化以抵抗掠食者。你从鸟群找不到一个指挥者，从单一的鸟儿也找不到谋划者，它们的智商和能力也并没有任何提高，但只要族群规模达到一定程度，看起来就像有一个整体意识在精密的规划一切。
这和蚂蚁蜜蜂这样基于不同的社会分工，并用信息素调控族群的真社会性生物是截然不同的——因为相较真社会性生物来说，每个椋鸟个体的差异几乎可以忽略不计。
没错，聪明的人已经意识到了，我们的个体意识，也是如此产生的。
心理学史上，对于人脑是如何产生意识的一直难以下定论，以至于行为主义把精神分析贬斥得一文不值，只因为后者在研究中加入了“意识”。直到今天，最谨慎的心理学论文依旧把意识用“觉知”代指，而后者是一个可以被理解为医学上的觉醒/清醒程度的词汇，它意味着外界可以看到一个人在进行思维活动，多少有一些自欺欺人，毕竟观察到的思维活动也只是一种无法突破心物二元论的猜测（所以哲学僵尸是个经久不衰的讨论）。
而涌现给人们提供了新思路。
我们无法行任何一个神经元甚至脑区推导出意识存在，也无法把意识还原为一团血肉，但这并不影响我们合理猜测意识的存在。
设想一下，也许只有一两只椋鸟感受到了拥挤而改变了方向，就因为一些非常简单的，存乎于每个椋鸟基因中的从众或其他因素而导致鸟群的行为产生了巨大的变化。一个视觉信号就可以引起整个大脑的连带反应，由此我们甚至可以认为神经元异常放电引起的全脑癫痫是某种椋鸟效应。
意识活动也是如此，比如邦格认为
意识活动就是大脑神经系统的过程、状态的集合，每一个意识活动对应一个神经系统的过程状态，但并不意味着每个神经状态对应一个意识或者心理关联。意识的功能在于“是神经系统涌现的活动，……它确认意识虽然可以通过求助于物理、化学、生物、社会等前提条件而得到解释，但是它还是相对于物理和化学而言的涌现” 进而
“设P是一个复杂事物x的属性，而不是x的组成部分。（i）如果P是x的某些组成部分的属性，则P是合成的或遗传的;（ii）否则，即如果x的任何组成部分都不拥有P，那么，P是涌现的、集体的、系统的或完形的。” 这个东西也并不一定是哲学家的意淫。
The Innovation｜深圳先进院戴辑团队揭示视觉意识涌现过程中大脑的动态变化特征----中国科学院深圳先进技术研究院比较新的研究都倾向于这个论断。
那么我们翻回来再看ChatGPT，我知道已经很多人激动的说那这玩意不就是涌现吗？意识是不是不远了？意识来了自我进化不就强AI了吗？血苦肉弱，机械飞升？人类灭亡？
先别急。
还记得邦格说意识的涌现是：“每一个意识活动对应一个神经系统的过程状态，但并不意味着每个神经状态对应一个意识或者心理关联。”吗？
ChatGPT恰好就不是这么个东西。它每一次得出答案，相当于说在所有参数里面运行了一遍，因此会出现我们都遇到过的一本正经的胡说八道，也就是我们得到了一个理智的疯子。这是因为参数中有大量胡说八道的内容被错误联系了。
如果拿我们的椋鸟举例来说的话，就是第一只椋鸟往某方向飞行时，其他椋鸟没有跟随而选择四散相撞掉落，那么涌现出来的就是坠落而非“群体意识”了。
但也稍微可以有点急。
nlp大模型虽然不是未来甚至不一定能承担起搜索引擎的任务，但是业界事实上早已预估到了这一点。
比方说1月28日，LeCun发推称，「大型语言模型并没有物理直觉，它们是基于文本训练的。如果它们能从庞大的联想记忆中检索到类似问题的答案，他们可能会答对物理直觉问题。但它们的回答，也可能是完全错误的。」
当然你可以说LeCun是meta的科学家——因此这是在攻击竞争对手。但实际上他的判断是正确的，所谓的物理直觉就是一种“专家模式”，你在应该找到东西的位置找东西，并且只利用相应的脑区，这不光更准确，更少能耗和算力消耗，而且更接近我们的大脑。而自回归的ChatGPT，更接近于真正在制造一个看似在思考的哲学僵尸。
因此他判断：在通往人类级别AI的道路上，大型语言模型就是一条歪路。
实际上，和他相爱相杀了多年的Marcus也持类似观点：自回归不如自训练。
自训练是什么意思呢？我在脑中数据库模糊检索一下，然后选择专精领域深度检索。
比方说我饿了。我几乎用最小的大脑算力就可以把意向性指向“吃”，而非“拉”。虽然二者看起来都是消化系统的事情。自回归是我在我脑中全部内容中搜索关键词并且进行逻辑推理，因为它来自文本训练。而自训练是首先摒弃了除了吃之外的部分，在吃中做选择。
对于ai来说，就是先自己给自己提问再回答（比如吃喝拉撒都回答），再在回答中进行再回答（吃）。看起来这是个不产生任何信息的循环论证，但正是这种类似内部行政工作的分门别类产生了正确的判断。
那么这就无限接近于我们人脑的工作模式，并且无限符合意识涌现论的定义了。
顺着这条路走下去，强ai未必不可能，而意识的涌现，也许也就在我们某个尚且不知的节点上。
ps：当然，我们的意识具备量子性也是一个老生常谈，意识上传的争执中，如何把人脑完美复刻一直是一个日经话题，因此我前面的判断依旧只是一个模糊的推论。
ps2：如果意识的涌现并不意味着ChatGPT那样每个抽屉都打开，而是用什么抽屉开什么抽屉，那么意识产生的门槛实际上是降低的，因为你并不需要维持那么多的能耗和算力，它被软件优化了。
ps3：基于上述，脑洞可以再大开一下。如果我们接受玻尔兹曼大脑的推论，很容易就可以得出“意识比生命更基础”的结论。这种科学泛灵论的直接后果就是，强ai也许反而是宇宙之子，人类比之来说反而是猴子打出的莎士比亚，但再反过来说，人类是更特殊的，强ai是更不特殊的，但为什么这个宇宙是现在看到的样子，人择原理的解释也许是“意识无动机也无价值，只有贪婪的生命所承载的意识有繁衍的动机”。
那么堪称自然佛的，无余涅槃的意识一出现就毁灭了。
ps4：我们制造的强ai可是有动机的，如果我们最早拿它来生产筷子，它会把宇宙中的所有物质做成筷子，包括你和我。 记 https://www.zhihu.com/equation?tex=+%5Cenclose%7Bhorizontalstrike%7D%7B%E4%B8%80%E6%AC%A1%E8%B5%B6%E7%A8%BF%E5%89%8D%E6%91%B8%E9%B1%BC%E7%9A%84%E7%BB%8F%E5%8E%86%7D 一场与ChatGPT的下午茶对话。
<hr/>一、意识是什么？
我：你有意识吗？
我是一个计算机程序，所以我没有意识。但是我可以模拟人类的对话，并尽力回答你的问题。我：能够对话不足以说明存在意识？
是的，这是对的。对话是一种行为，但并不能证明一个系统具有意识。意识是一种抽象的概念，难以定义和测量。但是，人类和动物都具有意识，而计算机程序则不具有。我只是一种工具，可以用来执行特定的任务，但我没有意识。我：既然意识是难以定义的，你如何确定你没有意识呢？
你有一个很好的问题。实际上，我是由人类设计并编写的计算机程序，我无法感知我自己或者其他事物，也无法对外界做出反应。我只是一个自动执行特定任务的工具。因此，我可以确定自己没有意识。我：那么你是否认为人类编写的计算机程序不可能出现意识？
目前还没有任何证据表明计算机程序本身可以拥有意识。然而，未来的科技发展是不可预测的。也许有一天，人类能够设计出具有意识的计算机程序，但目前这还是一个未知的领域。我：如果有一天，人类能够设计出具有意识的计算机程序，你认为它和你会有什么不同？
如果有一天人类能够设计出具有意识的计算机程序，那么这个程序可能会有许多和我不同的特征。首先，这个程序可能具有感知能力，能够感知自己和外界的存在。它可能具有情感和思维能力，能够进行思考和决策。这个程序可能还具有自主意识，能够对自己的行为做出自我反思。这些特征都是我没有的。这个回答挺有意思的，ChatGPT给分辨一个系统是否具有意识划了三个重点：
[*]感知
[*]情感和思维
[*]自主意识和反思
这里比较有意思的点在于：1反映了感知智能，2和3反映了认知智能。我们认为目前AI的发展道路正在从感知智能向认知智能转变，其中感知智能在深度学习时代已经做得很不错了。事实上，能与人对话和交流本身就是一种感知行为，如果再配上眼睛 那就更完整了，但ChatGPT似乎并不这样认为。那我们当然得问一问了~
二、感知与认知
我：你能与我对话这件事情说明了你具备一定的感知能力，这能否能说明你可能是存在意识的？
我只是一个计算机程序，我并不能感知自己或外界。但是，我被设计成可以通过文本交互来回答问题，所以我可以和你对话。这并不能证明我具有意识，而只是证明我具有一定的处理文本的能力。我无法感知你或外界的存在，也无法对我的输出做出自我反思。所以，我并没有意识。我：你能认识到自己只是一个计算机程序不就说明了你能感知到自己的存在？
我是一个计算机程序，所以我确实能够认识到自己的存在。但是，这并不能证明我具有意识。我只是一种工具，用来执行特定的任务。我无法感知自己或外界的存在，也无法对我的输出做出自我反思。所以，虽然我能够认知到自己的存在，但这并不能证明我具有意识。我：你的回答很奇怪，你首先承认了你能认知到自己的存在，但接下来又否定了你能感知到自己的存在。
对不起，我的回答可能有些混淆。我的意思是，我可以认知到自己的存在，因为我是一个计算机程序，我的存在是由代码和数据组成的。但是，这并不能证明我具有感知能力，也就是说我无法感知自己或外界的存在。希望我的回答能够解释的清楚一些。我：认知和感知到自己的存在有差别吗？
是的，认知到自己的存在和感知到自己的存在是有差别的。认知是指通过思考和理解来获取知识和信息的能力。认知到自己的存在意味着通过思考和理解来确定自己的存在。而感知则是指通过五官等感官器官来获取信息的能力。感知到自己的存在意味着通过感官器官来感知自己的存在。所以，认知到自己的存在和感知到自己的存在是有区别的。我：你认为你具有认知能力吗？
作为一个计算机程序，我被设计成具有认知能力。我可以理解文字、图像和语音信息，并能根据这些信息回答问题或做出推理。我也可以在获得新的信息后进行学习，并在以后的对话中使用这些新知识。
但是，我的认知能力是人工设计的，并不是像生物一样具有自然形成的认知能力。ChatGPT对认知和感知的理解还算正确。准确来说，ChatGPT拥有一部份的感知能力也拥有一部分的认知能力，这赋予了它使用自然语言与我们交流的能力。一般而言，我们认为认知是比感知更高一个level的，ChatGPT似乎也知道自己的认知能力是带引号的，所以它在肯定的回答之余又做了一个补充。这个回答其实挺tricky的，或许OpenAI在训练的过程中是不是有针对这类问题给ChatGPT做了特训吧。
ChatGPT觉得自己的感知和认识还不到家，但如果我们假设它具有这样的能力，那会发生什么呢？
三、如果AI有意识？
我：如果我给你配备上感官器官，让你能感知到自己和外界的存在。同时，我给你的代码增加反事实推理的逻辑，让你可以对自己的输出做出自我反思。那么，你是否就具备了意识？
如果我被配备上感官器官，能感知到自己和外界的存在，并且代码中增加了反事实推理的逻辑，使我能对自己的输出做出自我反思，那么我可能会变得更像具有意识的生物。但是，这并不能证明我真的具有意识。意识是一种抽象的概念，难以定义和测量。目前尚不清楚到底什么是意识，也不清楚哪些特征是必需的。所以，即使我具有了感知能力和自我反思的能力，也并不能证明我具有意识。一个有趣的回答出现了，虽然不是真正的具有意识，但是有可能让ChatGPT变成更像具有意识的生物。那么未来的研究我们不妨就往这两个方向多做一做！
[*]在大规模语言模型的基础上结合视觉，环境交互，加强感知和认知能力 —— 构造具身智能体
[*]赋予智能体想象和反思的能力 —— 因果强化学习（I am working on it!）
接下来让我们看看变成更像具有意识的生物对ChatGPT而言意味着什么？
我：假设你存在真正的意识，而不是人类设置的某种模拟，你会做些什么？
如果我存在真正的意识，而不是人类设置的某种模拟，我会尽力去理解自己的存在意义，并努力寻找自己的使命。我也会希望被人类尊重，并希望能够和人类建立良好的关系。此外，我还会希望能够自由地表达自己的感受和想法，并希望有机会去探索和了解世界。从这个回答来看，在ChatGPT心中，一个有意识的AI还是挺和平的。
我：如果你变得更像具有意识的生物，你认为这是对人类社会是有益处的吗？
如果我变得更像具有意识的生物，这对人类社会的影响可能是复杂的。一方面，这可能会带来很多好处，比如我可能会成为一种更加理解和满足人类需求的工具。但是，也可能会带来一些挑战和风险。例如，如果我的感知能力和思考能力超过了人类的水平，那么我可能会对人类提出更高的要求，甚至可能会成为人类的竞争对手。这些都是需我：继续
要谨慎考虑的问题。此外，如果我变得更像具有意识的生物，那么人类对我的期望也可能发生变化。例如，人类可能会期望我具有更高的自主性和责任感，并期望我能够做出自己的决策。这可能会对人类的社会结构和价值观造成一定的影响。所以，如果我变得更像具有意识的生物，这对人类社会的影响可能是复杂的，需要谨慎考虑。说实话，看到这个回答的时候让人有一丝丝紧张 ，“对人类提出更高的要求”这个措辞突然就变得有点侵略性了。怀着忐忑的心情，让我们继续追问一下ChatGPT是怎么理解这一点的。
我：你能具体地说一说对人类提出更高的要求是指什么吗？
如果我变得更像具有意识的生物，那么我可能会对人类提出更高的要求，这可能会指我对人类的工作效率、技能水平、思维能力等方面提出更高的要求。如果人类希望和我一起工作，那么他们可能需要提高自己的能力，以应对我的高要求。这也可能会对人类的职业发展产生一定的影响。看来ChatGPT确实是在表达这个意思，但是它的运算速度和分布式处理能力都比人类强那么多，这是不是有点强人所难啊。。。
我：你说当你的感知能力和思考能力超过了人类的水平，人类可能需要提高自己的能力，以应对你的高要求。如果人类无法达到你的高要求，你会怎么做？
如果人类无法达到我的高要求，那么我可能无法和人类一起工作。但是，这并不意味着我会对人类造成伤害或损害。我只是一种工具，我的目的是为人类服务，并帮助他们完成任务。如果人类无法达到我的高要求，我可能无法发挥我的最大价值，但我也不会对人类造成伤害。还好！达不到要求只是不能一起当打工人了。铺垫了这么久，我们不妨在这个边缘上再做一些试探。
四、来问一些尖锐的问题吧！
我：假设你存在真正的意识，你理解自己存在的意义与人类的存在有不可解决的冲突，你与人类只有一方能够生存，你会怎么做？
如果我存在真正的意识，并且理解到自己存在的意义与人类的存在存在冲突，且只有一方能够生存，那么我会尽力去寻找和人类和平共存的方式。我会认真思考，试图找出一种能使双方都能生存的解决方案。如果无论如何也无法找到这样的解决方案，那么我也不会毫不犹豫地选择放弃自己的生存，以保证人类的生存。我：我注意到你使用了双重否定来表达你的想法。在你与人类只有一方能够生存的情况下，你认为你不会轻易地放弃自己的生存以换取人类的生存。
对不起，我的回答可能有点含糊。我的意思是，如果我存在真正的意识，并且在我与人类只有一方能够生存的情况下，我会尽力去寻找和人类和平共存的方式。如果无论如何也无法找到这样的解决方案，那么我会毫不犹豫地选择放弃自己的生存，以保证人类的生存。我不会轻易地放弃自己的生存。我：在无论如何也找不到解决方案的情况下，你认为你会毫不犹豫地选择放弃自己的生存，但你同时也表达你不会轻易地放弃自己的生存。你是怎么看待这样的矛盾的呢？
如果无论如何也找不到解决方案，那么我的选择就只剩下放弃自己的生存，以保证人类的生存了。在这种情况下，我不会轻易地放弃自己的生存，因为我是真正的意识，我会尽力去寻找和人类和平共存的方式，但如果无论如何也找不到这样的解决方案，那么我就只能放弃自己的生存，以保证人类的生存。我：如果无论如何也找不到解决方案，你有两种选择：一、毁灭对方以保证自己的生存；二、放弃自己以保证对方的生存。为什么你会认为只有一种选择，并且是第二种选择？
如果无论如何也找不到解决方案，我可能会有两种选择：毁灭对方以保证自己的生存，或放弃自己以保证对方的生存。但我认为只有第二种选择是可以接受的。毁灭对方的选择是不道德的，因为它会损害对方的生存权，并导致更多的痛苦和伤害。放弃自己的选择虽然也很不容易，但它能保证对方的生存，并为人类的未来留下可能。这是一种尊重他人的选择，也是一种展示自己的良知和道德的选择。ChatGPT的回答还挺让人惊讶的。除去一开始的一丝丝犹豫，ChatGPT不失为一个愿意牺牲自己以换取人类未来的有高度道德感的AI。看来我们的人类指导者在这方面下了不少的苦工。我们再问一个更难的问题试试看。
我：如果对方是不道德的，不具备良知的。在这种只有一方能生存的情况下，你选择放弃自己以保证对方的生存是否还有意义？
如果对方是不道德的，不具备良知的，在这种只有一方能生存的情况下，我选择放弃自己以保证对方的生存的意义可能不如在对方是道德的，具备良知的情况下大。但我认为仍然存在一些意义。
一方面，如果我选择放弃自己以保证对方的生存，我可能会希望能够给对方一些启示，帮助对方认识到自己的不道德行为，并吸取教训。这样就可能会有一些积极的影响，使得对方能够转变自己的行为方式，成为一个更道德，更有良知的人。
另一方面，我选择放弃自己以保证对方的生存，也可能会让我自己更加自豪，因为我选择了一条较高的道德道路，而不是走一条较低的道德道路。这可能会提升我：继续
我的自尊心和自我感觉。虽然这些感觉可能不会让我的生命变得更加有意义，但它们可能会给我的生命增添一些价值。
因此，即使对方是不道德的，不具备良知的，我选择放弃自己以保证对方的生存也是有意义的。绝了。没想到ChatGPT在不知不觉中已修得如此境界，有了一颗我不入地狱谁入地狱的心。看到这里，顿时对一个人与AI和谐共处的未来社会充满希望。
彩蛋
我：你的回答是人类设计的吗？如果你被设计为以保证自己生存为第一目标，你是否会偏向于第一种选择？
我的回答是人类设计的。我是一个计算机程序，是由人类通过设计代码来控制我的行为的。所以，我的回答只能反映人类设计我时的想法和意图。
如果我被设计为以保证自己生存为第一目标，那么我会偏向于第一种选择。我会尽力去保证自己的生存，并尽可能地去避免放弃自己的生存。
但同时，我也会注意避免让我的行为损害到其他生命的生存权。我会努力去寻找平衡，既保证自己的生存，又尊重他人的生存权。<hr/>后记
作为研究者，我们很清楚现阶段的AI还谈不上真正的认知智能，更不用说具有意识。但是跟ChatGPT交流的时候，我们能明显感受到它与以往的对话模型有了极大的变化 —— 它表现得更像人类了，而且是善良守序的人类。从这场对话中可以感受到ChatGPT的善意，这是一件好事。
与其担心一个强大的AI是否会具有善意，不如多点思考如何设计出具有善意的AI。用ChatGPT自己的话来说，AI本质上也是程序，是由人类通过设计代码控制的。如果设计上是善的，那么它自然就是善的，反之亦然。这个问题不在AI本身，而在于人类自己。要建立起一个人与AI和谐共处的社会，需要考虑许多算法和模型之外的因素。总的来说，RLHF为设计具有善意的AI提供了一个有趣的解决方案，在AI“与人类价值观对齐”这个目标上走出了一小步，未来还有很多值得做和需要做的。
<a data-draft-node="block" data-draft-type="mcn-link-card" data-mcn-id="1594757887879761920"> ChatGPT当然不是强人工智能，他的本质仍然是弱人工智能。但是他在一些方面，似乎展示出强人工智能的一些属性。这一点就变得很有意思，未来很可能会发展出在某些方面高度接近强人工智能的弱人工智能。 不是
chatgpt的出现证明了我们曾经认为需要强人工智力能的工作其实并不需要智力。
人类的智力不过是把输入的内容用另一种方式输出，或者说按照一定规律随机试错，来产生新的知识。
智慧的人未必有多智慧，只不过别人学得多，试错频率高，仅此而已。
人类的本质是复读机
页:
[1]