为什么说NLP死了？
随着chatgpt等生成式AI的爆火，部分NLP的研究者表达了消极的态度，有什么具体的理由吗，我只是个学习语言学和人工智能的大一学生，有人可以解答一下吗（可怜）？另外，中国目前不是还没有和chatgpt一样强大的人工智能吗，如果说NLP死了，那中国的类chatgpt怎么办？就不发展了？
真的很好奇… 传统那套小作坊式的NLP已经死了，
未来不是单打独斗的个人主义英雄时代，
而是抱团的割据战，
这是小作坊，个人英雄主义者们对复杂系统缺乏敬畏的必然结果 首先同意有的回答提到的，chatgpt之前学术界和工业界之间已经存在比较大的gap,学术界很多论文热衷于在开源数据集上实现新的sota,而工业界很多应用仍然还是以Bert的魔改版本为主来应用到NLP的各种业务中，虽然NLP各个细分任务都有新的工作出来,但也可以说Bert出来之后到chatgpt出现，NLP没有太大的实质进展。从工业界来说，对比cv，nlp的落地应用很尴尬，因为nlp提供的能力很难满足很多应用场景的需求，就比如说chatbot，端到端的学术研究很多，但是落地的一个没有，因为可控性太差，而且常识推理能力也比较弱，后处理兜底的工作量还不如用rule base。
另外企业非常关心成本问题，虽然使用bert finetune需要标的数据量，几千条也能做特定领域任务，但是几千条也是钱，而且再换个场景，还得继续标数据。prompt tuning出来后，few shot leaening开始有一些应用场景，但效果还难以满足很多业务需求，更多还是停留在研究领域。
ChatGPT的出现，使得NLP的能力直接提升了几个数量级，主要体现在几个维度:1.节省成本:输入几个示例，不需要要finetune,就能得到细分任务的可用结果；2.涌现出推理能力:我认为这个能力非常重要，也是chatgpt明显区别于以往chatbot的标志，它能做鸡兔同笼，能写代码，这种能力是之前很难想象的，就是chatbot居然开始会“思考”了；3.强大的上下文能力和语义理解能力，之前的chatbot聊几句就聊飞了，而chatgpt给你感觉一直在围绕你的所想在聊；4.多任务处理能力:以往的生成模型，可能写诗很厉害，但就不能写代码，可能创作现代文厉害，就不能创作古文。而chatgpt属于全能选手，能力覆盖领域远远超过了之前的模型。
以上,集这么多优点于一身的chatgpt,对NLP领域带来的不仅仅是细分领域任务的极大挑战，还有更重要的是，在大模型越发加剧学术界和工业界差距的同时，NLP领域应该如何面对这种变革，也对自身的研究思路进行变革，利用大模型的能力，更小的平替模型？显然这些还都不是答案，拥抱变化吧！NLP的大航海时代说不定才刚刚开始！ 可以类比经济活动中的垄断
产业界巨头拥有的算力资本恰巧在本问题上可以发挥规模效应——大模型
使学术界在算力出奇迹方法论可行的前提下无法参与竞争
问题是；
魔改一下就水篇论文
一年水成千上万论文的虚假繁荣
难道才是好的吗
也不是说学科问题已经解决完了
不影响那些静心搞研究的真学者 莫慌莫慌
短时间内还死不了
就是现在不好讲故事了
容易出现折腾半天还没有直接调用ChatGPT的效果好的尴尬局面
巨头们玩儿LLM，我们玩儿LORa。
大家都有光明的未来～
推荐阅读：
LoRA:大模型的低秩适配-最近大火的lora到底是什么东西？为啥stable diffusion和开源ChatGPT复现都在用？
【OpenLLM 000】大模型的基石-Transformer is all you need.
【OpenLLM 001】大模型的基石-架构之争，decoder is all you need? nlp本身没死，但nlp的研究现在确实有点麻烦。
因为chatgpt为首的transformer系模型，或者说LLM模型的成功说明了一件事：力大真的飞砖。
什么意思呢？比如以前某个ai方向效果不好，那第一反应当然是改进算法，改进模型，用更精妙的逻辑去处理，或者加点小trick。
但是现在呢，transformer系的模型以非常简单的逻辑达到了比你更好的效果，你疑惑为什么，然后就在论文里看到了那几千亿的参数、几十个TB的数据量和可以预想到的训练所需的大到恐怖的算力需求。
而这种东西，不是一个普通实验者能够掌握的。
如果这就是AI的未来的话，那就意味着小实验室能做的将非常有限。你再怎么费劲改进你的模型，效果总还是比不上它们——只因为你没有那么多训练数据和算力。更不要说这些模型可迁移性还特别强，人家哪怕不是专门做你的方向的，干你这个方向的活效果也比你设计的专门做这个方向的模型效果好。那你的研究还有什么意义呢？
你说你要改进transformer？好的，先不管你怎么做到的，总之你认为自己的新方法把参数需求从几千亿降到几十亿了，数据量也降到了500GB。一百倍诶，真厉害。现在请把权重炼出来以证明你的改进方式没有导致严重性能下降。然后你就傻眼了，因为手头的算力炼这个一百倍改良版的都炼不出。你一次都没炼成过，自己都不知道这方法到底行不行。
所以nlp本身仍会在大组织的推动下继续发展，但nlp研究也将变成只有它们才能做的事。普通研究者最多做点偏落地和应用的东西了。
（以上事情并不是一定会发生，只是说现在看来有这个趋势，然后有些人正是因为认同这个趋势而沮丧。至于我本人还是比较乐观的。原因和评论区的某位老哥说的差不多，技术和算力的发展总会带来新希望的。）
————————————————
4.14更新
微软开源了个新的“低成本训练方案”，据说能让大部分人都大部分人都训练的起自己的chatgpt。给出的预估开销是Azure云9小时，合300美刀。那确实只要有必要都训练的起了。
所以嘛，发展总还是会带来希望的。
页:
[1]