悄悄虫 发表于 2023-10-4 06:52:38

NLP和推荐那个更有前景?

试图从历史、现状、未来,三个发展阶段来阐述此问题

beyond004 发表于 2023-10-4 06:53:30

请允许我们从一个简短的假设开始——假设您想在iPhone上设置闹钟。您启动 Siri,并告诉它为明天设置闹钟。Siri 会回复“什么时间?”,您指定了上午 9 点。说完,闹钟已经设置好了。
在这个简短的互动中,您激活了一个设备,该设备听到了您的演讲,处理了该演讲,执行了一个操作,并用一个句子进行了响应。整个交流是通过自然语言处理(NLP)实现的。自然语言处理是任何机器或程序处理人类语音能力的基础。这是Siri等可识别语音助手以及消息应用程序中的聊天机器人背后的技术。
什么是自然语言处理?
自然语言处理是是计算机科学领域与人工智能领域中的一个重要方向,被誉为“人工智能领域皇冠上的明珠”,它是研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法。任何机器识别对它说的话、理解其含义、确定适当的操作并以用户将理解的语言做出响应的能力的总称。NLP在各个地区和行业都至关重要,并且汉语在技术的发展中发挥着重要作用。使用不同的语言和方言是抵消偏见和全面改进技术的好方法。
自然语言处理术语要知道
人类的语言中夹杂着细微差别、发音错误和口语。自然语言理解旨在解决人类语言的复杂性。语言处理的主要研究领域之一是从自然语言处理过渡到自然语言理解。自然语言理解涉及如何最好地处理非结构化输入并将其转换为机器可以理解和采取行动的结构化形式这一狭窄的方面.
实体注释:实体注释是指从句子或非结构化数据中提取信息单位并使其结构化的做法。这些单位可以包括名称,如人、组织、位置名称和专有名词。它还可用于识别数字表达式,如时间、日期、金钱和百分比表达式。
语义注释:语义注释有助于评估搜索结果。从本质上讲,公司正在寻找提高搜索相关性的方法,以便客户可以在搜索引擎中实际找到他们的产品。问题是,大多数产品描述因来源而异,而且往往不准确。语义注释通过标记不同的产品标题和搜索查询来帮助改善搜索结果。
语言注释:语言注释是指评估任何给定句子主题的实践。这是一个广泛的流派,但本质上它与文本分析有关,无论是对社交媒体数据的情感分析,还是使用自然语言处理来回答常规问题。
自然语言处理是如何工作的?
以市面上常见的语音机器人为例,在实际应用中,当用户与机器人产生对话和问询后,机器人首先需要依托ASR技术,将用户传过来的语音信息转换成文本信息,完成“接收用户信息”;其次通过NLP技术,将文本转化为系统能够识别的信号,实现“理解用户表达的意思”。最后机器人将会从数据库中寻找并提取出匹配的答案,但此时该答案仍然是文本形式,机器人便会通过TTS技术,将文本信息转化为语音信息播出,与用户完成最终的“交谈”。这一整套流程。
自然语言处理可用于什么?
语音助手:如上所述,Siri和小度等语音助理由自然语言处理提供支持。这种应用的是通用模型。
语音机器人:由于语音机器人模仿真实的对话,他们严重依赖自然语言处理技术。大多应用垂直行业模型训练。市面上除了应用于各种产品身上的还包括应用于企业客户服务上,例如沃丰科技的语音机器人,服务于企业的营销、服务、管理各个方面,做的就是垂直行业模型,根据不用行业、不同场景的词汇语音对模型进行训练。
客户服务:许多公司转录和分析客户通话录音。自然语言处理有助于分析这些数据,并使您能够更快地响应客户需求。例如目前市面上有智能质检的产品,例如飞鹤应用的智能质检,对其客户服务全流程的语音和文字进行质检,不当言论实时检测
情感分析:自然语言处理用于确定任何文本的语气。这对于客户情绪识别具有很大的好处,可以用于客户情绪识别、舆情监控等。飞鹤应用的智能质检就具备此项功能。

gysldj 发表于 2023-10-4 06:53:55

先说结论:如果你是想搞学术,NLP更有前景;如果你是想就业,推荐更有前景。

先来说下NLP。
1、NLP在工业界更多只是辅助作用,为公司的业务提供技术辅助,但是不会创造利润,比如,推荐会用到NLP,搜索也会用到NLP,可以说,推荐和搜索都是一家互联网公司核心的现金牛部门,但是NLP在其中的地位却很鸡肋,更多知识提供基础辅助而已,纯NLP技术在工业界的应用场景是非常有限的,目前来看,也就智能对话、机器翻译等少数场景对NLP人才有着强需求。
这也是为什么很多NLP工程师,在职业发展中期,都会跳到其他方向,以推荐和搜索居多,因为搞纯NLP,在工业界实在是没啥前途,所以这也有了这样一句话:NLP是搜推广的黄埔军校。
2、但是NLP在学术界的发展前景,是远远好于推荐的,一方面,自然语言是人类智慧的精华,现阶段NLP的水平离科幻大片中的强人工智能还相差甚远,这就需要对NLP的持续研究。并且就现状而言,深度学习在NLP上的应用还没有CV那么成熟,各种顶会上NLP方向的文章只能是只增不减。
而从另一方面说,NLP的评价指标也相对单一,好就是好,不好就是不好,并且好的模型效果对算法实时性没有推荐系统要求的高。模型fancy,想法work,基本上就是一篇paper,所以在学术界NLP是大有可为的。
再来聊聊推荐系统。
1、目前所有算法方向里,搜索推荐广告在工业界的商业模式和技术无疑是最为成熟的,可以说是就业最稳的方向。目前绝大多数你听过名字的一线二线大厂都会有自己的推荐算法部,并且这个部门的业务也基本跟公司收入相关度很高。
即便现在疫情之下,各大厂都在裁员,推荐方向人才的招聘也仍没有停止,因为这可是能实实在在为公司带来现金流。
所以说,如果后续以就业角度来看的话,推荐/广告或许是一个不错的选择,关于如何准备推荐算法,可以看我另一篇回答:推荐系统需要那些核心技术点
这里先奉上我整理的推荐算法入门+进阶书单,包含数学、机器学习,深度学习、数据分析、大数据和推荐算法等硬核内容,都是pdf版本,可下载,在这里免费分享给大家。
年度最新!对新手友好的推荐系统入门+进阶书单(含教程、论文、代码、数据)2、但是推荐算法在学术界的发展就差点意思了,现在推荐算法的论文说实话,水得厉害,好的paper基本都出自工业界。
可以说,工业界对于推荐系统的研究和应用,要远远领先学术界。根本原因在于,学校没有工业界的真实生产环境,也没有真实生产数据。因此,学术界和工业界的gap是相当大的,真正的推荐系统只有在工业界才能接触到。
综上,相比于NLP在工业界的发展前途不如学术界,我认为推荐系统恰好相反。
以上。

猫猫去偷欢 发表于 2023-10-4 06:54:50

跳槽找工作的时候就能凸现出这个问题。
现状:在上海的nlp的坑位比推荐少。要求比推荐高。
历史:nlp最近几年突飞猛进的主要原因是算力的提升以及从LSTM到Transformer再到bert以及魔改的一些语言模型。使得一些下游任务的表现提升明显。
未来:作为行业从业人员,不好预测两者的未来,但我更看好推荐。

sinalook 发表于 2023-10-4 06:55:06

方向不一样,nlp是针对性处理方式,推荐是综合性应用服务。看你做什么了
页: [1]
查看完整版本: NLP和推荐那个更有前景?