大数据与人工智能的关系？

大数据，人工智能

不仅仅是大数据和人工智能，你是不是还听说过云计算，机器学习，深度学习，神经网络，量子计算机等等的词。其实我跟你说，这些词在一定程度上都是相互交叉的，也就是大数据和人工智能的部分是交叉的，大数据和云计算也相互交叉，基本上都有所交叉，但也都具有各自的特性。
而他们交叉的结果，一般都是某一样具体的产品或者是一项服务。因为一个单独的技术没办法构成一个完整的服务，我们拿ChatGPT来举例，这基本上算是目前最火，也非常具有代表性的一个产品了。
ChatGPT本质上就是一个问答机器人，你问它问题，它会根据自己的理解进行回复，你看它的产品会觉得非常的简单，就是一个网页，然后有一个对话框。


但是实际上想要实现这个服务，其实背后需要的技术是非常多的。
我们就从大数据开始说，大数据其实就是很多的数据，指的是传统的数据处理应用由于数据量太大或者太复杂而处理不了的处理。
这个数据量一般用EB（Exabyte0）来表示，我们日常生活中最常用的数据单位是KB，MB或者GB。


一般一张手机照片就是50KB左右，这种照片不会很清晰，一般用在各种证件照需要上传的地方。
MB和GB也用的比较，小点儿的手机应用会到几百个MB，而GB的话大的应用会用到。
而TB，PB，EB就比较少见了。
而大数据一般是以EB起，这是KB的10万倍起。
这种级别的数据量，对于普通的软件或者应用是比较难以处理的。
就比如说一个处理图片的软件，处理几张照片就比较容易，因为就一些KB的图片，但是一旦给它几十万张照片让它处理，那就很难办了。
所以这也是为什么大数据要被发明出来，因为在当今社会中，数据在每时每刻产生，比如说一个超市的销售数据，一家银行的交易数据，社交媒体上用户的行为数据等等。这些数据如果能够被合理利用和分析，将会为商业决策、产品推荐、风险预测等带来巨大的价值。
如果你去看一下大数据和人工智能的课程，他们在大方向是重合的，大体的流程就是数据收集，数据清洗，数据预处理，建模以及分析。
鉴于人工智能的普遍性，其实每个人都应该去掌握基础的人工智能概念以及知识，因为你所在的行业或许已经被人工智能渗透的很深了，如果你不了解它，那么你会比其他的人落后的多，甚至会因为不了解而被它所取代。
在这个人工智能时代，要想不被取代，最好的方法就是去跟人工智能结合。这里我强推结合ChatGPT来帮助你学人工智能，它在这方面非常的强，胜过很多书籍和资料，最重要的是它可以扮演一个知识非常丰富且知无不言的老师。这就是大模型的魅力，它可以放大你的能力，比如说你不擅长代码，那么它可以帮助你实现你的想法，无论什么语言它都可以做的非常棒。其实无论是从业者，还是对这一行感兴趣的朋友，都非常的建议了解一下「知乎知」联合「AGI课堂」推出的【程序员的AI大模型进阶之旅】公开课，一共2天的课程，可以帮助你迅速的掌握大模型的潜力，以及它如何可以跟你的职业或者学习相结合。


而这俩者的区别其实就是侧重点的不同，大数据偏向于数据的处理，而人工智能偏向于如何用数据来提升模型的智能程度。
在计算机领域有一句很经典的话，garbage in garbage out。


对于一个人工智能来说，你给它喂的数据是垃圾的话，那它表现出来的智能程度也不会高到哪里去，说出来的话大概率也是垃圾。
完全可以说，大数据对于人工智能来说就是精神粮食的存在，只有食物（数据）提供的到位，做出来的菜（ChatGPT回答）才会香。
如果你的训练数据不到位，可能就会真的把人工智能模型训练成人工智障。


想象一下，大数据就像是一家超级大的食材市场，有着数不尽的各种各样的食材。而人工智能呢，就像是一位大厨，用那些食材做出美味的菜肴。

• “选购食材”（数据采集与预处理）：首先，大厨（人工智能）要去市场（互联网）选购食材（数据）。这些食材可能来自水果摊（社交媒体）、肉铺（传感器）或者粮油店（交易记录）。可是，食材刚买回来时可能杂草丛生、泥沙俱下，大厨得先洗洗切切，去掉不需要的部分。这个过程就像是大数据的清洗和预处理。
  
• “储藏食材”（数据存储与管理）：食材买回来后，不能乱丢乱放。大厨得用各种大大小小的储藏柜（分布式文件系统、NoSQL数据库等）来放。这样，等下次再做饭时就可以迅速找到所需的食材，不必东奔西走。
  
• “下厨做菜”（机器学习和深度学习）：食材准备好了，大厨就开始下厨做菜。有些菜是炒的（图像识别），有些是炖的（语音处理），还有些是蒸的（自然语言理解）。例如，像我这样的聊天机器人ChatGPT，就是通过大量的对话食材来炖制而成的。
  
• “随叫随到”（实时分析与决策）：你想吃什么，大厨都能马上为你准备。这就像是企业通过实时分析和决策，即时了解你的需求，并利用人工智能为你推荐合适的产品。
  
• “确保卫生安全”（安全与合规性）：当然，大厨做饭还要确保卫生安全。人工智能也是这样，要确保数据的安全和合规性，防止被不法分子滥用。
  

所以呢，大数据就像是人工智能的食材，而人工智能就是那位大厨，把这些食材做成了各式各样的美味佳肴。无论是个人的智能助手，还是工厂的自动化生产线，都离不开大数据和人工智能的相互配合。
这不仅仅是一项技术，更是一种新的生活方式，让我们的世界变得更加智能、高效、人性化。这就像打开了一扇通往未来的大门，那里充满了想象和可能性，等着我们一一探索和实现。

大数据作为人工智能发展的三个重要基础之一（数据、算法、算力），本身与人工智能就存在紧密的联系，正是基于大数据技术的发展，目前人工智能技术才在落地应用方面获得了诸多突破。
在当前大数据产业链逐渐成熟的大背景下，大数据与人工智能的结合也在向更全面的方向发展，大数据与人工智能的结合涉及到以下几个方式：
第一：大数据分析。从技术的角度来看，大数据分析是与人工智能一个重要的结合点，机器学习作为大数据重要的分析方式之一，正在被更多的数据分析场景所采用。机器学习不仅是人工智能领域的六大主要研究方向之一，同时也是入门人工智能技术的常见方式，不少大数据研发人员就是通过机器学习转入了人工智能领域。
第二：AIoT体系。AIoT技术体系的核心就是物联网与人工智能技术的整合，从物联网的技术层次结构来看，在物联网和人工智能之间还有重要的“一层”，这一层就是大数据层，所以在AIoT得到更多重视的情况下，大数据与人工智能的结合也增加了新的方式。
第三：云计算体系。随着云计算服务的逐渐深入和发展，目前云计算平台正在向“全栈云”和“智能云”方向发展，这两个方向虽然具有一定的区别（行业），但是一个重要的特点是都需要大数据的参与，尤其是智能云。
大数据的发展本身开辟出了一个新的价值空间，但是大数据本身并不是目的，大数据的应用才是最终的目的，而人工智能正是大数据应用的重要出口，所以未来大数据与人工智能的结合途径会越来越多。
我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。
如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以在评论区留言，或者私信我！

额 不请自来给大家分享一下我的拙见。
目前在网上很多人都在混淆人工智能和大数据的概念和体系，给大家灌输一个人工智能=大数据或者是大数据是人工智能的一部分的概念，目的就不言而喻了不就是为了从中获利吗？
主要是最近人工智能比较火，然后因为是刚刚发展所以很多规则和概念还不清晰，所以很多机构就拿着Python+爬虫+大数据+一些乱七八糟的东西然后就和你说这是人工智能，学完可以找到多少年薪的工作。我这边的读者就有和我反馈的。
现在我来说下，人工智能和大数据是两个学习体系。
大数据的作用是对数据的挖掘、传输、储存、分类、分析（国内的话这个方向的运用比较少因为需要大量资金的支持，都是大厂在做的。）等着五个主要作用，然后这些作用的结果就是人工智能模型训练需要的东西了，但是还要经过标注才能够运用。
人工智能的模型训练需要大量的数据支撑，根据这个很多机构就会忽悠你大数据是人工智能的一部分，然后包装一下就开始谋利了。
关注咕泡人工智能
分享每日最新资讯和技术干货

谢谢邀请
这要从客观认识大数据谈起。
一、大数据的三个层次和核心解读

（一）三个层次和核心

我们将大数据分为三个层次。一是容量很大的数据，比如两个仓库都堆满了很多书，甲仓库的书全是大学二年级数学教材，乙仓库的为大学各类教材及其提升学生综合能力的各类图书，两仓库都满足了“大”的要求；二是大容量且有用的数据，比如对大学教学来说，肯定上述甲仓库的书几乎没用，而乙能满足这一要求；三是从中挖掘核心数据的强大能力，这个很考水平。
所以，大数据不能简单地理解为数据多，其核心是数据挖掘。挖掘数据则要涉及到云计算。这种如云般运算的能力与强度，实际上就是考验科技与研发人员的“认知”水准。

——摘自《新未来简史》一书


（二）对核心的解读
所谓数据挖掘（与传统定义有点不同），就通过对海量数据的交换、选择、整合和分析，发现新的知识，创造新的价值，带来"大知识"、"大科技"、"大利润"和"大发展"。
也就是，将海量数据最大化的、集约性的、多头性的运用于企业、社会、生活等等的各个方面，以创造最大的价值。
二、大数据的范围与深度认识

（一）范围认知

如今通过物联网（或互联网）感知到的被人们称之为“大数据”的数据（主要指人类信息交换、信息存储、信息处理三方面能力大幅提升后，人与人、人与物之间所制造的数据），相对于万物在同一时刻所释放的所有数据来说，仅仅只是微不足道的“微数据”而已。（摘自《新未来简史》一书）

（二）深度认知

如今概念的“大数据”依然是很表面的数据，比如说“你挥挥手，几个简单的动作是‘表数据’，物联网能感知；而挥手动作之下，深入到分子、细胞与组织内，数以亿计的‘宏数据’不能被感知。‘表数据’构筑起如今的大数据概念，在此基础之上的物联网、算法与人工智能等，能量非常有限”。

上述文字摘自《新未来简史》一书，是该书提出的“未来12大定律或理论”之一，即“宏表数据理论”。
（三）与人工智能（AI）、物联网的关系
1、与AI的关系

比如AI中的“深度学习”（机器学习的内容之一），实际上是个老话题，如今很时髦的原因，主要是因为信息技术的发展让搜集“大数据”成为可能，机器训练有了足够多的样本。
诸如阿尔法狗的棋步算法、洛天依的声音合成，以及无人驾驶、人脸识别、网页搜索等等高级应用中用到的神秘兮兮的“深度学习”“增强学习”，乃至最具潜力的“对抗学习”及其对应的“深度神经网络”“卷积神经网络”“对抗神经网络”等 都与大数据有关。
（摘自《新未来简史》一书

2、与物联网的关系（进一步解读与AI的关系）

物联网主要通过各种设备（比如RFID，传感器，二维码等）的接口将现实世界的物体连接到互联网上，或者使它们互相连接，以实现信息的传递和处理。
而且，由于物联网可连接大量不同的设备及装置（家用、生活、监测等各类电器和设备），嵌入在各个产品中的传感器（sensor）便会不断地将新数据上传至云端。这些新的数据以后可以被人工智能处理和分析，以生成所需要的信息并继续积累知识。
综上：
1、正是得益于大数据和云计算的支持，互联网才正在向物联网扩展，并进一步升级至体验更佳、解放生产力的人工智能时代。
2、对于人工智能而言，物联网（IoT）其实肩负了一个至关重要的任务：资料收集和传递。




三、大数据的联动分析（放入整个现代科技、现代社会体系下）

这是大数据产生联动价值的根源。
一、实际上：

数据实际上是个老掉了牙的东西。上古时期的结绳记事、以月之盈亏计算岁月，到后来部落内部以猎物、采摘多寡计算贡献，再到历朝历代的土地农田、人口粮食、马匹军队等各类事项都涉及到大量的数据。这些数据虽然越来越多、越来越大，但是，人们都未曾冠之以“大”字，那是什么事情让“数据”这瓶老酒突然换发了青春并如此时髦了起来呢？

当互联网开始进一步向外延伸，并与世上的很多物品链接之后，这些物体开始不停地将实时变化的各类数据传回到互联网并与人开始互动的时候，物联网诞生了。物联网是个大奇迹，被认为可能是继互联网之后人类最伟大的技术革命，是这样的吗？见“互联网将会这样被替代”章节详解。

如今，即便是一件物品被人感知到的几天内的各种动态数据，都足以与古代一个王国一年所收集的各类数据相匹抵，那物联网上数以万计亿计的物品呢？是不是数据大得不得了，于是“大数据”产生了。如此浩如云海的数据，如何分类提取和有效处理呢？这个需要强大的技术设计与运算能力，于是“云计算”产生了。其中的“技术设计”就归属于“算法”。“云计算”需要从天量数据中去挖掘有用的信息，于是“数据挖掘”产生了。这些被挖掘出来的有用信息去服务城市，就叫做“智慧城市”；去服务交通，就叫做“智慧交通”；去服务家庭，就叫做“智能家居”；去服务于医院，就叫做“智能医院”；去服务生活，就叫做“智能生活”……于是，智能社会产生了。不过，智能社会真正得以有序、有效运行，中间必须依托一个“桥梁”与工具，那就是“人工智能”。

这就是为什么，近几年时间内，诸如“人工智能”、“物联网”、“大数据”、“云计算”、“算法”、“数据挖掘”和“智能XX”这些高大上的时髦名词和概念，突然同时从地下冒了出来，原来它们都是“同一条线上拴着的蚂蚱”啊！

注意，万物大数据主要包括人与人、人与物、物与物三者相互作用所产生（制造）的大数据。 其中，人与人、人与物之间制造出来的数据，有少部分被感知；物与物之间制造出来的数据是根本没法被感知的。

对于人与人、人与物之间被感知到的那部分很小的数据（相对于万物释放的量来说非常小，但是绝对量却非常大），主要是指在2000年后，因为人类信息交换、信息存储、信息处理三方面能力的大幅增长而产生的数据，这个实际上就是我们日常所听到的“大数据”概念，这是以人为中心的狭义大数据，也是实用性（商业、监控或发展等使用）大数据。据估算，从1986年到2007年这20年间，人们每天可以通过既有信息通道交换的信息数量增长了约217倍，全球信息存储能力增加了约120倍。信息存储、处理等能力的增强为我们利用大数据提供了近乎无限的想象空间。

—————上文引用自《《新未来简史：》 一书。
所以，诸如“人工智能”、“物联网”、“大数据”、“云计算”、“算法”、“数据挖掘”和“智能XX”这些高大上的时髦名词和概念，突然同时从地下冒了出来，原来它们都是“同一条线上拴着的蚂蚱”啊！


四、对大数据认知的升级，即坚持三原则与一悖论（很重要）

坚持三原则：大数据不会过时，但绝对不是最热门，更不能神话它。
坚持一悖论：即大数据悖论。

大数据悖论：提醒人们需避免陷入“数据主义”“数据宗教”等盲目崇拜的陷阱而失去理智。内涵：当大数据被少数人掌握并使用时，能产生奇效，但是，在竞争性领域，大数据被众人使用后，其效用将大打折扣，甚至引发破坏作用。——摘自《新未来简史》一书。

关于大数据悖论的深度认知，可参看《“大数据悖论”，几乎否决了《未来简史》立足的基石，以及否决了《今日简史》重大主题》，链接：
“大数据悖论”，几乎否决了《未来简史》立足的基石，以及否决了《今日简史》重大主题之一，大家怎么看？五、最后谈谈大数据专业

（一）专业概况
大数据是门系统学科，基于数据，核心是数学算法，通过一些成熟平台架构组件，完成人们对数据的使用。平台架构组件不断在升级更新，学习要脚踏实地从基础开始，不要有一蹴而就的心态。
大数据专业主要从大数据应用三个层面设置相关课程与学习，即数据管理、系统开发、海量数据分析与挖掘。
从而让学习者系统地掌握大数据应用中的各种典型问题的解决办法，包括实现和分析协同过滤算法、运行和学习分类算法、分布式Hadoop集群的搭建和基准测试、分布式Hbase集群的搭建和基准测试、实现一个基于、Mapreduce的并行算法、部署Hive并实现一个的数据操作等等，实际提升企业解决实际问题的能力。


（二）主要专业设置
目前技术应用分大数据系统运维（系统平台管理hadoop基础、相关组件原理安装维护、Hbase/spark/kafka/zookeeper等等）
大数据数据分析（商务数据分析、
六、主要资料引用来源

上述回答主要引用来源于新锐畅销书《新未来简史：区块链、人工智能、大数据陷阱与数字化生活》（与《今日简史》《未来简史》《人类简史》至少分别有80、100与50项对立的观点，几乎涉及30多门前沿科技、学科与未来的推测与推断）。如图：

在弱智能领域，大数据和人工智能的关系就像大海和鲸的关系，小河沟里养不了鲸。
在强智能领域，大数据的作用就弱多了，人们可以选择去海里捕鲸，也可以不去。