谈谈对大数据技术的理解与认识?

谈谈对大数据技术的理解与认识?

大数据VS小数据

小数据跟大数据的根本区别在于：小数据以单个人（个体）为唯一对象，重点在于深度，即像一位忠诚细致的“个人管家”那样对个人数据进行全方位、全天候地深入精确分析，同时还可主动灵活地设置各种外界访问权限以保护个人隐私；而大数据则侧重在某个领域（群体），大范围、大规模地进行数据的全面收集处理分析，侧重点在于广度。
智动数据——长期招聘岗位，期待你的加入！本公司目前在招聘一些大数据分析师，我们欢迎所有对数据分析感兴趣的人来试试，符合条件的可以投递简历（可培养！！！）投递方式见下方，更多岗位信息关注本公司公众号，欢迎主动与我们联系。（1、签订正式合同、五险一金；2、须大专及以上学历；3、无经验者由项目经理带；4、在京工作一年后要求回当地的工作的，可申请调回当地省会城市的分公司或合作企业工作；5、每日简历投递量非常大，欢迎主动与我们联系！！）


大数据（big data）：

指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
4V特征：

容量（Volume）：数据体量大，数据的大小决定所考虑的数据的价值的和潜在的信息；
种类（Variety）：数据类型的多样性，包括传统数据库、图像、文件和其他复杂的记录，如果只有单一的数据，那么这些数据就没有了价值，比如只有单一的个人数据，或者单一的用户提交数据，这些数据还不能称为大数据，所以说大数据还需要是多样性的，比如当前的上网用户中，年龄，学历，爱好，性格等等每个人的特征都不一样，这个也就是大数据的多样性，当然了如果扩展到全国，那么数据的多样性会更强，每个地区，每个时间段，都会存在各种各样的数据多样性；
速度（Velocity）：指获得数据的速度，就是通过算法对数据的逻辑处理速度非常快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。；
价值（Value）：指价值密度低，，你如果有1PB以上的全国所有20-35年轻人的上网数据的时候，那么它自然就有了商业价值，比如通过分析这些数据，我们就知道这些人的爱好，进而指导产品的发展方向等等。如果有了全国几百万病人的数据，根据这些数据进行分析就能预测疾病的发生，这些都是大数据的价值；

大数据的普及是社会的进程逐渐加快，使互联网技术更加的成熟了起来。大数据技术的兴起，也让我们的生活更加智能化、便捷化的生活，使我们的生活从此不再单调且枯燥。
它渗透在我们的日常生活中，且各行各业都在利用大数据技术实现企业的技术走向成熟化或实现企业转型。由于很多人对大数据技术产生了很大的兴趣，亦或者是为了获得高薪，所以很多人就选择了对大数据技术进行相关的学习并在这个领域从事相关工作。


大数据技术其实它是指大数据的应用技术，它涵盖了各类大数据指数体系、大数据平台等在内的大数据应用技术。
大数据岗位详情我们可以了解大数据的三个层面，透过这三个层面可以进一步对大数据有新的认知：
1、理论。
理论是基于对大数据认知的一个必经途径，同样也是被广泛认同以及传播的基线。在这里通过从大数据的相关特征定义来理解行业对大数据的一个整体描绘与定性；洞悉大数据的发展趋势；从大数据隐私这个特别而且十分重要的视角进行审视人和数据之间的长久博弈；从对大数据在价值的探讨从而来进行深入解析大数据的珍贵所在。
2、技术。
技术本身来说就是大数据价值体现的手段与前进的基石。在这里分别从分布式处理技术、云计算、存储技术以及感知技术的发展从而来说明大数据从处理、采集、存储到形成结果的一整个过程。
3、实践。
实践是大数据的一个最终价值体现。在这里分别从政府大数据，互联网大数据，企业大数据以及个人大数据这四个方面来描绘出大数据早已展现出来的美好景象和即将实现的蓝图。


大数据技术体系庞大且复杂，其中大数据的核心技术有这四方面，分别是：大数据采集、大数据预处理、大数据存储、大数据分析。

• 大数据采集：它是为对各种结构化以及非结构化的大量数据进行采集。
  
• 大数据预处理：它指的是在进行数据分析前，为了能够提高数据质量从而对采集到的一些原始数据进行一些清洗、填补和规格化的操作。
  
• 大数据存储：指的是利用存储器，通过数据库的形式来存储采集到的数据的一个过程。
  
• 大数据分析：是指对杂乱无章的数据，进行萃取、提炼和分析的过程。
  

大数据技术主要分为两种类型:

• 运营大数据技术
  
• 分析大数据技术。
  

运营大数据其实与人们生成的正常日常数据有着很大的关联。这可能是在线交易、社交媒体或者是在特定组织的数据等。可以简单的认为这就是一种原始的数据，用来提供分析性相关的大数据技术。

大数据以及大数据技术这些词在我们的生活中出现的越来越频繁，但人们却都是半知半解。简单来说，我们使用的抖音、快手、淘宝软件，会根据你的搜索、喜好等推送其他相关的视频或者产品，这就是大数据的功劳。
下面我来简单介绍一下什么是大数据技术。

大数据岗位详情
大数据技术可以理解为是一种涵盖各类大数据平台的、大数据指数体系的实用应用技术，面对这种大型的数据集，如果选择用传统的数据计算工具是几乎不可能完成的。那么大数据技术的出现就解决了这一难题，大数据技术可以通过数据采集并对千奇百怪的数据进行数据清理，留取高质量的数据进行储存，在进行数据分析统计，简单的报表统计可以用sql、hive统计，复杂的则可以使用spark、storm，最后数据可视化，为决策提供参考数据。
随着数据时代的发展，人们对大数据越来越好奇，但却认知模糊，并没有正确的理解何为大数据。那么我来解答一下你们的疑惑吧。
何为大数据

我们可以通过三个方面简单的了解
首先是理论层面 ，虽说实践出真知，但理论是实践的基础，是得到真知的必经之路，理论层面将大数据定义为具有很强的决策力、敏锐洞察发现力和流程优化能力，通过这些能力来适应海量、高增长率和多样繁杂的信息资产。
其次是技术层面 ，技术是大数据价值体现的必备手段，在这里我们可以通过一些技术工具，例如基础工具有VBA、Excel等，进阶工具python,使用这些工具进行信息数据的采集、处理、储存及最后的结果形成。
最后是实践层次 ，只有通过实践才能检验真理。在这里大到互联网的大数据、政府的大数据、企业的大数据的应用，小到个人数据的应用已经很好的展现了现代社会大数据应用的美好景象及前途
大数据分析师
大数据分析师要利用各种数据源，在海量的数据中发现数据规律，发现数据问题，负责大数据的数据分析以及数据平台的规划、开发、运营和优化，并且要通过项目设计开发数据模型，数据挖掘和处理算法，最后通过探索数据和数据模型的输出进行分析，给出分析结果。
那么数据分析师行业有前景吗

答案是：有，并且非常有
数据分析师行业是非常有前景的，通过以上对大数据、大数据技术以及数据分析师的解释介绍我们可以发现数据分析师的作用是越来越大的，越来越多的企业选择专业的数据分析师为项目做出合理科学的规划，以便正确决策项目，降低项目风险。
目前来说，数据分析师行业市场需求比较大，对口人才稀缺，随着互联网的发展，对这一岗位的需求会越来越大，只要大专以上学历，门槛并不算高并且薪资待遇也很可观，互联网行业工资待遇相比于传统行业的工资待遇都是较好的，所以我认为现在选择这一职业，是很有发展前景的。
如果你在选择专业、就业、择业时感到迷茫困惑，不妨试试大数据行业，我相信一定会收获不一样的体验，希望我的介绍对大家有用哦 !

所谓大数据技术，其实只能算是一个宽泛的概念，服务于大数据收集、处理、分析、挖掘等等的环节当中的工具、组件、框架，都能够算是大数据技术。
从比较具体的角度来说，一般提到大数据技术，大部分默认的认识都是再说大数据计算框架，按照大致的时间线来说——
第一代：Hadoop生态圈，有二十几个组件，其中MapReduce主要负责离线批处理，HDFS作为分布式文件系统，Yarn作为调度，是核心组件；
第二代：Spark，继承了MapReduce的思路，优化了批处理的性能，随后又推出了Spark Streaming，主攻流计算；当然，流处理，还有一个是Storm，但是现在的市场占有不是很多；
第三代：Flink，流批一体的处理思想，面对越来越多的实时数据流场景，性能值得称赞，这几年的热度也上升非常快。
总的来说，大数据技术是在不断更新迭代的，想入行，或者说已经入了行，很重要的一点就是要跟得上最新的技术趋势，保持学习能力是最大的竞争力。

下列文章就是我自己从事大数据行业，对大数据技术的一些理解。
https://zhuanlan.zhihu.com/p/354060923