大数据开发工程师需要具备哪些技能？
大数据开发工程师需要具备哪些技能？ 在回答这个问题之前，需要充分了解一下当前大数据的几个就业方向，可以参考下主流互联网行业的部门架构、职责和JD，大数据开发工程师，总体来说有这么几类，不同的公司叫法不一样：1、数仓开发工程师
2、算法挖掘工程师
3、大数据平台开发工程师（应用）
4、大数据前端开发工程师
一、不同工程师的职责和技能要求
在不同层，对于工程师的职责、技能要求都会存在差异；
1、数仓开发工程师
根据企业的要求搭建数仓体系（DW），是企业所有级别决策的制定过程，基于分析性报告和决策支持目的，为需要业务智能的企业，提供指导业务流程赶紧、监视时间、成本、质量以及控制，为战略策略做数据支持。
主要负责核心业务模块数据仓库的构建，对数据模型进行设计，ETL实施、ETL性能优化、ETL数据监控以及一系列技术问题的解决；构建用户主题、各业务线主题、推荐主题、BI门户系统，并对全产品线数据字典维护，提升数据资产质量；
需要熟悉的技能：
[*]需要深入理解常用的数据建模理论，独立把控数据仓库的各层级设计；
[*]熟练掌握Hive/SQL、Spark/Map-Reduce/MPI分布式计算框架；
[*]熟悉大数据的离线和实时处理，可以进行海量数据模型的设计、开发；
2、算法挖掘工程师
在大厂重创新、研究，在小厂重赋能、产品，有本质上的区别，也分很多种类型，包括搜索算法、导航算法、NLP、视觉算法、图像识别、自动驾驶、安全算法、通信算法等，需要掌握的技能差异性也很大，整体来看，有以下共性。
需要熟悉的技能：
[*]数据分析：通过编程语言进行科学分析，python、sql、spark，分布式计算框架Hadoop/Spark/Storm/ map-reduce/MPI；
[*]文献阅读：能够关注市面上的主流比赛算法应用，能够对学术、工业论坛、论文有非常多的积累；
[*]创新思维：场景迁移/举一反三能力，例如看到广告推荐中的根因定位，应该能马上切换到安全中的异常溯源；
[*]算法原理：机器学习、深度学习、强化学习、算法导论等；
[*]数学功底：扎实的数学功底，能够完成公式推导，并进行调优；
3、大数据平台开发工程师；
大数据平台开发有两个方面，平台自研、应用开发，需要熟悉Web后端开发语言、大数据开源组件，至少精通掌握一种开发语言golang、php、java； 对开发框架的原理&源码都有一定的了解（如laravel）；
需要熟悉的技能：
[*]平台自研，属于研发级开发，基于Hadoop组件开发HBase、Hive、Avro、Zookeeper等，完成元数据系统、数据质量、数据采集、数据计算平台、任务调度平台等系统性建设；
[*]应用开发，在大数据平台Hadoop及Spark进行具体的应用开发，搭建数据报表平台、自助数据分析平台、数据地图、标签库等；
4、大数据前端开发工程师
给用户看到的都叫做前端，比如APP界面、Web 界面，与交互设计师、 视觉设计师协作，根据设计图，依据相关编程语言进行界面内容实现，把界面更好地呈现给用户；
前端从业人员主要分布于我国中东、南部地区，其中北京的前端开发工程师最多，其次是深圳、上海、成都、杭州、广州、武汉、南京、长沙和西安；
需要熟悉的技能：
[*]熟悉W3C技术标准，精通HTML、Javascript、Ajax、DOM、HTML5、CSS3等前端开发技术；
[*]熟练掌握Vue、jequry、webpack等前端框架和相关技术并了解其实现原理，熟悉nginx、nodejs等webserver技术；
[*]熟悉前端性能分析和调优，并保证兼容性和执行效率，可编写复用的用户界面组件；
[*]掌握前端开发的安全风险和对策，良好的分析和解决问题的能力
以上就是对不同类型的大数据开发工程师的介绍，如果感兴趣，可以在知乎知学堂课堂，由官方组织的基础课程，可以跟着up主寻寻渐进的进行学习，在理论知识、工具介绍、模块拆解、语法讲解上都有特别细的说明，也可以根据自己的目标去选择性学习，把知识嵌入到实际项目中去！
二、大数据技术架构图
可以参考一下大数据的技术架构：
在企业里面，如果按照数据流向来看，有一个主链路：
[*]系统对接：大数据平台开发工程师负责，对接各个业务系统，提供数据接入的能力；
[*]采集存储：数仓开发工程师，通过工具定期进行数据接入，并进行维度建模，抽象出DW层，建立指标；
[*]数据挖掘：算法挖掘工程师，结合数仓的底层模型表，dws表构建数据特征，挖掘数据的业务价值；
[*]数据呈现：大数据前端开发工程师，根据数据接口信息，在前端进行数据的可视化图表呈现，系统集成；
http://pic1.zhimg.com/v2-cb699e52c0fcdd4ca346e5e72ef0fa78_r.jpg?source=1940ef5c
三、大数据相关的技术内容
由于数据中台的出现，组织架构和分工可能会有一定到差异，根据所需要做的内容和事情，所需要掌握的技能树是类似的，按照日常使用情况，可以归纳为以下几种：
关于python、sql、spark、hadoop和消息
综合对大数据开发过程的技术要求，比较主流的几个工具和技术：
python：主要解决数据处理、分析、挖掘的内容；
SQL：主要是在数仓存储、模型存储、指标接口开发过程中需要非常熟练；
Spark：在算法挖掘、大批量数据计算、机器学习应用方面的应用；
Hadoop神态：对数据存储、大数据平台开发都有非常强的要求，依赖HDFS、HIVE等特性；
消息：数据接口开发，对于数据应用，和上层应用系统之间的互通有比较高的要求；
关于实时计算相关的技术栈
flink：在实时计算，处理批、流数据，实现秒级计算并赋能给业务系统的核心技术；
http://pic1.zhimg.com/v2-97a06c6aed715537db8d96737aad48a3_r.jpg?source=1940ef5c
四、小结
对于大数据，随着技术的不断迭代，数字化的发展，对数据职能的区分度会越来越细分，持续保持对前沿知识的关注，通过和周边的大佬进行学习，结合场景进行深度应用，在数字化的道路上才能走的更长远。
如果你对大数据开发有兴趣但还不清楚如何给自己做职业选择和规划的朋友们，可以点击下面的小卡片去听一下这个公开课，更多关于大数据开发的干货知识和职业分析会在公开课讲到。
有兴趣的朋友一定要来听一听，直接打开你职场发展的任督二脉！祝想要从事大数据开发行业的，都能通过面试拿到心仪的offer！
<a data-draft-node="block" data-draft-type="edu-card" data-edu-card-id="1604193241817149440"> 开局一张图：
http://pica.zhimg.com/v2-55d29a6624810f8fb06bae35d10fa6d8_r.jpg?source=1940ef5c
是不是感觉技能太多，很很模糊？
没关系，帆软君给你圈重点。
1、写sql
想不到吧，不仅仅是数据分析师需要写sql，大数据工程师也要，很多工作都会涉及到上下游的数据加工，也会基于数据仓库或者数据湖做分析，甚至你也可以听见很多入职1年的大数据工程师都在抱怨：说是大数据工程师，但其实进来就是写sql。
但是这种情况并不常见，就算写sql，也是在学习业务逻辑，为了帮助后面更好的成长。
2、维护或者搭建大数据平台
http://pic1.zhimg.com/v2-86e4bcb49317fcd8a372d7168d9bd7d8_r.jpg?source=1940ef5c
严格上来说，搭建并不是大数据工程师的工作，最多可能是维护，因为搭建一个大数据平台需要人力物力，还需要很多时间。
可以学习一下：miao君：一文读懂大数据平台——写给大数据开发初学者的话!
3、集群
大数据环境相关，一般涉及到如下（只截取了部分内容）：
http://pica.zhimg.com/v2-2766e0420ac887c08ec2982cf3ec0055_r.jpg?source=1940ef5c
4、数据采集
一般是用flume，根据数据来源进行分类，数据采集可以大体三类：系统文件日志的采集、网络大数据采集、应用程序接入。下面我们一个一个来看。
帆软君之前写过一篇关于数据采集的回答：
如何进行数据采集以及数据分析？
5、数据处理
分为离线处理和实时处理。
离线处理：会涉及到hive和sql，可以批量统计海量数据
实时处理：听这个名字就应该知道，数据是实时变化的，这个涉及的会比较多一点，比如Flink
6、数据仓库
http://pica.zhimg.com/v2-5057b2cd4c4e8951d0c50ca6c0f0d5d2_r.jpg?source=1940ef5c
想看懂数据仓库的逻辑分层架构，必须先弄懂以下4大概念。
数据源：数据来源，互联网公司的数据来源随着公司的规模扩张而呈递增趋势，同时自不同的业务源，比如埋点采集，客户上报，API等。
ODS层：数据仓库源头系统的数据表通常会原封不动地存储一份，这称为ODS层, ODS层也经常会被称为准备区。这一层做的工作是贴源，而这些数据和源系统的数据是同构，一般对这些数据分为全量更新和增量更新，通常在贴源的过程中会做一些简单的清洗。
DW层：数据仓库明细层和数据仓库汇总层是数据仓库的主题内容。将一些数据关联的日期进行拆分，使得其更具体的分类，一般拆分成年、月、日，而ODS层到DW层的ETL脚本会根据业务需求对数据进行清洗、设计，如果没有业务需求，则根据源系统的数据结构和未来的规划去做处理，对这层的数据要求是一致、准确、尽量建立数据的完整性。
DWS层：应用层汇总层，主要是将DWD和DWS的明细数据在hadoop平台进行汇总，然后将产生的结果同步到DWS数据库，提供给各个应用。举个例子，从ODS层中对用户的行为做一个初步汇总，抽象出来一些通用的维度：时间、ip、id，并根据这些维度做一些统计值，比如用户每个时间段在不同登录ip购买的商品数等。这里做一层轻度的汇总会让计算更加的高效，在此基础上如果计算仅7天、30天、90天的行为的话会快很多。
DA应用层：
① 业务产品CRM、ERP等，业务产品所使用的数据，已经存在于数据共享层，直接从数据共享层访问即可；
② 报表FineReport、业务报表，同业务产品，报表所使用的数据，一般也是已经统计汇总好的，存放于数据共享层；
③ 即席查询即席查询的用户有很多，有可能是数据开发人员、网站和产品运营人员、数据分析人员、甚至是部门老大，他们都有即席查询数据的需求；
④ OLAP：目前，很多的OLAP工具不能很好的支持从HDFS上直接获取数据，都是通过将需要的数据同步到关系型数据库中做OLAP，但如果数据量巨大的话，关系型数据库显然不行；
7、数据可视化
其实也就是做好报表给业务人员查看，有开源工具，也可以用商用工具。
有人用echarts，有人用FineReport做大屏，也有人用FineBI等BI工具，后两者的学习成本和上手难度都很低，具体选择还是得看使用场景和需求。
<a data-draft-node="block" data-draft-type="ad-link-card" data-ad-id="commercialVip_5255c83a47b832e7eab6117ade19087f">FineReport做出的可视化大屏如下：
http://pica.zhimg.com/v2-b2a19b55c74a0633d87734cc4399a3eb_r.jpg?source=1940ef5c
http://pica.zhimg.com/v2-b235f5cb8045a81adf0afe3c0f929425_r.jpg?source=1940ef5c
我是 @帆软 ，专注BI商业智能领域十五年！
<hr/>最后分享一些相关资料：
大数据决策分析平台建设方案《数字国资》案例集（半年刊）BI建设地图（行业独家）商业智能（BI）白皮书3.0 需要的技能很多，但有些不是必要的，有些也是绕不开的。
技能：
Spark 、 kafka 、 Hive 、HBase 、Hadoop、Flink、Mongodb 、 mysql 、redis
开发语言: Java Python
机器学习的模块以及库:
Weka : https://www.cs.waikato.ac.nz/ml/weka/
mahout : https://github.com/apache/mahout
Apache Spark 下面的机器学习库 MLlib : https://github.com/apache/spark
deeplearning4j : https://deeplearning4j.org
Tensorflow : https://github.com/tensorflow/tensorflow
Keras : https://github.com/keras-team/keras
PyTorch : https://github.com/pytorch/pytorch
LightGBM :https://github.com/microsoft/LightGBM
Numpy : https://github.com/numpy/numpy
Pandas :https://github.com/pandas-dev/pandas
SciPy : https://github.com/scipy/scipy
Scikits_Learn:https://github.com/scikit-learn/scikit-learn
掌握和学习途径;
大数据开发，看起来需要的工作以及技能很多。但很多都是围绕不开一件事情，如何利用数据，如何有效的利用数据去完成想要完成的事情。那么如何去掌握上述的一些工具呢？
1.首先我们要构建数据仓库，当你构建完成后，基本上上述的技能方面就懂一半了。
2.打算入库什么数据，如何做数据筛选，有筛选后的数据入库，以及是否储存原始数据，确保后续的数据翻盘，避免数据出错无法处理。
3.如何利用入库后的数据，打算做什么，以及目标是什么？这些数据是否足够完备，还是缺乏对应的标签关系。这些需要在建模之前需要完善的，建模简单而言，就是从结果数据中根据想要的目标数据，根据某些算法从结果数据中获取对应的目标模型。然后这个模型跟一些数据交叉验证，来判断模型的效果是否可以，还是过拟合之类的问题。
4.实现模型的落地使用，不落地使用模型，如何判断模型在真实场景下的作用，如果模型效果不好，可能就得开始调参来反复建模。
学习的建议:
上述说了那么多，学习不是看一两本书就可以解决的事情，工具依然也只是工具。想要深入学习或者了解，你可以先默默把高等数学、概率论与数理统计、图论、了解各种建模方式的应用场景。别小看数据和概率，建模的好坏也是需要看运气的。
那么来个最简单的入门:
默默的打开 https://tensorflow.google.cn/tutorials/ ,跟着 Beginner quckstart 的教程走一遍， https://tensorflow.google.cn/tutorials/quickstart/beginner 如果连复制和粘贴也不懂。那么我也无能为力了。
提升技能的方式:
多做多看多模仿，模仿写多了。那么自然就懂如何去完成了。多个学习，还不如先学会一样，然后慢慢拓展是否在工作中能用到。之后再工作中慢慢把技能拓展到其他方面。
总结：学习真的没有捷径，学习最后依赖的还是实践。学习的建议还是多点实践，多点看书。学习如何去模仿。
关于我们：
AdBright-皓量科技，一站式移动广告技术服务商，致力于构建高效、透明的广告生态系统。AdBright依托大数据挖掘和人工智能学习算法，结合高效的实时竞价算法架构和精准的多维人群画像，为广告主和广告服务商提供专业高效的智能营销决策管理和解决方案
延伸阅读：
2019年必懂的41个程序化广告专业术语
程序化广告生态中的流量接入
浅析程序化广告中的RTB竞价原理
数据如何在程序化广告中发挥作用
程序化广告中的数据应用-oCPM
程序化广告中的数据应用-lookalike
浅析程序化创意原理
程序化广告归因模型知多少 谢谢邀请！
大数据开发工程师需要具备三方面的知识结构，包括大数据基础知识、大数据平台知识和大数据场景知识。
大数据基础知识包括三个主要方面的内容，分别是数学基础、统计学基础和计算机基础。数学基础是大数据从业者重要的基础，因为大数据的核心是算法设计，而数学是算法设计的基础。统计学基础知识也是大数据从业者必须掌握的内容，包括基本的统计方法、绘制方法、统计算法等内容。计算机基础则包括操作系统（Linux）、计算机网络、数据结构、算法设计、数据库等内容。
大数据平台知识需要学习Hadoop、Spark相关内容，包括Hadoop Common、HDFS、MapReduce、Hive、Pig等一些列内容。从事大数据平台的开发需要掌握Python、Java、Scala、R等编程语言，每个语言都有相应的开发场景。
大数据场景知识要结合具体的行业，包括教育大数据、金融大数据、交通大数据、医疗大数据等，场景大数据分析是目前大数据领域的重要应用。
大数据是我的主要研究方向，有大数据方面的问题，也可以咨询我，谢谢！ 谢邀。
你好，成为一名大数据开发工程师，你需要具备的技能比较多，具体的，可以参看下面的这些点。
Java
大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢？只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下。
有同学说Hibernate或Mybites也能连接数据库啊，为什么不学习一下，我这里不是说学这些不好，而是说学这些可能会用你很多时间，到最后工作中也不常用，我还没看到谁做大数据处理用到这两个东西的，当然你的精力很充足的话，可以学学Hibernate或Mybites的原理，不要只学API，这样可以增加你对Java操作数据库的理解，因为这两个技术的核心就是Java的反射加上JDBC的各种使用。
戳下面大数据学习青牛老师微信，带你轻松学习大数据实现高薪就业，可添加好友进行免费咨询！
https://xg.zhihu.com/plugin/1528369181da83075d9e7d4504f9f5b5?BIZ=ECOMMERCELinux
因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。
Hadoop
这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
YARN是体现Hadoop平台概念的重要组件有了它大数据生态体系的其它软件就能在hadoop上运行了，这样就能更好的利用HDFS大存储的优势和节省更多的资源比如我们就不用再单独建一个spark的集群了，让它直接跑在现有的hadoop yarn上面就可以了。
其实把Hadoop的这些组件学明白你就能做大数据的处理了，只不过你现在还可能对&#34;大数据&#34;到底有多大还没有个太清楚的概念，听我的别纠结这个。等以后你工作了就会有很多场景遇到几十T/几百T大规模的数据，到时候你就不会觉得数据大真好，越大越有你头疼的。当然别怕处理这么大规模的数据，因为这是你的价值所在，让那些个搞Javaee的php的html5的和DBA的羡慕去吧。
记住学到这里可以作为你学大数据的一个节点。
Zookeeper
这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
http://picx.zhimg.com/v2-be259042ed15bada39ac69215b4b0fc2_r.jpg?source=1940ef5c
Mysql
我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那？你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop
这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive
这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那？它和Pig差不多掌握一个就可以了。
Oozie
既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。
Hbase
这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka
这是个比较好用的队列工具，队列是干吗的？排队买票你知道不？数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据（比如好几百G的文件）我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了。
因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方（比如Kafka）的。
http://pica.zhimg.com/v2-e0be0b66c069c3e1b3de082c72b78f1b_r.jpg?source=1940ef5c
Spark
它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。
会这些东西你就成为一个专业的大数据开发工程师了，月薪2W都是小毛毛雨
点击下方小卡片，添加专业老师，欢迎大家和青牛老师一起学习~~
https://xg.zhihu.com/plugin/1528369181da83075d9e7d4504f9f5b5?BIZ=ECOMMERCE学习大数据的两大基础就是JAVA和Linux，学习顺序不分前后。需要同时掌握，才可以继续大数据课程的学习。
[*]Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢？
只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下，有同学说Hibernate或Mybites也能连接数据库啊，为什么不学习一下，我这里不是说学这些不好，而是说学这些可能会用你很多时间，到最后工作中也不常用，我还没看到谁做大数据处理用到这两个东西的，当然你的精力很充足的话，可以学学Hibernate或Mybites的原理，不要只学API，这样可以增加你对Java操作数据库的理解，因为这两个技术的核心就是Java的反射加上JDBC的各种使用。
[*]Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
大数据课程大纲
http://pica.zhimg.com/v2-4fa12f40bbb996274fae2d9ef5267358_r.jpg?source=1940ef5c
http://pic1.zhimg.com/v2-a7d04ead16148903756dc2061c09cf1f_r.jpg?source=1940ef5c
http://pica.zhimg.com/v2-8c3269bcac4e0f9bb99dd7c9668996d8_r.jpg?source=1940ef5c
http://picx.zhimg.com/v2-ef86d7a06a6db46cfef1b1318fce9131_r.jpg?source=1940ef5c
http://picx.zhimg.com/v2-77b9c28957787ffcb7321c6148ce3902_r.jpg?source=1940ef5c
http://picx.zhimg.com/v2-d92b22459e1b4f1fdb681c5b9a7a7b79_r.jpg?source=1940ef5c
欢迎大家留言或加我微信进行沟通讨论
https://xg.zhihu.com/plugin/1528369181da83075d9e7d4504f9f5b5?BIZ=ECOMMERCE「内容原创」
页:
[1]