[IT技术] 请问大数据开发难不难?

[复制链接]
lovejax 发表于 2023-11-5 04:51:46|来自:北京 | 显示全部楼层 |阅读模式
请问大数据开发难不难?
全部回复5 显示全部楼层
版版有王暴 发表于 2023-11-5 04:52:19|来自:北京 | 显示全部楼层
学的时候是挺难的
面向面经学习的话,你会发现要学的东西一大堆,各种数据库 MySQL Oracle 然后就是各种大数据组件,什么Hadoop Hive Spark Kafka Flink 数据仓库,如果是零基础,还要先去学 Java
这些内容也不是学一遍就行了,还得反复复习不然过一会又忘了
工作的话,大数据开发基本就是个SQL boy,顾名思义就是写 SQL 的,但凡要你写各种 Java 代码调各种组件参数,那就不叫数据开发了,该叫数据平台开发、大数据运维
你就说它难不难吧
dfo2545 发表于 2023-11-5 04:52:51|来自:北京 | 显示全部楼层
大数据肯定是有一定难度的,大数据数据意味着处理的数据量非常庞大,需要使用分布式计算和存储技术来处理,这就要求我们具备处理大规模数据的能力,此外大数据涉及的数据来源多样,涵盖结构化和非结构化数据,处理这些数据需要了解多种数据处理技术,如关系型数据库、NoSQL数据库、文本处理、图像处理等,但是通过学习和不断实践,其实我们是能够克服这些困难哦!来源:职 坐 标
xjping 发表于 2023-11-5 04:53:27|来自:北京 | 显示全部楼层
2023.8.2日来跟大家更新一下2023年截止7月份的大数据就业数据
2023截止到7月毕业班级数据总览



2023截止到7月详细就业数据





最近毕业班(2023.07月)就业进度 毕业约2周,目前就业进度约50%,平均薪资21K



多易教育,培训圈内专攻java大数据技术。欢迎全网考证多易教育的实力、口碑!


春节以来,受口罩影响,经济受到打击是必然了。各个公司生存下来都是步履维艰,想要存活必须做合理的运营控制。原来看好的项目不赚钱可以先投入,让大家先干着,但现在生存是困难的时候,保留项目组无疑需要有充足的资金,否则砍掉项目是最佳的选择方案。
今年是听到裁员最多的一年,但这并不意味着我们的学生被大面积裁掉,更多的是听他们描述身边人被裁的故事。
每个行业、每个岗位就业都达到了冰点。大家当下更应该理智的思考如何拿下工作,而不是拿下工作难不难的问题。毕竟考虑前者对个人成长有帮助,而考虑后者解决不了任何的问题。
什么人容易被裁?


  • 学历专科及以下;
  • 技术在过去的一段时间内划水;
  • 不合群,不表达;
  • 价值观不符合企业文化。
找工作难不难?

首先,说说大数据岗位的技能要求特点
大数据领域的技术型的岗位,主要有这么几种:

  • 大数据etl、离线或实时数据仓库工程师(或者叫做数据开发岗)
岗位技能侧重点: 基于大数据各种组件(如spark、flink等)的数据处理程序开发, 基于各种大数据查询系统(如hive、doris,sparksql,flinksql等)的报表统计sql开发;  主要开发语言是java和sql;当然,也可以会点scala、python等;  此岗位是纯正意义上的大数据工程师岗位


  • 大数据平台开发工程师(或者叫平台开发岗)
岗位技能侧重点: 基于javaweb技术,为大量各类数据处理任务(就是上面的岗位的内容),提供统一的管理平台,操作平台;  此岗位其实更偏向javaweb工程师,但需要略懂大数据各类组件的一些基本知识


  • 数据分析师(或者叫数据分析岗)
岗位技能侧重点: 需要一些统计学理论基础(主要就是大学里面的概率统计课程的内容), 然后熟悉excel,tableau等数据分析工具,利用这些工具,对大数据etl、数仓工程师所生产加工好的数据报表,进行更加归纳性的分析,从数据中得出一些更显性的结论和查看起来更友好的图表;  略微进阶一点的,可能还需要会一些基本的python脚本编程技能,来提升工作效率;  此岗位更像一个带点技术属性的文员岗


  • 数据挖掘工程师
岗位技能侧重点: 统计学、高等数学是最基础铺垫,另外还需要掌握大量的机器学习算法模型, 然后利用这些数学模型,来解决生产实践中的一些重要问题场景;  此岗位更多的已经不是工具或者编程的技能,而是数学应用的技能,入行门槛对学历、专业要求都极高

用一个通俗的例子,来帮助理解一下上述各岗位的区别与联系:
大数据开发工程师,类似于餐馆里的厨师,他们负责烹饪,负责生产餐馆最核心的产品;
大数据平台开发工程师,类似于餐馆里面设计、装修厨房的,他们更多的是为厨师提供工作的场地,他们的技能点不在烹饪上,而在装修设计上,但他们也要懂点厨房常用工具的基本知识,不然设计出来的厨房布局不好用;
数据分析师,类似于餐馆里面摆盘,端菜上桌的,他们更多的是把厨师做的核心产品进行美化,通俗易懂化;
数据挖掘工程师,则类似于一个世外高人,有时候厨师面临食客的一个特殊需求,用常规手段做不出符合要求的菜品,这个时候,这个世外高人就能利用数学的手段,调配出这个新菜品的配方和工艺,然后交给厨师去烹饪;
要说高工资难度还很轻松那绝对是哄骗你的,但是所有的难度是建立在你拥有多少知识储备来说的,所以上述给你提到的这些内容如果掌握了,难得问题自然就变简单了,否则我们也不会取得这么好的就业成绩。
弱者,只能也只敢盯住比自己更弱的以求得一点心理慰藉; 强者的世界,他们从不敢了解!只有前行
技术工种找工作的三要素


  • 专业的技术;
  • 个人形象、价值观及综合素质
  • 坚持投递直到被认可
有人会担心自己形象(人靠衣服马靠鞍,一整就完事儿)
有人从未考虑过自己的综合素质,那在未来就业的过程中,假设你还是ok的,那没问题;假设你不ok,身边又没有人提醒你,那大概率你会走很多的弯路。
有的人收到打击就想放弃,那大概率什么事遇到点难题你都不会坚持
剩下的就是专业技术,这一部分就需要有专业的技术的人带你。
怎么找到专业的技术讲师?



课程视频:安排


真知灼见源于实践:多易教育大数据全套大数据教程
RD1223 发表于 2023-11-5 04:54:24|来自:北京 | 显示全部楼层
大数据开发门槛高,上限不高。我说的上限是职业发展的上限,最多能做到CTO,而数据分析师,门槛低,上限高,不封顶。
一文读懂大数据开发
超导 发表于 2023-11-5 04:55:13|来自:北京 | 显示全部楼层
学的时候感觉是造火箭,工作的时候其实就是流水线。

学的时候,又要学Hadoop生态、spark、flink等等,为了搞明白还要搭平台。工作的时候,用Java或者scala开发的spark、flink程序,提交运行、挂上监控,over。
spark、flink程序都是有模板的,和Java的框架差不多,把处理逻辑填充进去就好了。剩下的就是一些经验上的优化。
反正我自学的时候觉得还是有点难度的,工作之后就麻木了,唯手熟尔。
叫我阿柒啊:我的程序员之路03:我和大数据

快速回帖

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则