学hadoop是不是需要学java?

[复制链接]
天下有双 发表于 2023-10-12 10:19:31|来自:北京 | 显示全部楼层 |阅读模式
楼主是C/C++ 出身,d也会python ,C/C++ 属于中级水平,而且没什么门槛,需中级C/C++的职位待遇不太好,前景不明朗。
现在大数据/数据分析/挖掘兴起,想往这方面发展,因为会数据库,也是团队的DBA,所以想着往大数据方向发展吧,以后跳槽也可以把过去的数据分析,数据处理经历套到hadoop上,避免了没有经验的窘境。(楼主其实更喜欢人工智能,苦于没有多少基础,还是先搞大数据吧)
但还是发现我可能有些幼稚了,因为大数据的很多框架都是java的,是不是学大数据,hadoop就需要学java? 我的时间不多同时学java和hadoop 怕是时间不够,大数据python可以吗?
全部回复3 显示全部楼层
冰河世纪 发表于 2023-10-12 10:19:46|来自:北京 | 显示全部楼层
你好。
java和python都是大数据需要学习的知识,尤其java是基础,学习java还是很有必要的。
下面是,关于学习大数据相关知识的一个简单的概括,希望能够帮助到你
学习大数据的两大基础就是JAVA和Linux,学习顺序不分前后。需要同时掌握,才可以继续大数据课程的学习。

  • Java:大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?
    只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多,只需要了解就可以了,当然Java怎么连接数据库还是要知道的,像JDBC一定要掌握一下,有同学说Hibernate或Mybites也能连接数据库啊,为什么不学习一下,我这里不是说学这些不好,而是说学这些可能会用你很多时间,到最后工作中也不常用,我还没看到谁做大数据处理用到这两个东西的,当然你的精力很充足的话,可以学学Hibernate或Mybites的原理,不要只学API,这样可以增加你对Java操作数据库的理解,因为这两个技术的核心就是Java的反射加上JDBC的各种使用。
  • Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
下面附上大数据课程大纲,也供你参考









008at 发表于 2023-10-12 10:20:15|来自:北京 | 显示全部楼层
需要学Java,不过,Hadoop已经要没落了,未来是Scala的spark和flink,学习Hadoop很快的
akey066 发表于 2023-10-12 10:20:29|来自:北京 | 显示全部楼层
需要,大数据的既成事实生态基本都是基于Hadoop,这些生态软件大多是用Java写的,包括Hadoop本身,少部分使用Scala,clojure这种用jvm编译的语言。Java不需要太精通,一般水平能看懂能写就行。Python也可以写MR,但不如Java速度快也不能做到精细控制。
重要的是理解分布式计算的思路和算法,语言不是重点。C也可以写MR。Java只是更贴近原生接口。
数据库的经验在分布式计算上并不太适用,或许还会对Hadoop这种kv计算方式的理解造成阻碍,除非你是用gpdb这种分布式数据库,否则基本没什么帮助。
有cpp基础,有算法基础,大数据不是太难的事,ai也不是太难的事,tf,torch,mxnet这些深度包只是借用Python接口,后面的算法实现都是cpp的。

快速回帖

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则