大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、it、金融、农业、通信等方面都有广泛应用。未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。以后想要做大数据相关的工作，需要学习哪些技术知识？
罗马不是一天建成的，大数据工程师也不是短时间能锻造的。想要成为大数据开发工程师，也要看你是否骨骼惊奇，天赋过人！在学习大数据之前，你还需要有一定的基础！
1、 学习大数据需要的基础
1、java se、ee（ssm）
90%的大数据框架都是java写的
2、mysql
sql on hadoop
3、linux
大数据的框架安装在linux操作系统上
在有了上面的技术基础支撑之后，便可以开始我们的大数据开发工程师的锻造之旅了，可以根据以下三个大的方面进行学习，当然了，中间需要穿插一些项目练习，将理论和实战相关联才能成长的很快！
二、大数据需要学什么
1、大数据离线分析
一般处理t+1数据（t：可能是1天、一周、一个月、一年）
a、hadoop ：一般不选用新版本，踩坑难解决
（common、hdes、mapreduce、yarn）
环境搭建、处理数据的思想
b、hive：大数据的数据仓库
通过写sql对数据进行操作，类似于mysql数据库的sql
c、hbase：基于hdfs的nosql数据库
面向列存储
d、协作框架：
sqoop（桥梁：hdfs《==》rdbms）
flume：搜集日志文件中的信息
e、调度框架
anzkaban
了解：crotab（linux自带）
zeus（alibaba）
oozie（cloudera）
f、前沿框架扩展：
kylin、impala、elasticsearch（es）
2、大数据实时分析
以spark框架为主
scala：oop（面向对象程序设计）+fp（函数是程序设计）
sparkcore：类比mapreduce
sparksql：类比hive
sparkstreaming：实时数据处理
kafka：消息队列
前沿框架扩展：flink
阿里巴巴：blink
3、大数据机器学习
spark mllib：机器学习库
pyspark编程：python和spark的结合
推荐系统
python数据分析
python机器学习
路漫漫其修远兮，想要成为大数据开发工程师，不仅仅要具备很多技术基础，而且还要对数据有一定的敏感度，需要长时间的加工磨合。