目前，国内外最火的莫过于大数据了，而国内的大数据应用多集中在互联网领域，有超过56%的企业在筹备发展大数据研究，“未来5年，94%的公司会需要数据科学家。”
数据科学家主要通过数据的价值挖掘，为企业提供更精准的决策依据。在电信、零售、金融、制造、物流、医疗、教育等行业当中大数据工程师已经在创造价值了。
据《大数据人才报告》显示，目前全国的大数据人才仅46万，人才稀缺，但是稀缺的背后要求也不低。大数据工程师需要统计学、应用数学相关的能力背景，并且需要设计数据模型和算法。
而且还要：
1、熟悉Linux开发环境，熟悉Shell命令
2、熟悉Java、python、scala语言（至少一种）
3、具备较丰富的基于Hadoop、Map Reduce、Yarn、Storm、Spark、Hive、Hbase、kafka、Flume、HDFS、Spark Streaming等的大数据处理项目经验。
那么，如何才能掌握数据科学家的能力？今天给大家推荐一个 免费 福利——廖雪峰最新研磨的实战宝典《如何将大数据开发做到优秀》首次开放！内容出自开课吧 vip 课程“大数据高级开发实战班”，为帮助大家在职场上走得更加顺畅，现决定将这套价值 788元 的体系化学习宝典免费送给粉丝朋友。
如果你是刚转行大数据不久的Java、PHP等程序员或入行新人，这套学习宝典能帮你迅速摆脱工作困扰，巩固掌握优秀工程师的必会技能：
- 缺乏工作经验，想短时期内接触学习大数据开发项目；
- 接触不到核心技术，不懂底层源码，不会搭建系统架构，提升太难；
- 业务逻辑欠缺，想丰富实战经验，进大厂冲击高薪。
一、高薪大数据工程师必备——实战项目经验
本部分选取当下各企业应用最广的项目，基于大厂脱敏数据，以 Spark 为主要核心框架，覆盖Kafka、Hbase 及 Hadoop 等大数据生态技术，理论与实际业务场景相结合，帮你 360 度探索大数据在出行领域的技术落地，了解大数据架构的设计奥秘，增加简历含金量。01
大数据背景下的智慧出行
通过学习，可帮你了解大数据背景下的出行业务，熟知大数据技术点的使用以及出行方面的业务逻辑。
（
项目可视化展示）
1、智慧出行项目概况及车辆轨迹数据处理
技术关键词：
Flume、Kafka、SparkStreaming、Hbase、Redis、SpringBoot 等
主要内容：
-
智慧出行大数据项目概述；
-
项目需求及架构选型；
-
开发项目模块构建；
-
数据回放功能的实现；
-
轨迹监控模块的开发。
斩获技能：
掌握 SparkStreaming 消费 Kafka 自主维护 Offset 的方式。
2、看大数据如何帮你抉择最合适的上车地点
技术关键词：
SparkCore 、SparkSQL、Hbase 、Phoenix 、SpringBoot
主要内容：
-
虚拟车站的概念详情；
-
虚拟车站的计算方式；
-
使用代码实现虚拟车站的计算统计。
斩获技能：
-
熟知常见的地图属性；
-
掌握虚拟车站的计算方式；
-
掌握API的使用等。
3、智慧出行项目展示及应用 + 大数据技术答疑
技术关键词：
Maxwell、Mysql、SparkStreaming、 Kafka、SparkSQL等
主要内容：
-
智慧出行的其他功能模块开发；
-
Spark任务的监控以及任务的调优；
-
业务数据库实时同步功能实现。
斩获技能：
-
有一定的架构认知能力；
-
掌握常见的大数据技术架构；
-
能熟练驾驭使用其他大数据框架等。
01
二、优秀大数据工程师必会——扎实技能储备
本部分对 Spark、Hadoop 等主流框架做了专项讲解，可帮大家快速查漏补缺，巩固各技术要点，更好地匹配企业业务需求。这些都是高薪工程师必知必会技能，对你日后的职业规划，无论进阶提升或是进大厂都会有不小的帮助。02
1、基于 Spark 源码自定义数据源开发
-
如何解决 HBase 热点问题
-
如何基于源码自定义开发 HBase 的数据源
-
如何在数据源处进行列剪枝和谓词下推
2、Hadoop 分布式文件系统之 HDFS 架构
-
HDFS 是如何实现有状态的高可用架构
-
HDFS 是如何从架构上解决内存受限问题
-
深入理解 HDFS 的架构演变
-
揭秘 HDFS 如何能支撑亿级流量
3、实时计算技术之 SparkStreaming
-
Spark Streaming 应用场景、原理分析
-
Spark Streaming 集成 Kafka 讲解
-
Spark Streaming 如何实现 Exactly-Once 语义
