人生没有太晚的开始,难就难在敢不敢打破僵局,有没有改变的决心。
大数据也不是这几年才出现事物,可为什么最近几年才真正意义上变得热门,而这要得益于互联网信息技术的快速发展,大数据技术的应用才让这样的改变更为深刻。
很多人想转行从事大数据,但却很少成功,看了招聘信息后,才有所了解,大数据编程,要掌握的知识要点还是蛮多的。
刚在某招聘平台浏览到关于大数据岗位,薪资确实比IT其他岗位偏高。看完都有点向转向大数据的冲动。
大数据架构师
职责岗位:1.负责技术中台产品技术架构,技术规划2.负责数据集成产品的研发。3.负责BI产品选型和研发。4.负责分布式数据库、大数据Hadoop,Hive,Spark等技术架构设计。5.负责前沿AI技术探索与研究。6.为关键客户、解决方案提供支持。
其要求也相当高:
- 最少有参与过一个成功的大数据、或者BI平台建设。
- 有产品研发型公司,大型研发团队经验优先。
- 熟悉Python开发、熟悉Hadoop, Spark, Hive、Kettle等。
- 精通Java Spring, Spring Cloud等开发。
- 扎实的Oracle, Mysql经验。
- 较强的沟通、文档写作能力。
没有一定的能力很难驾驭得了啊。
大数据开发工程师
3年以上大数据软件开发相关从业经验,本科或以上学历,计算机专业;熟悉常用算法和数据结构,熟悉网络编程、多线程编程技术,理解操作系统原理;熟练使用关系型数据库及SQL;熟悉HDFS/HBase/Hive/MapReduce/Storm/Spark等相关技术,;具备MapReduce、Sqoop、Flume、Kafka、Redis、Storm、Spark中两种以上工具的开发和实施经验,有Spark 程序实战开发者优先;有数据挖掘、机器学习、数据仓库或BI相关经验优先;较强的责任心;良好的敬业精神和团队协作精神;较强的沟通协调能力和学习能力;能够承受较大的工作强度和工作压力。
大数据开发偏向于底层,学习的起点高,涉及到的技术面也广大,没有一定的基础是很难驾驭得了的。比如Kafka、Redis、Storm、Spark这些,每一项都得学会一段时间。
人生没有太晚的开始,难就难在敢不敢打破僵局,有没有改变的决心。
你是不是也有打算往大数据方面发展呢?
想要在大数据这个领域汲取养分,让自己壮大成长。分享方向,行动以前先分享下一个大数据交流分享资源群943791324,欢迎想学习,想转行的,进阶中你加入学习。
介绍一下大数据学习路线
阶段一、大数据基础——java语言基础方面
HTML、CSS与JavaScript
PC端网站布局、HTML5+CSS3基础、WebApp页面布局、原生JavaScript交互功能开发、Ajax异步交互、jQuery应用
JavaWeb和数据库
数据库、JavaWeb开发核心、JavaWeb开发内幕
Java语言基础
Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类
推荐书籍:
《Effective Java中文版》(第2版)
本书为我们带来了共78条程序员必备的经验法则,针对你每天都会遇到的编程问题提出了有效、实用的解决方案。
书中的每一章都包含几个"条目",以简洁的形式呈现,自成独立的短文,它们提出了具体的建议,对于Java平台精妙之处的独到见解,以及优秀的代码范例。每个条目的综合描述和解释都阐明了应该怎么做,不应该怎么做,以及为什么。
阶段二、 Linux&Hadoop生态体系
Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架
推荐书籍:
《Big Data》
在大数据的背景下,我很少看到关于数据建模,数据层,数据处理需求分析以及数据架构和存储实现问题。这本书却提供了令人耳目一新的全面解决方案。
《Hive编程指南》
《Hive编程指南》是一本Apache Hive的编程指南,旨在介绍如何使用Hive的SQL方法HiveQL来汇总、查询和分析存储在Hadoop分布式文件系统上的大数据集合。
《Hadoop权威指南》
《Hadoop权威指南(中文版)》从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。
阶段三、 分布式计算。
storm技术架构体系
Storm原理与基础、消息队列kafka、Redis工具、zookeeper详解、实战一:日志告警系统项目、实战二:猜你喜欢推荐系统实战
分布式计算框架
Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算、实战一:基于Spark的推荐系统(某一线公司真实项目)、实战二:新浪网
推荐书籍:
《Spark机器学习:核心技术与实践》
本书采用理论与大量实例相结合的方式帮助开发人员掌握使用Spark进行分析和实现机器学习算法。通过这些示例和Spark在各种企业级系统中的应用,帮助读者解锁Spark机器学习算法的复杂性,通过数据分析产生有价值的数据洞察力。
《Learning Spark》
《Spark 快速大数据分析》是一本为Spark 初学者准备的书,它没有过多深入实现细节,而是更多关注上层用户的具体用法。不过,本书绝不仅仅限于Spark 的用法,它对Spark 的核心概念和基本原理也有较为全面的介绍,让读者能够知其然且知其所以然。
阶段四、 大数据项目实战(一线公司真实项目)
数据获取、数据处理、数据分析、数据展现、数据应用
阶段五、 大数据分析 —AI(人工智能)
主要是讲解Data Analyze数据分析基础、数据可视化、sklearn中三类朴素贝叶斯算法以及python机器学习等提升个人能力的内容!