经常有初学者在博客和问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么...
转载
2018-08-20 08:29:00
75阅读
2评论
经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么...
转载
2018-08-20 08:29:00
67阅读
2评论
申明：本文旨在为普通程序员（Java程序员最佳）提供一个入门级别的大数据技术学习路径，不适用于大数据工程师的
原创
2022-01-04 09:46:51
383阅读
大数据学习---Hadoop学习
原创
2022-02-21 17:08:29
690阅读
SSH免密登陆配置
1 SSH工作机制
1、相关概念
SSH 为 Secure Shell（安全外壳协议） 的缩写。
很多ftp、pop和telnet在本质上都是不安全的，因为它们在网络上用明文传送口令和数据，别有用心的人非常容易就可以截获这些口令和数据。而SSH就是专为远程登录会话和其他网络服务提供安全性的协议。
SSH的具体实现是由客户端和服务端的软件组成的
服
转载
2018-12-06 19:37:00
140阅读
2评论
大数据离线处理技术学习要点图：虽然网上也有很多的学习路线，很多的方法建议，各类不同的工具，但是找到属于自己的才是最好的。下面我就来详细说下我的学习路线吧。我还是要推荐下我自己创建的大数据资料分享群142973723，这是大数据学习交流的地方，不管你是小白还是大牛，小编都欢迎，不定期分享干货，包括我整理的一份适合零基础学习大数据资料和入门教程。一、基础阶段1、开始大数据学习之前，首先要把基础打好。我
转载
2018-11-23 13:32:30
190阅读
点赞
在美国，大数据工程师平均年薪达17.5万美元，在中国顶尖的互联网公司里，大数据工程师的薪酬比同级别的其他职位高出30%以上。DT时代来得太突然了，国内发展势头很猛，而大数...
转载
2022-08-09 21:32:02
132阅读
python简述1，跨平台2，应用范围广(操作系统，3d动画，web，云计算，企业应用)python基本知识内置函数(bif：built in functions)：比如print、int，input。（可以理解为官方定义的一种方法）；#查询函数列表
dir(_builtins_)
# 查看某个内置函数功能
help(int)流程图的使用：可以理清自己程序的逻辑性，科学合理的解决程序可能出现问题；
转载
2023-09-11 15:47:26
2阅读
大数据基本概述 一、大数据基本概念 1、大数据(Big Data)：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，需要新处理模式才能俱有更强的决策边、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 2、主要解决：海量数据的存储和海数据的分析计算问题。 二、大数据的特点(4v) 1、Volume (大量)：截至目前，人类生产的所有印刷材料的数据量是200PB，而历
转载
2023-09-27 18:54:17
159阅读
架构图
重要类介绍
ActorSystem
在Akka中，ActorSystem是一个重量级的结构，他需要分配多个线程，所以在实际应用中，ActorSystem通常是一个单例对象，我们可以使用这个ActorSystem创建很多Actor。
Actor
在Akka中，Actor负责通信，在Actor中有一些重要的生命周期方法。
1.preStart()方法：该方法在Actor对象构造方法执行后
转载
2019-06-04 17:19:00
201阅读
2评论
计算圆周率
[root@mini1 bin]# ./run-example SparkPi
[root@mini1 bin]# ./run-example SparkPi 10
[root@mini1 bin]# ./run-example SparkPi 1000
运行spark-shell的两种方式：
1直接运行spark-shell
单机通过多线程
转载
2019-06-10 18:46:00
187阅读
2评论
数据工程工作存在于各个行业，在银行业、医疗保健业、大型科技企业、初创企业和其他行业找到工作机会。许多职位描述要求数据工程师、拥有数学或工程学位，但如果有合适的经验学位往往没那么重要。那么如何获得数据开发相关岗位的工作经验？如果是应届毕业生争取获得一个数据工程师的实习机会。门槛最低雇主们愿意找一个没有工作经验的人；另一种是侧面获得该职位，即使你没有计算机科学或数学背景，仍然可以通过获得分析师或项目经
转载
2024-01-08 22:43:43
49阅读
大数据架构师学习成神之路，一个菜鸟如何从入门到入土的路线，拥有它才能预测你的未来......
原创
精选
2022-05-16 17:42:37
1357阅读
点赞
随着各行各业的数据量快速增长，无论是从对数据的存储、分析、处理和挖掘等方面提出了越来越高的要求。IT行业正在逐渐向“DT”行业转变，未来是以数据为驱动的。所以我认为大数据是未来一个主流方向，了解和学习大数据对我们以后的工作和生活都有一定帮助。 近期我个人学习了大数据工程师微职位这门课，并且已经通过了所有的考核。下面切入正题，分享一下我的学习心得
原创
2017-09-05 22:25:05
1487阅读
点赞
1评论
随着各行各业的数据量快速增长，无论是从对数据的存储、分析、处理和挖掘等方面提出了越来越高的要求。IT行业正在逐渐向“DT”行业转变，未来是以数据为驱动的。所以我认为大数据是未来一个主流方向，了解和学习大数据对我们以后的工作和生活都有一定帮助。 近期我个人学习了大数据工程师微职位这门课，并且已经通过了所有的考核。下面切入正题，分享一下我的学习心得，因为篇幅关系，不涉及具体知
转载
2017-12-21 16:51:14
10阅读
当下越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都呈现出大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，目前互联网大数据运用的九大领域：1.理解客户、满足客户服务需求 大数据的应用目前在这领域是最广为人知的。通过大数据分析更好的了解客户以及他们的爱好和行为。企业非常喜欢通过在线客服系统搜集用户社交方面的数据、浏览器的日志、各类文本和传感器的数
转载
2023-12-12 22:18:06
14阅读
数据分析师是数据师的一种，指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。那么你对数据分析师了解多少呢?以下是由小编整理关于什么是数据分析师的内容，希望大家喜欢!数据分析师的作用这是一个用数据说话的时代，也是一个依靠数据竞争的时代。目前世界500强企业中，有90%以上都建立了数据分析部门。IBM、微软、Google等知名公...高级数据分析师需要配
转载
2023-08-02 14:03:53
119阅读
PySpark使用pyspark:• pyspark = python + spark• 在pandas、numpy进行数据处理时，一次性将数据读入 内存中，当数据很大时内存溢出，无法处理；此外，很多执行算法是单线程处理，不能充分利用cpu性能spark的核心概念之一是shuffle，它将数据集分成数据块，
原创
2021-07-21 11:12:26
468阅读
为了广大学员更好的学习spark，对《Spark大数据快速计算平台》最初课程重新安排，便于更全面、更系统的了解spark。大部分课程是一周的内容（1-2小时），有部分课程是二周的内容（2-4小时）；二周内容的课程会一次性发放，但间隔时间会多一周，总的课程...
转载
2022-11-09 00:00:18
257阅读
随着信息技术的飞速发展，大数据技术已成为当今时代的热点，而大数据架构师作为这一领域的核心人才，其重要性日益凸显。那么，对于有意向成为大数据架构师的朋友们来说，应该学习哪些专业呢？本文将为大家详细解析大数据架构师的专业学习路径。
一、计算机科学与技术
计算机科学与技术是大数据架构师的基础专业，它涵盖了计算机硬件、软件及应用的基本理论、基本知识和基本技能与方法。对于大数据架构师而言，掌握计算机科
原创
2024-07-04 12:31:34
239阅读
