我为什么要学习大数据:因为我不喜欢现在国企的工作氛围,不看好这个行业,另外我通过多方渠道了解到,其中包括李笑来、凯文凯利、和各种新闻及文章,现在我们正处于大数据时代,我是一个不安于现状、喜欢探索顺应时代发展趋势学习新东西的人,希望通过努力来改变自己生活状态渴望成功的人,我喜欢与朝气蓬勃奋发向上的人一起活在未来。前言:一、背景介绍二、大数据介绍正文:一、大数据相关的工作介绍二、大数据工程师的技能要求
原创
2018-11-26 16:45:13
169阅读
国好家好国家好,家家都好,国圆人圆国人圆,人人皆圆,把一份浓浓的思念,和一串串蜜蜜的祝福寄给所有关注互联互通社区的朋友们,国庆节快乐。
转载
2021-10-09 14:50:01
98阅读
SSH免密登陆配置
1 SSH工作机制
1、相关概念
SSH 为 Secure Shell(安全外壳协议) 的缩写。
很多ftp、pop和telnet在本质上都是不安全的,因为它们在网络上用明文传送口令和数据,别有用心的人非常容易就可以截获这些口令和数据。而SSH就是专为远程登录会话和其他网络服务提供安全性的协议。
SSH的具体实现是由客户端和服务端的软件组成的
服
转载
2018-12-06 19:37:00
140阅读
2评论
大数据基本概述 一、大数据基本概念 1、大数据(Big Data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,需要新处理模式才能俱有更强的决策边、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 2、主要解决:海量数据的存储和海数据的分析计算问题。 二、大数据的特点(4v) 1、Volume (大量):截至目前,人类生产的所有印刷材料的数据量是200PB,而历
转载
2023-09-27 18:54:17
159阅读
2017年数据分析学习计划前言其实想写这篇文章很久了,一直在酝酿怎样写会更好一些。与其说是一篇计划书不如说是对过去的一些总结和对未来的期许。它是我下面执行的计划也是写给我自己看的一篇提醒。大一时我是一名资环学院的学生,然而我努力了挺久并没有喜欢上我原来的专业。所以我选择了转专业,我去了软件学院。其实进入软件学院我也是比较懵懂,我并不是很了解这个行业。 转过来很多软件学院的学生很诧异,觉得他们很多人
计算圆周率
[root@mini1 bin]# ./run-example SparkPi
[root@mini1 bin]# ./run-example SparkPi 10
[root@mini1 bin]# ./run-example SparkPi 1000
运行spark-shell的两种方式:
1直接运行spark-shell
单机通过多线程
转载
2019-06-10 18:46:00
187阅读
2评论
架构图
重要类介绍
ActorSystem
在Akka中,ActorSystem是一个重量级的结构,他需要分配多个线程,所以在实际应用中,ActorSystem通常是一个单例对象,我们可以使用这个ActorSystem创建很多Actor。
Actor
在Akka中,Actor负责通信,在Actor中有一些重要的生命周期方法。
1.preStart()方法:该方法在Actor对象构造方法执行后
转载
2019-06-04 17:19:00
201阅读
2评论
脚踏实地谋发展,努力努力在努力。 -张艺兴2019.04将码农翻身精读一遍JavaSE学一遍,SSH SSM 写一下。
原创
2022-02-20 11:46:34
177阅读
脚踏实地谋发展,努力努力在努力。 -张艺兴2019.04将码农翻身精读一遍JavaSE学一遍,SSH SSM 写一下。
原创
2021-07-28 10:35:37
187阅读
当下越来越多的应用涉及到大数据,而这些大数据的属性,包括数量,速度,多样性等等都呈现出大数据不断增长的复杂性,所以大数据的分析方法在大数据领域就显得尤为重要,目前互联网大数据运用的九大领域:1.理解客户、满足客户服务需求 大数据的应用目前在这领域是最广为人知的。通过大数据分析更好的了解客户以及他们的爱好和行为。企业非常喜欢通过在线客服系统搜集用户社交方面的数据、浏览器的日志、各类文本和传感器的数
转载
2023-12-12 22:18:06
14阅读
为了广大学员更好的学习spark,对《Spark大数据快速计算平台》最初课程重新安排,便于更全面、更系统的了解spark。大部分课程是一周的内容(1-2小时),有部分课程是二周的内容(2-4小时);二周内容的课程会一次性发放,但间隔时间会多一周,总的课程...
转载
2022-11-09 00:00:18
257阅读
数据:可以获取和存储的信息 实际上:人类的一切语言,图画图形,音像记录,所有感官可以察觉的事物,只要能够被记下来,能够查询到,就都是数据。 数据的单位: 1B(Byte 字节)=8bit 1KB (Kilobyte 千字节)=1024B, 1MB (Mega byte 兆字节 简称“兆”)=1024
原创
2021-08-04 09:58:26
202阅读
1. Hbase基础
1.1 hbase数据库介绍
1、简介
hbase是bigtable的开源java版本。是建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。
它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。
主要用来存储结构化和半结构化的
转载
2019-01-28 16:40:00
285阅读
2评论
转自:https://www.zhihu.com/question/24761255 必须技能10条:01.Java高级(虚拟机、并发)02.Linux 基本操作03.Hadoop(此处为侠义概念单指HDFS+MapReduce+Yarn )04.HBase(JavaAPI操作+Phoenix )0 ...
转载
2021-08-24 23:13:00
224阅读
2评论
最近有很多人问我如何学习大数据?我也是思考了很多时日才动笔写下此文。一方面我自己
原创
2023-04-30 07:36:44
283阅读