SSH免密登陆配置
1 SSH工作机制
1、相关概念
SSH 为 Secure Shell（安全外壳协议） 的缩写。
很多ftp、pop和telnet在本质上都是不安全的，因为它们在网络上用明文传送口令和数据，别有用心的人非常容易就可以截获这些口令和数据。而SSH就是专为远程登录会话和其他网络服务提供安全性的协议。
SSH的具体实现是由客户端和服务端的软件组成的
服
转载
2018-12-06 19:37:00
129阅读
2评论
大数据基本概述 一、大数据基本概念 1、大数据(Big Data)：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，需要新处理模式才能俱有更强的决策边、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 2、主要解决：海量数据的存储和海数据的分析计算问题。 二、大数据的特点(4v) 1、Volume (大量)：截至目前，人类生产的所有印刷材料的数据量是200PB，而历
架构图
重要类介绍
ActorSystem
在Akka中，ActorSystem是一个重量级的结构，他需要分配多个线程，所以在实际应用中，ActorSystem通常是一个单例对象，我们可以使用这个ActorSystem创建很多Actor。
Actor
在Akka中，Actor负责通信，在Actor中有一些重要的生命周期方法。
1.preStart()方法：该方法在Actor对象构造方法执行后
转载
2019-06-04 17:19:00
179阅读
2评论
计算圆周率
[root@mini1 bin]# ./run-example SparkPi
[root@mini1 bin]# ./run-example SparkPi 10
[root@mini1 bin]# ./run-example SparkPi 1000
运行spark-shell的两种方式：
1直接运行spark-shell
单机通过多线程
转载
2019-06-10 18:46:00
169阅读
2评论
当下越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都呈现出大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，目前互联网大数据运用的九大领域：1.理解客户、满足客户服务需求 大数据的应用目前在这领域是最广为人知的。通过大数据分析更好的了解客户以及他们的爱好和行为。企业非常喜欢通过在线客服系统搜集用户社交方面的数据、浏览器的日志、各类文本和传感器的数
阶段时间技能输入输出SQL基础8.4-8.81.表关联方法和特性2.常用基础函数3.窗口函数4.常用优化策略5.hive数据存储格式及压缩格
原创
2022-06-28 09:14:44
171阅读
官网http://spark.apache.org/docs/1.6.2/sql-programming-guide.html
val sc: SparkContext // An existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlContext.read.jso
转载
2019-06-12 19:45:00
159阅读
2评论
大数据基础学习大数据基础入门为什么要学习大数据1、目的：要份很好工作（钱）2、对比：Java开发和大数据开发什么是大数据？举例：1、商品推荐：问题：（1）大量的订单如何存储？（2）大量的订单如何计算？2、天气预报：问题：（1）大量的天气数据如何存储？（2）大量的天气数据如何计算？如果你想要学好大数据最好加入一个好的学习环境，可以来这个Q2643397583这样大家学习的话就比较方便，还能够共同交流
原创
2019-07-15 15:25:15
429阅读
前言 数据科学部为想从事大数据方向学习的小伙伴总结了一下大数据的学习路线，供大家学习参考。由于大数据是一个基础门槛较高就业前景较好的学习方向。所以打算学习大数据的小伙伴要加油啦！ 大数据学习路线： 首先我要了解大数据处理流程： 第一步：数据收集 第二部：数据存储 第三步：数据分析 第四步：数据应用 ... ...
转载
2021-05-05 17:02:11
131阅读
2评论
数据:可以获取和存储的信息 实际上:人类的一切语言，图画图形，音像记录，所有感官可以察觉的事物，只要能够被记下来，能够查询到，就都是数据。 数据的单位： 1B（Byte 字节）=8bit 1KB (Kilobyte 千字节)=1024B， 1MB (Mega byte 兆字节 简称“兆”)=1024
原创
2021-08-04 09:58:26
163阅读
1. Hbase基础
1.1 hbase数据库介绍
1、简介
hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。
它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。
主要用来存储结构化和半结构化的
转载
2019-01-28 16:40:00
270阅读
2评论
转自：https://www.zhihu.com/question/24761255 必须技能10条:01.Java高级(虚拟机、并发)02.Linux 基本操作03.Hadoop（此处为侠义概念单指HDFS+MapReduce+Yarn ）04.HBase（JavaAPI操作+Phoenix ）0 ...
转载
2021-08-24 23:13:00
198阅读
2评论
最近有很多人问我如何学习大数据？我也是思考了很多时日才动笔写下此文。一方面我自己
原创
2023-04-30 07:36:44
279阅读
作为一个较新领域，大数据每年都会有新技术不断涌现。这里结合我个人学习经历，梳理一个大致的学习路线，作为参考以及后续学习的方向。大数据的学习路线主要分为两大部分：专业基础、大数据组件。1 专业基础基础技术大致分为6个方向：Java 方向、Web 方向、数据库方向、Python 方向、Linux 方向、计算机基础方向。1.1 Java 方向Java 是大数据领域常用的编程语言之一，大数据组件基本上都是
原创
2023-08-21 12:07:54
112阅读
