SSH免密登陆配置
1 SSH工作机制
1、相关概念
SSH 为 Secure Shell（安全外壳协议） 的缩写。
很多ftp、pop和telnet在本质上都是不安全的，因为它们在网络上用明文传送口令和数据，别有用心的人非常容易就可以截获这些口令和数据。而SSH就是专为远程登录会话和其他网络服务提供安全性的协议。
SSH的具体实现是由客户端和服务端的软件组成的
服
转载
2018-12-06 19:37:00
140阅读
2评论
python简述1，跨平台2，应用范围广(操作系统，3d动画，web，云计算，企业应用)python基本知识内置函数(bif：built in functions)：比如print、int，input。（可以理解为官方定义的一种方法）；#查询函数列表
dir(_builtins_)
# 查看某个内置函数功能
help(int)流程图的使用：可以理清自己程序的逻辑性，科学合理的解决程序可能出现问题；
转载
2023-09-11 15:47:26
2阅读
大数据基本概述 一、大数据基本概念 1、大数据(Big Data)：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，需要新处理模式才能俱有更强的决策边、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 2、主要解决：海量数据的存储和海数据的分析计算问题。 二、大数据的特点(4v) 1、Volume (大量)：截至目前，人类生产的所有印刷材料的数据量是200PB，而历
转载
2023-09-27 18:54:17
159阅读
计算圆周率
[root@mini1 bin]# ./run-example SparkPi
[root@mini1 bin]# ./run-example SparkPi 10
[root@mini1 bin]# ./run-example SparkPi 1000
运行spark-shell的两种方式：
1直接运行spark-shell
单机通过多线程
转载
2019-06-10 18:46:00
187阅读
2评论
架构图
重要类介绍
ActorSystem
在Akka中，ActorSystem是一个重量级的结构，他需要分配多个线程，所以在实际应用中，ActorSystem通常是一个单例对象，我们可以使用这个ActorSystem创建很多Actor。
Actor
在Akka中，Actor负责通信，在Actor中有一些重要的生命周期方法。
1.preStart()方法：该方法在Actor对象构造方法执行后
转载
2019-06-04 17:19:00
201阅读
2评论
当下越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都呈现出大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，目前互联网大数据运用的九大领域：1.理解客户、满足客户服务需求 大数据的应用目前在这领域是最广为人知的。通过大数据分析更好的了解客户以及他们的爱好和行为。企业非常喜欢通过在线客服系统搜集用户社交方面的数据、浏览器的日志、各类文本和传感器的数
转载
2023-12-12 22:18:06
14阅读
为了广大学员更好的学习spark，对《Spark大数据快速计算平台》最初课程重新安排，便于更全面、更系统的了解spark。大部分课程是一周的内容（1-2小时），有部分课程是二周的内容（2-4小时）；二周内容的课程会一次性发放，但间隔时间会多一周，总的课程...
转载
2022-11-09 00:00:18
257阅读
PySpark使用pyspark:• pyspark = python + spark• 在pandas、numpy进行数据处理时，一次性将数据读入 内存中，当数据很大时内存溢出，无法处理；此外，很多执行算法是单线程处理，不能充分利用cpu性能spark的核心概念之一是shuffle，它将数据集分成数据块，
原创
2021-07-21 11:12:26
468阅读
数据:可以获取和存储的信息 实际上:人类的一切语言，图画图形，音像记录，所有感官可以察觉的事物，只要能够被记下来，能够查询到，就都是数据。 数据的单位： 1B（Byte 字节）=8bit 1KB (Kilobyte 千字节)=1024B， 1MB (Mega byte 兆字节 简称“兆”)=1024
原创
2021-08-04 09:58:26
202阅读
1. Hbase基础
1.1 hbase数据库介绍
1、简介
hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。
它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。
主要用来存储结构化和半结构化的
转载
2019-01-28 16:40:00
285阅读
2评论
转自：https://www.zhihu.com/question/24761255 必须技能10条:01.Java高级(虚拟机、并发)02.Linux 基本操作03.Hadoop（此处为侠义概念单指HDFS+MapReduce+Yarn ）04.HBase（JavaAPI操作+Phoenix ）0 ...
转载
2021-08-24 23:13:00
224阅读
2评论
最近有很多人问我如何学习大数据？我也是思考了很多时日才动笔写下此文。一方面我自己
原创
2023-04-30 07:36:44
283阅读
作为一个较新领域，大数据每年都会有新技术不断涌现。这里结合我个人学习经历，梳理一个大致的学习路线，作为参考以及后续学习的方向。大数据的学习路线主要分为两大部分：专业基础、大数据组件。1 专业基础基础技术大致分为6个方向：Java 方向、Web 方向、数据库方向、Python 方向、Linux 方向、计算机基础方向。1.1 Java 方向Java 是大数据领域常用的编程语言之一，大数据组件基本上都是
原创
2023-08-21 12:07:54
151阅读
大数据学习之路 学习必备 在学习大数据的过程中，需要具备的能力或者知识，在这里简单的罗列一下： 语言基础：需要会使用shell脚本、java和scala(这俩语言主要是用于日常代码和阅读源代码) 工具：IDE如eclipse或者idea，虚拟机和secureCRT连接工具 书籍：《Hadoop权威指南》《HadoopYARN权威指南》《Spark快速大数据分析》《从Paxos到zoo
转载
2019-03-06 11:23:17
13阅读
目前大数据行业异常火爆，不少人都对大数据充满了兴趣，其中有大部分人都是之前没有接触过计算机技术的，对编程语言也不太了解，那是不是这部分零基础的朋友就学不了大数据了呢？答案当然是否定的。大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，零基础的朋友也是完全可以掌握大数据的。零基础学习大数据一般有以下几步：一、了解大数据理论要学习大数据你至少应该知道什么是大数据，大数据一般运用在什么领域。
原创
2018-08-01 18:07:40
1331阅读
