简介安全无小事，我们常常要为了预防安全问题而付出大量的代价。虽然小区楼道里面的灭火器、消防栓常年没人用，但是我们还是要准备着。我们之所以愿意为了这些小概率事件而付出巨大的成本，是因为安全问题一旦发生，很多时候我们将无法承担它带来的后果。在软件行业，安全问题尤其突出，因为无法预料的事情实在太多了。软件的复杂性让我们几乎无法完全扫清安全问题，模块 A 独立运行可能没问题，但是一旦和模块 B 一起工作也
转载
2024-01-09 14:51:26
112阅读
kerberos是一个基于对称密钥的认证系统，事实上它有时候比基于非对称密钥的pki工作的更好，特别是在小规模网络架构时，管理上更加集中和方便，甚至效率更高。那篇经典对话相信很多人都能将之读完，但是读完之后同样很多人需要时间来消化，事实上那篇对话并不仅仅是在讲kerberos的原理，它更多的意义在于展示了一种研究问题的方法，从简单到复杂，一点一点的弥补漏洞，最终加上众多的权衡，得到一个既安全又高效
Kerberos协议角色组成：Kerberos协议中存在三个角色，分别是：客户端 (client)：发送请求的一方服务端（server）接受请求的一方钥匙分发中心(Key distribution KDC)密钥分发中心又分为两个部分，分别是： AS(Authentication Server)：认证服务器，专门用来认证客户端的身份并发放客户用于访问T
转载
2024-10-28 08:15:58
43阅读
什么是Kerberos协议 kerberos是一种计算机网络认证协议，他能够为网络中通信的双方提供严格的身份验证服务，确保通信双方身份的真实性和安全性。不同于其他网络服务，kerberos协议中不是所有的客户端向想要访问的网络服务 发起请求，他就能够建立连接然后进行加密通信。而是在发起服务请求后必须先进行一系列的身份认证，包括客户端和服务端两方的双向认证，只有当通信双方都认证通过对方身份之后，才可
转载
2024-02-24 18:59:40
24阅读
1、Hadoop配置1、配置hadoop-env.sh 添加JAVA_HOME信息，如： export JAVA_HOME=/usr/java/jdk1.6 2、配置core-site.xml 参数：fs.default.name 作用：指定NameNode的IP地址和端口（端口可以修改） 注意：如果是完全分布式节点，localhost应改为该主机的IP和端口 如下：<?xml versio
转载
2023-07-04 14:57:33
146阅读
01PARTKerberos简介 Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用
转载
2024-02-04 09:34:38
35阅读
jdk、hadoop安装，hadoop集群配置一、jdk安装下载lrzsz包 进入到software目录，并且输入命令rz选择jdk文件点击Add -> OK，等待下载完成将jdk压缩包解压到/export/servers目录下解压错目录，重新修改成/root/export/servers/目录下修改jdk文件夹名称修改/etc/profile文件在最后一行输入以下语句查看目录检验
转载
2023-07-30 12:41:14
157阅读
一、手动HA。1、首先将完全分布式的配置文件备份。复制一份配置文件用来搭建HA。$ cp -r /home/betty/soft/hadoop/etc/cluster_hadoop /home/betty/soft/hadoop/etc/HA_hadoop
$ rm hadoop -------删掉之前的软连接。
$ ln -s HA_hadoop hadoop --------重新创建指向HA_
转载
2023-08-18 16:37:20
62阅读
Hadoop2.x集群配置规划如下图所示： 下面开始配置HA，HA的配置是基于了上次搭建的Hadoop1.x集群，Hadoop1.x集群的规划见上图1、关闭原来的node1作为激活状态的namenode集群进入到node1操作#stop-all.sh 关闭集群
#jps 关闭后一定要使用jps查看一下进程，确认关闭了2、免秘钥登录集群原因很简单，就是为
转载
2023-07-25 00:14:42
87阅读
一、HDFS-HA集群配置 1.环境准备修改IP修改主机名及主机名和IP地址的映射关闭防火墙ssh免密登录安装JDK，配置环境变量等2.规划集群 3.配置Zookeeper集群集群规划 在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。解压安装 （1）解压Zookeeper安装包到/opt/module/目录下[jinghang@hadoop102 so
转载
2023-07-12 12:09:32
200阅读
文章目录一.HDFS-HA集群配置1.配置HDFS-HA集群2.启动 HDFS-HA 集群3.配置 HDFS-HA 自动故障转移二.YARN-HA配置配置 YARN-HA 集群 一.HDFS-HA集群配置1.配置HDFS-HA集群①HDFS 高可用集群规划：请保证 Hadoop 完全分布式和 ZooKeeper 完全分布式环境已经安装完成。方法步骤在上一篇文章中：hadoop的安装配置和集群搭建
转载
2023-07-12 11:26:25
83阅读
步骤目录为Hadoop准备Java环境下载Hadoop添加Hadoop到系统变量Hadoop配置etc/hadoop/core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlhadoop-env.cmd测试运行格式化HDFS启动！ 题前话：Hadoop官方认定Hadoop环境最好还是运行在Ubuntu系统上，由于笔者比较倾向在Win上面做开发
转载
2023-07-25 20:28:15
66阅读
1.1 安装环境操作系统deepin 15.11, VMware Workstation，hadoop 3.1.3 版本。在deepin 操作系统中安装 VMware Workstation，在 VMware Workstation中安装两个deepin系统，采用两个节点作为集群环境，一个作为Master节点，一个作为Slave 节点。1.2 hadoop的安装准备在Master节点和Slave节
转载
2023-10-14 09:41:11
94阅读
一. HA概述1. 所谓HA（High Available），即高可用（7*24小时不中断服务）。2. 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。3. Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4 . NameNode主要在以下两个方面影响HDFS集群 &n
转载
2023-08-21 09:13:21
100阅读
http://www.cloudera.com/blog/2010/03/clouderas-support-team-shares-some-basic-hardware-recommendations/
标题：Cloudera’s Support Team Shares Some Basic Hardware Recommendations
提高
转载
2023-09-01 08:21:53
30阅读
文章目录一.linux网络设置二.安装Java环境linux集群时间同步Chrony一.安装二.使用三.常用命令LINUX配置ssh免密登录LINUX安装mysqlCentOS7卸载mysql三.安装hadoop命令行客户端常用命令四.常用Linux命令后台运行命令查看linux端口占用情况查看tcp网络端口状态查看后台运行命令获取当前日期并指定格式 并指定前一天批量解压rpm相关命令删除文件夹
一般来说，hadoop集群环境都是比较耗内存的，所以即使在虚拟机上面，配置的每台机器的内存至少不能小于50G，不然后期测试会去进行一个扩容，所以就要求自己的电脑配置相对于比较高，这样才能完成本地的一些大数据的测试。因为hadoop都是比较耗内存的，所以需要注意以下2点：1.NameNode和SecondaryNameNode不要安装在同一台服务器2.ResourceManager也很消耗内存，不要
转载
2023-07-12 02:13:39
119阅读
1.1.1 YARN的介绍 为克服
Hadoop 1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop 1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN.
Apache YARN（Yet another Resource Negotiator的缩写）是Hadoop集群的资源管理
转载
2023-07-14 15:21:31
188阅读
1 Hadoop HA架构详解1.1 HDFS HA背景HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内
转载
2023-12-29 23:42:17
51阅读
题前语：为什么要安装这个东西呢？是因为我们要在多台机器之间通信，这个服务就相当于支持这种通信的一个桥梁，打个比喻，相当于windows里，通过远程桌面连接到其他机器。所以，安装这个服务，的目的是：1、为了连接其他的机器2、更进一步，为了在连接其他机器时，免密码登陆以下是具体步骤：1、联网情况下，执行命令：apt-get install ssh （注意，-get前没有空格）2、创建免密码登陆首先检查
转载
2023-10-16 13:04:31
91阅读
