1、KDC创建principal
1.1、创建认证用户登陆到kdc服务器，使用root或者可以使用root权限的普通用户操作：# kadmin.local -q “addprinc -randkey hbase/yjt”# kadmin.local -q “addprinc -randkey zookeeper/yjt”# kadmin.local -q “addprinc -randkey zk
文章目录Kerberos简介Kerberos认证原理Kerberos部署Cloudera Manager平台上Kerberos的配置（在做此操作之前，请检查服务器时期是否正常）常用命令登录Kerberos创建Kerberos主体修改Kerberos主体密码查询所有的Kerberos的主体生成keytab密钥文件删除Kerberos主体主体认证销毁凭证启动重启停止Kerberos服务命令用户操作常
转载
2024-05-08 15:12:49
23阅读
标题为Kerberos配置HDP组件本节介绍如何配置Kerberos以对Ambari受管群集中的HDP组件进行强身份验证。为Kerberos配置Kafka本节介绍如何在Ambari管理的群集上为Kafka配置Kerberos安全性。 Kafka的Kerberos安全性是一项可选功能。 启用安全性后，功能包括： •对客户端与代理之间的连接（消费者，生产者）进行身份验证 •基于ACL的授权Kerber
转载
2024-03-19 01:59:08
71阅读
Flink要求它使用的Hadoop集群必须是要添加Kerberos和SASL认证的。环境准备Hadoop集群的机器有三台，选择其中一台作为Master主机名IP角色master192.168.0.121主集群slave1192.168.0.111从集群slave2192.168.0.222从集群确保每台主机的DNS解析正确，主机之间可以ping通,主机之间可以免密ssh，hosts配置192.16
转载
2024-03-22 21:49:27
724阅读
Spark是UC Berkeley AMP 实验室基于map reduce算法实现的分布式计算框架，输出和结果保存在内存中，不需要频繁读写HDFS，数据处理效率更高Spark适用于近线或准实时、数据挖掘与机器学习应用场景 Spark和HadoopSpark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右。 Spark是hadoop的升级版本，Ha
转载
2024-05-08 13:46:28
66阅读
1.什么是kerberos?Kerberos（/ˈkərbərəs/）是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。
转载
2024-03-03 09:54:16
22阅读
官网文档关于kerberos介绍很少添加用户配置HDFS相关的Kerberos账户每个节点根据运行的不同组件创建不同的principl及keyta
原创
2022-01-19 10:52:22
138阅读
连接到外部系统 Flink的Table API和SQL程序可以连接到其他外部系统来读写批处理表和流式表。表源提供对存储在外部系统（如数据库、键值存储、消息队列或文件系统）中的数据的访问。表接收器将表发送到外部存储系统。根据源和汇的类型，它们支持不同的格式，如CSV、Parquet或ORC。
转载
2023-11-17 22:58:11
277阅读
说明数据节点的最重要的功能点，是管理数据节点的数据块，并可以和NN,DN交互读写。DFSClient将数据块写入数据节点中DFSClient从数据节点中读取数据块数据节点复制 读写操作基于DataTransferProtocolDataTransferProtocolreadBlock DN上读取指定的数据块writeBlock DN上指定数据块写入到Pipeline中transferBlock
转载
2024-04-05 10:51:55
21阅读
一、介绍 可以通过许多不同的方式从应用程序访问HDFS。在本地，HDFS为应用程序提供了一个文件系统Java API。这个Java API和REST API的C语言包装也是可用的。此外，还可以使用HTTP浏览器来浏览HDFS实例的文件。通过使用NFS网关，可以将HDFS作为客户机本地文件系统的一部分进行安装。  
转载
2024-05-30 12:14:37
67阅读
Kerberos (Secure Network Authentication System，网络安全认证系统)，是一种网络认证协议，其设计目标是通过密钥系统为 Client/Server 提供强大的认证服务。该认证过程的实现不依赖于主机操作系统的认证，无需基于的信任，不要求网络上所有主机的物理安全，并假定网络上传送的数据包可以被任意地读取、修改和插入数据。SASL (Simple Authent
转载
2024-02-26 16:47:06
209阅读
1.启动内置的zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties2.启动kafka服务 bin/kafka-server-start.sh config/server.properties3.创建topic话题 bin/kafka-topics.sh --create --topic test --bootstra
转载
2024-03-14 07:49:50
241阅读
前言KafKa节点broker的参数配置是所有kafka环境都需要配置和考虑的，无论是单机还是集群环境；有些参数是属于kafka基础的配置，在研发的过程中我们需要明确器含义；1.broker.idkafka 使用唯一的整数来进行broker的标识，该参数默认值为0；若不指定，kafka将会自动指定唯一值，但是，无论我们指定什么值，都必须保证该值在kafka集群中是没有冲突的，j建议使用从0开始的的
转载
2024-02-21 10:35:45
107阅读
1.MapTask运行机制第一步： 读取文件 FileInputFormat切片机制： 切片：是将数据进行逻辑上划分成多个split。将每一个split分配给一个对应的maptask处理。block是HDFS上物理上存储的存储的数据，切片是对数据逻辑上的划分。两者之间没有关系
转载
2024-04-03 20:27:04
49阅读
配置HDFS相关的Kerberos账户
每个节点根据运行的不同组件创建不同的principl及keytab
创建数据目录
每个节点都要创建
设置HDFS的配置文件
hadoop-env.sh
core-site.xml
hdfs-site.xml
启动HDFS测试
使用普通用户来管理Hadoop
node1
kadminprinc
addprinc nn/no
原创
2021-07-02 10:19:29
1154阅读
## 实现Spark HDFS Kerberos的流程
为了实现Spark HDFS Kerberos，我们可以按照以下步骤进行操作：
### 步骤一：设置Kerberos环境
在开始之前，确保你已经在机器上安装了Kerberos，如果没有，请按照Kerberos的安装指南进行安装。安装完成后，需要配置Kerberos环境变量。
### 步骤二：生成Keytab文件
在这一步中，我们需要
原创
2023-09-27 04:09:36
350阅读
目录1.修改hdfs配置2.配置两个集群的hosts3.在两个集群中创建相同加密算法的共享principal4.在两个hdfs集群中增加彼此域中受信任的principal的命名匹配规则5.修改两个集群所有主机的krb5.conf配置文件6.重启两个集群的kdc7.重启两个集群的hdfs集群和yarn集群8.查看对方hdfs上的文件目录9.向对方hdfs集群上传文件10.使用distcp传输数据到对
转载
2023-10-17 12:28:28
272阅读
一定会有疏漏。 我的环境：三台服务器，分别命名为zelda1、zelda2、zelda3ubuntu 14.04hadoop 2.7.2spark 2.0/1.6.1 原理 默认Hadoop各个组件间无任何认证，因此可以恶意伪装某一组件（比如NameNode）接入到集群中搞破坏。而通过kerberos，可以将密钥事先放到可靠的节点上并只允许有限制的访问，该节点的服务启动时读取密钥，并与kerber
转载
2024-05-22 19:41:42
65阅读
flink的官网对于写入HDFS的例子比较简单，很难跑起来，缺少更详细的描述。目标： 本地代码flink streaming读取远程环境的kafka的数据，写入远程环境的HDFS中；核心代码：public static void main(String[] args) throws Exception { // set up the streaming execution...
转载
2021-06-10 20:25:44
2478阅读
flink的官网对于写入HDFS的例子比较简单，很难跑起来，缺少更详细的描述。目标： 本地代码flink streaming读取远程环境的kafka的数据，写入远程环境的HDFS中；核心代码：public static void main(String[] args) throws Exception { // set up the streaming execution...
转载
2021-06-10 19:52:01
1729阅读
