Brief 这一篇用于记录一些学习中收获的trick,持续更新。Linux 指令查看GPU状态 ：watch -n1 gpustat
查看CPU进程 ： top
ssh远程连接服务器： ssh -p22 username@ip
关闭ssh crtl+D或则log out
ssh连接中断但是继续运行程序：nohup +指令，这一条可能会出现权限上的错误：nohup: ignoring input a
Ranger介绍2016年，Hadoop迎来了自己十周岁生日。过去的十年，Hadoop雄霸武林盟主之位，号令天下，引领大数据技术生态不断发展壮大，一时间百家争鸣，百花齐放。然而，兄弟多了不好管，为了抢占企业级市场，各家都迭代出自己的一套访问控制体系，不管是老牌系统(比如HDFS、HBase)，还是生态新贵(比如Kafka、Alluxio)，ACL(Acc...
原创
2021-08-31 16:47:06
1313阅读
# Apache Ranger HDFS 架构实现步骤指南
Apache Ranger 是一个用于提供数据安全性的框架，允许你为 Hadoop 生态系统中的数据访问设置策略。实现 Apache Ranger 与 HDFS 结合的架构，可以帮助你增强数据的安全性与合规性。接下来，我将为你介绍实现 Apache Ranger HDFS 架构的流程。
## 流程步骤
以下是实现流程的简要步骤：
本人这几天一直在看apache相关的书籍，稍微说下apache的结构本人的制图：Apache一共有五层功能结构。从底层到上依次为：第一层： 名称：操作系统支持层 功能：操作系统可以提供底层功能，比如进程、线程、socket通信、文件操作等等，这些操作系统可以是unix的变种、MacOS、windows。第二层： 名称：可移植运行库层（libApr） 功能：因为每种系统所提供的api差异相对
转载
2023-07-18 10:41:58
141阅读
apache简介、apache编译安装和LAMP架构 资源池:httpd依赖包：apr 和 apr-util 下载：点击这里
httpd 下载：点击这里
mysql 下载：点击这里
php 下载： 点击这里
本章资源： 点击这里 资源提取码：u2jv1、apache简介Apache（Apache HTTP Server）是Apache软件
转载
2024-07-26 14:31:23
54阅读
一、下载http://httpd.apache.org/download.cgi 根据自己的电脑下载不同的版本二、安装将安装包解压到合适位置即可 注意：最好文件夹名不包含中文且不要包含空格配置 1、打开命令提示符cmd，切换到刚解压位置的bin目录下 cd D:\Users\Apache24\bin（自己的路径）httpd -k install -n "Apache" //安装一个叫Apach
转载
2023-10-20 22:30:06
78阅读
大家好，我是良许。在抖音上做直播已经整整 5 个月了，我很自豪我一路坚持到了现在【笑脸】最近我在做直播的时候，也开始学习鱼皮大佬，直播写代码。当然我不懂 Java 后端，因此就写写自己擅长的 Shell 脚本。但是，由于我是在 Linux 终端上写代码，没办法向观众朋友们展示一些图片或者 PDF 文档，影响了一些直播效果。这几天在查阅资料的时候，终于找到了一个神器，功能上可以实现我的需求。这个神器
转载
2023-12-14 19:00:43
148阅读
Ranger 的审计配置默认Hadoop集群环境是没有权限控制的，HDFS、Hive上文件和表是可以随意访问的，这对公司的数据资产带来的很大风险。随着大数据生态的进化和成熟，越来越多的公司都实施了自己数据治理策略，权限管理就是其中不可或缺的一部分。Apache Ranger是Hadoop开源生态中提供集中式权限管理的框架，可以对Hadoop生态中Hive、HDFS、YARN等组件进行细粒度的权限访
转载
2024-08-23 16:18:44
99阅读
----------------------目录导航见左上角------------------------------- 环境HDP 3.0.1.0 （已有）JDK 1.8.0_91 （已有）Mysql 5.7.25 （已有）Kerberos 1.10.3-30 （后续文档中有
转载
2024-05-07 12:48:11
173阅读
作者：Eric Lin (林晨辉)， Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学， Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise（现为Experian的子公司）和Effective Measure，担任高级工程师，负责设计，开发和管理用于采集， 处理和报告网络数据的平台（基于PHP，Java和CDH）。现任职Cloudera， 担
转载
2024-07-03 13:37:42
53阅读
ranger如何对在非安全模式下的kafka进行授权操作我可以通过ranger对非安全模式下的kafka进行访问控制我可以通过ranger的用户用户组来对非安全模式下的kafka进行访问控制当用ranger对非安全模式下的kafka进行控制有没有推荐的policy设置方法确保信息发布者具有合适的权限为什么我们需要将非安全模式下的所有的policy的user group都指定为public在使用R
转载
2024-03-24 20:11:55
56阅读
一、什么是Apache RangerApache Ranger来源于2013年成立于美国加利福尼亚的XA Secure公司，它是一个Hadoop安全相关的开源组件。在2014年，Hortonworks收购了XA Secure公司，将其贡献给了Apache软件基金会，目前是Apache的顶级开源项目。二、 Apache Ranger的特点Apache Ranger是基于访问策略的权限控制模型，通过对
转载
2024-04-03 22:08:56
210阅读
# Ranger Kerberos Hadoop架构图科普
## 引言
在大数据时代，数据安全和访问控制变得尤为重要。Apache Ranger 和 Kerberos 是两个用于增强 Hadoop 生态系统安全性的关键组件。本文将介绍 Ranger 和 Kerberos 的基本概念、它们在 Hadoop 中的应用，以及示例代码和类图的具体实现。
## 什么是 Apache Ranger？
文章目录一、解耦二、隔离三、异步四、备份五、Failover（失效转移）六、幂等七、事务补偿（1）传统事务的ACID（2）分布式事务的BASE八、重试九、熔断十、限流十一、自适应限流十二、降级十三、异地多活 一、解耦• 高内聚、低耦合的组件设计原则 • 面向对象基本设计原则 • 面向对象设计模式 • 领域驱动设计建模二、隔离• 业务与子系统隔离 • 微服务与中台架构 • 生产者消费者隔离 • 虚
1. 安装Ranger安装JDK(略)编译Ranger(略)安装MySQL(略)
创建名为ranger的数据库(CREATE USER 'ranger'@'%' IDENTIFIED BY 'ranger';)。创建名为ranger的用户，并授权ranger数据库所有权限给ranger(GRANT ALL PRIVILEGES ON ranger.* TO 'ranger'@'%';)刷新生
转载
2024-04-18 19:53:18
290阅读
1、深入了解Hbase物理模型架构：从物理结构上讲，HBase由三种类型的服务器构成主从式架构。它的主节点master主要的作用为对表的创建和删除。从节点segionserver主要作用为操作数据表，对表进行查看修改插入等操作。Hbase的segionserver和HDFS的DataNode放置在一起，使segionserver操作的数据具有局部性。Hbase表按照rowkey分成若干个ragio
转载
2023-09-23 08:41:34
78阅读
首先描述一下现象最近对HDFS底层做了许多优化，包括硬件压缩卡，内存盘及SSD。在出测试报告时发现老问题，HBase写入速度不稳定，这个大家都习以为常了吧，就是压测时，只要row size稍小一点，不管你怎么压，HBase的RegionServer总是不愠不火特淡定。有些人就怀疑是磁盘到瓶颈了？还有些人怀疑是不是GC拖累了？总之网上大部分测试都是黑盒测试嘛，大家也就乱猜呗。下面我仔细来分析下原因，
1. 概述 Apache Ranger是大数据领域的一个集中式安全管理框架，目的是通过制定策略（policies）实现对Hadoop组件的集中式安全管理。用户可以通过Ranger实现对集群中数据的安全访问。2. Ranger内部组件 Ranger由三个模块组成：Ranger内部组件、依赖组件、扩展性组件。2.1 内部组件 包含的内部组件如下：Ranger Adm
转载
2024-08-01 12:19:34
399阅读
一、安装hdfs插件
从源码安装ranger的服务器上拷贝hdfs的插件到你需要安装的地方1、解压安装
# tar zxvf ranger-2.1.0-hdfs-plugin.tar.gz -C /data1/hadoop2、修改插件配置文件，如下
# cd /data1/hadoop/ranger-2.1.0-SNAPSHOT-hdfs-plugin/修改install.properties文件
转载
2024-02-05 12:23:07
240阅读
如需了解Ranger架构，可浏览以下页面：一、环境操作系统：CentOS6.9 软件版本：Ranger2.0.0，Hive2.3.4二、安装Ranger2.0.01、下载源文件从github下载。执行：git clone https://github.com/apache/incubator-ranger.git下载完成后，看到有一个incubator-ranger文件夹，里面就是源文件。2、安装
转载
2023-12-14 02:09:29
223阅读
