名词解释JMX:Java Management Extensions,用于用于Java程序扩展监控和管理项 GC:Garbage Collection,垃圾收集,垃圾回收机制指标项来源主机名url192.168.20.10http://192.168.20.10:60010/jmx192.168.20.11http://192.168.20.11:16030/jmx192.168.20.12htt            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-18 15:07:30
                            
                                470阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            项目背景本项目为车联网监控系统,系统由车载硬件设备、云服务端构成。车载硬件设备会定时采集车辆的各种状态信息,并通过移动网络上传到服务器端。服务器端接收到硬件设备发送的数据首先需要将数据进行解析,校验,随后会将该消息转发到国家汽车监测平台和地方汽车监测平台,最后将解析后的明文数据和原始报文数据存储到系统中。车辆的数据和其他数据需要通过web页面或rest API接口进行查询访问。要求半年内的数据查询            
                
         
            
            
            
            Zabbix的分布式监控基础zabbix架构分布式架构Zabbix通过Zabbix proxies为IT基础设施提供有效和可用的分布式监控代理(proxy)可用于代替Zabbix server本地收集数据,然后将数据报告给服务器。zabbix-proxy的特征当选择使用/不使用proxy时,必须考虑几个注意事项。Proxy轻量级(Lightweight)Yes图形界面(GUI)No独立工作(Wor            
                
         
            
            
            
            1.简介  Phoenix将SQL带回到了NOSQL的世界,其在HBase之上做了一个layer,客户端通过SQL调用Phoenix,Phoenix在转化为HBase客户算API进行访问HBase,其很多计算也是通过HBase的协处理器的机制来完成的。当前很多场景下使用CDH版本的HBase,可惜Cloudrea公司并没有官方支持,内有将Phoenix纳入发布版本中,所以造成社区的Phoenix并            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-01-09 23:37:24
                            
                                94阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            本篇主要讲HBase的部署,Apache HBase provides large-scale tabular storage for Hadoop using the Hadoop Distributed File System (HDFS)1    安装HBase apt-get install hbase2   &nbs            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-02 10:39:14
                            
                                77阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            compact一中介绍了HBASE compact的调度流程,本篇文章主要介绍实际进行compact的过程。先从上文中的chore中接入,在HRegionserver中的compactChecker chore方法中,会判断是否需要compact,如下:protected void chore() {
      //遍历instance下的所有online的region  进行循环检测            
                
         
            
            
            
            1 文档编写目的本文档讲述如何升级Cloudera Manager和CDH,通过本文档,您将学习到以下知识:1.如何对Cloudera Manager进行停机升级2.如何对CDH进行停机升级3.如何在不影响集群作业的情况下进行CDH滚动升级文档主要分为以下几步:1.Cloudera升级概述2.Minor版本Cloudera Manager和CDH升级3.Maintenance版本滚动升级CDH4.            
                
         
            
            
            
            1. 查看CDH 安装的hadoop 和 hbase 对应的版本具体可以参考以下博客:https://www.cxyzjd.com/article/spark_Streaming/108762904直接给出答案hadoop 版本 3.0.0hbase 版本 2.1.02. 在 github 找到其hbase版本对应的geomesa的版本github 地址:https://github.com/lo            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-06-14 17:44:08
                            
                                231阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            第一步:下载对应的HBase的安装包 所有关于CDH版本的软件包下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/ HBase对应的版本下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz第二步:压缩包上传并解压 cd /export/softwares rz+            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-11-27 16:59:04
                            
                                99阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            目录添加集群 集群添加hdfs、yarn、zookeeper服务服务启动异常1.cdh namenode 节点启动失败(无法打开文件) 2.jobHistory server 角色进程退出3.Canary无法创建父目录yarn HA在安装完 hdfs 之后,要启动 journalnode 服务 启用 hdfs ha错误示范,没有预先安装 journalnod            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-11-20 18:47:11
                            
                                95阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            笨小葱这周写了一个读取hbase中的数据到map中的很简单的mr。然后放到cdh集群中跑了一下,结果出现了一系列问题。其中最重要的一个问题竟然是,笨小葱想去找我在mr程序中打的日志,竟然苦苦找不到。所以这里记录下笨小葱从头到尾的一个过程。1.打包运行mr这里笨小葱执行 hadoop jar xxx.jar时,报了一个错误:Exception in thread "main" java.lang.N            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-17 22:47:12
                            
                                231阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            HBase安装步骤一、准备工作二、安装步骤(一)解压(二)HBase配置1.配置hbase-env.sh2.配置hbase-site.xml(三)环境配置(四)启动hbase(五)关闭hbase三、hive + hbase    前言:下文中的IP地址、文件路径、主机名等,请根据您自己的实际情况,进行修改和配置。 一、准备工作安装一台虚拟机(★★★ 虚拟机 CentOS 7的安装步骤 ★★★)启            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-01-20 14:02:03
                            
                                57阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            背景:kudu是好用,想直接hive操作,好像貌似只有hive 4.0.0 支持;还有一个就是纯粹测试。网上这种升级的帖子少,有自己编译过hive4.0.0源码升级的,我不会java啊。升级是测试和研究,简单的步骤一口带过,有不足的地方各位看官凑合吧。步骤:下载hive apache-hive-4.0.0-alpha-2-bin.tar.gz 有精神的可以下载src自己编译,顺便说一嘴,自己编译,            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-06-03 08:56:32
                            
                                60阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            CDH(Cloudera Distribution for Hadoop)是一个基于Apache Hadoop生态系统的开源软件套件,用于分布式数据存储、处理和分析。在CDH中,HBase是一个列式数据库,用于存储和管理大规模结构化数据。
在重装CDH中的HBase,我们需要按照一定的流程进行操作。下面是整个重装过程的步骤:
| 步骤 | 操作 |
| ---- | ---- |
| 1 |            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-01-08 12:11:29
                            
                                133阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            在某些情况下,系统需要重装 HBase,尤其是在使用 CDH (Cloudera's Distribution Including Apache Hadoop) 环境中。本文将详细记录“cdh 重装 hbase”的步骤和注意事项,帮助你顺利完成这一过程。
### 环境准备
在进行 HBase 重装之前,先确保你的环境符合要求。以下是重装 HBase 所需的前置依赖和版本兼容性矩阵。
####            
                
         
            
            
            
            # CDH重启HBase的深入探讨
在现代大数据生态中,Apache HBase(基于Hadoop的分布式NoSQL数据库)作为一种解决方案被广泛应用于大数据存储及处理。随着数据量的快速增长,如何更有效地管理HBase以及保证系统的高可用性,成为了很多开发者和运维人员关心的问题。本篇文章将带您了解CDH中HBase的重启过程,以及如何在重启HBase前后进行必要的操作和注意事项。
## 1.            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-09-12 03:48:38
                            
                                69阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            CDH HBase Sentry:HBase数据权限管理的最佳实践
## 概述
在大数据时代,数据安全和权限管理成为了不可忽视的重要问题。对于企业级的大数据平台来说,HBase是一个非常常见的分布式数据库,在数据存储和处理能力方面具备很强的优势。然而,HBase默认情况下没有提供细粒度的数据权限管理功能,这就给数据安全带来了一定的挑战。
为了解决这个问题,Cloudera发布了CDH HBa            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-01-27 05:52:50
                            
                                55阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # 卸载HBase
在CDH集群中,HBase是一个常用的分布式数据库,用于存储大规模数据。在一些情况下,我们可能需要卸载HBase,可以是因为需要替换成其他组件,或者是需要清理集群中的一些资源。本文将介绍如何在CDH集群中卸载HBase。
## 卸载步骤
### 1. 停止HBase服务
在卸载HBase之前,首先需要停止HBase服务。可以通过Cloudera Manager或者命令行            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-06-20 06:24:35
                            
                                39阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # CDH HBase 卸载指南
在 CDH(Cloudera Distribution including Apache Hadoop)环境中,卸载 HBase 是一个常见的运维任务。本文将为小白开发者提供一个详细的 HBase 卸载步骤指南,包括每一步需要执行的命令和解释。
## 流程概览
以下是卸载 HBase 的主要步骤:
| 步骤编号 | 步骤名称       | 描述            
                
         
            
            
            
            # CDH、HBase和Python
## 介绍
CDH(Cloudera's Distribution Including Apache Hadoop)是一个包含了Apache Hadoop及其生态系统的分布式计算平台。其中的HBase是一个分布式的、可伸缩的NoSQL数据库,基于Hadoop HDFS进行数据存储和处理。而Python是一种功能强大的编程语言,具有简单易用、可读性强等特点。            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-12-21 03:23:15
                            
                                72阅读