在将hbase的configuration移植到业务平台处理过程中碰到的一个问题
问题描述：
新的业务平台需要使用一些配置，这些配置项放在odin_site.xml文件中，其中odin_site.xml的路径通过参数的方式传递过来。其它的config解析移植hadoop的configuration. 其代码如下：pub
转载
2023-12-05 22:05:59
25阅读
从数据爆炸开始。。。一、 第三次工业革命 第一次：18世纪60年代，手工工厂向机器大生产过渡，以蒸汽机的发明和使用为标志。 第二次：19世纪70年代，各种新技术新发明不断被应用于工业生产，以电力的发明使用为标志。为标志。 二、 信息技术发展带来的数据爆炸纽约证券所交易 &n
Server端：yum install rrdtool ganglia ganglia-gmetad ganglia-gmond ganglia-web httpd phpClient端：yum insthown ganglia:ganglia /var/lib/...
原创
2023-03-28 06:46:18
47阅读
MTTR是指因为某个节点宕机或服务不可用导致HBase不可用／或部分不可用，直到HBase服务恢复所用的时间。该过程主要分为三步：1.识别出节点宕机或者节点上的服务不可用2.恢复正在写的数据：其他节点通过获取WAL日志，恢复尚未flush持久化到hdfs的数据3.重新分配故障节点上的regions到其他regionservers在以上过程中，相关的region对于客户端来说是不可用的。节点／服务，
转载
2024-02-16 19:59:41
47阅读
项目场景：项目相关背景： 部署hbase版本2.4.14，底层存储HDFS替换为s3对象存储。hbase关机、重启后，hbase能启动，但是所有操作无法进行，meta表消失。问题描述遇到的问题：hbase，关机、重新启动之后，UI页面能打开，但是表都不见了。 查看master启动日志，有警告：显示元数据meta表not online。2023-05-19 13:59:40,429 WARN [m
转载
2023-08-01 23:34:18
294阅读
Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于測量数以千计的节点。每台计算机都执行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。
接收全部度量数据的主机能够显示这些数据而且能够将这些数据的精简表单传递到层次结构中。正由于有这样的层次结构模式，才使得
Ganglia 能够实现良好的扩展。
gmo
转载
2016-03-01 14:21:00
86阅读
2评论
在大数据处理的生态系统中，YARN (Yet Another Resource Negotiator) 的调度器是一项至关重要的组件。为了确保集群的高效运行，我们有必要对 YARN 的 Scheduler Metrics 进行合理配置来监控系统性能。本文将为您展示如何配置 YARN Scheduler Metrics，涵盖环境准备、分步指南、配置详解、验证测试、排错指南和扩展应用等内容。
###
# MySQL与Grafana的Metrics配置指南
在今天的文章中，我们将详细了解如何配置MySQL以与Grafana结合使用，以收集和可视化性能指标（metrics）。整个流程包括几个主要步骤，下面的表格将为您提供一个清晰的概览。
| 步骤 | 说明
python自带的IDLE并不方便使用，Anaconda自带的Sypder也不方便使用，因此我们采用eclipse作为平台。下面介绍如何在eclipse上使用python语言。前面四章是描述如何安装eclipse，后面四章是描述如何在eclipse中配置Python语言环境。一、下载和安装java (java的jre往往自己会配置环境变量)1. 找到java官网2. 在java官网找到jre的安装
1. 发起 hbase split
1.1 HBaseAdmin.split
/**
* Split a table or an individual region.
* Asynchronous operation.
*
* @param tableNameOrRegionName table to region to spl
转载
2024-06-11 21:52:57
52阅读
写在前面文章主要来自豆瓣上一位同学的文章：PM2 介绍，中间可能有部分修改！
介绍PM2 是一个带有负载均衡功能的 Node 应用的进程管理器。当你要把你的独立代码利用全部的服务器上的所有 CPU，并保证进程永远都活着，0 秒的重载， PM2 是完美的。它非常适合 IaaS 结构，但不要把它用于 PaaS 方案（随后将开发 Paas 的解决方案）。备注：SaaS、PaaS 和 I
作为安防视频流媒体服务器软件的提供商，我们日常项目中遇到的需求主要是搭建一整套完整的视频监控系统，包括前端摄像头、线缆、传输系统、存储系统、解码拼控和大屏设备等组成。存储系统是整个监控系统中最为重要的组成部分，存储视频录像也是事后查询事件的重要的证据之一，录像文件必须要妥善保存，不允许丢失录像文件，今天基于不同的存储方式为大家分享在系统搭建时如何选择。监控的存储方式主要有SD卡存储、DVR存储、N
转载
2024-04-30 21:40:09
44阅读
作者 | 介龙平，英文名 leo，码农一枚1. 异常突起HBase 集群的某一个 RegionServer 的 CPU 使用率突然飙升到百分之百，单独重启该 RegionServer 之后，CPU 的负载依旧会逐渐攀上顶峰。多次重启集群之后，CPU 满载的现象依然会复现，且会持续居高不下，慢慢地该 RegionServer 就会宕掉，慢慢地 HBase 集群就完犊子了。2. 异常之上的现象CDH
转载
2024-02-26 19:56:33
75阅读
集群机器意外断电重启，导致hbase 无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block块不完整。在网上查了一下相关资料，怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整，故把hbase.hlog.split.skip.errors改成true进行尝试。关于
转载
2023-09-15 09:14:28
285阅读
# HBase配置副本数为2
HBase是一个分布式的、可扩展的开源NoSQL数据库。它提供了高可靠性、高性能和高扩展性的数据存储解决方案。在HBase中，数据以表的形式组织，每个表可以有多个列族，每个列族可以包含多个列。HBase以行的方式存储数据，并使用Hadoop的HDFS作为底层存储。
在HBase中，可以通过配置副本数来提高数据的可靠性和冗余性。副本数是指在HBase集群中，每个数据
原创
2023-08-12 06:07:08
334阅读
最原始的HBase CMS GC相当严重，经常会因为碎片过多导致Promotion Failure，严重影响业务的读写请求。幸运的是，HBase并没有止步不前，很多优化方案相继被提出并贡献给社区，本文要介绍的就是几个比较重要的核心优化，分别是针对Memstore所作的两个优化：Thread-Local Allocation Buffer和MemStore Chunk Pool 以及针对Block
通过 Metrics API，您可以获得指定节点或 pod 当前使用的资源量。此 API 不存储指标值，因此想要获取某个指定节点10分钟前的资源使用量是不可能的；
此 API 和其它 Kubernetes API 一起位于同一端点（endpoint）之下，是可发现的，路径为/apis/metrics.k8s.io
原创
2020-02-28 18:37:47
2406阅读
0 什么是回归？ 假设线性回归是个黑盒子，那按照程序员的思维来说，这个黑盒子就是个函数，然后呢，我们只要往这个函数传一些参数作为输入，就能得到一个结果作为输出。那回归是什么意思呢？其实说白了，就是这个黑盒子输出的结果是个连续的值。如果输出不是个连续值而是个离散值那就叫分类。那什么叫做连续值呢？非常简单，举个栗子：比如我告诉你我这里有间房子，这间房子有40平，在地铁口，然后你来猜一猜我的房子总共值多
转载
2024-10-16 09:42:05
53阅读
本文讲述如何安装，部署，启停HBase集群，如何通过命令行对Hbase进行基本操作。
并介绍Hbase的配置文件。
在安装前需要将所有先决条件安装完成。
转载
2023-07-12 11:43:40
97阅读
# Java Metrics and Prometheus Metrics
Java Metrics and Prometheus Metrics are two popular libraries used for collecting and monitoring metrics in Java applications. In this article, we will explore w
原创
2023-12-11 15:23:28
76阅读
