在将hbase的configuration移植到业务平台处理过程中碰到的一个问题
问题描述：
新的业务平台需要使用一些配置，这些配置项放在odin_site.xml文件中，其中odin_site.xml的路径通过参数的方式传递过来。其它的config解析移植hadoop的configuration. 其代码如下：pub
转载
2023-12-05 22:05:59
25阅读
从数据爆炸开始。。。一、 第三次工业革命 第一次：18世纪60年代，手工工厂向机器大生产过渡，以蒸汽机的发明和使用为标志。 第二次：19世纪70年代，各种新技术新发明不断被应用于工业生产，以电力的发明使用为标志。为标志。 二、 信息技术发展带来的数据爆炸纽约证券所交易 &n
项目场景：项目相关背景： 部署hbase版本2.4.14，底层存储HDFS替换为s3对象存储。hbase关机、重启后，hbase能启动，但是所有操作无法进行，meta表消失。问题描述遇到的问题：hbase，关机、重新启动之后，UI页面能打开，但是表都不见了。 查看master启动日志，有警告：显示元数据meta表not online。2023-05-19 13:59:40,429 WARN [m
转载
2023-08-01 23:34:18
294阅读
MTTR是指因为某个节点宕机或服务不可用导致HBase不可用／或部分不可用，直到HBase服务恢复所用的时间。该过程主要分为三步：1.识别出节点宕机或者节点上的服务不可用2.恢复正在写的数据：其他节点通过获取WAL日志，恢复尚未flush持久化到hdfs的数据3.重新分配故障节点上的regions到其他regionservers在以上过程中，相关的region对于客户端来说是不可用的。节点／服务，
转载
2024-02-16 19:59:41
47阅读
Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于測量数以千计的节点。每台计算机都执行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。
接收全部度量数据的主机能够显示这些数据而且能够将这些数据的精简表单传递到层次结构中。正由于有这样的层次结构模式，才使得
Ganglia 能够实现良好的扩展。
gmo
转载
2016-03-01 14:21:00
86阅读
2评论
1. 发起 hbase split
1.1 HBaseAdmin.split
/**
* Split a table or an individual region.
* Asynchronous operation.
*
* @param tableNameOrRegionName table to region to spl
转载
2024-06-11 21:52:57
52阅读
作者 | 介龙平，英文名 leo，码农一枚1. 异常突起HBase 集群的某一个 RegionServer 的 CPU 使用率突然飙升到百分之百，单独重启该 RegionServer 之后，CPU 的负载依旧会逐渐攀上顶峰。多次重启集群之后，CPU 满载的现象依然会复现，且会持续居高不下，慢慢地该 RegionServer 就会宕掉，慢慢地 HBase 集群就完犊子了。2. 异常之上的现象CDH
转载
2024-02-26 19:56:33
75阅读
集群机器意外断电重启，导致hbase 无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block块不完整。在网上查了一下相关资料，怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整，故把hbase.hlog.split.skip.errors改成true进行尝试。关于
转载
2023-09-15 09:14:28
285阅读
Server端：yum install rrdtool ganglia ganglia-gmetad ganglia-gmond ganglia-web httpd phpClient端：yum insthown ganglia:ganglia /var/lib/...
原创
2023-03-28 06:46:18
47阅读
通过 Metrics API，您可以获得指定节点或 pod 当前使用的资源量。此 API 不存储指标值，因此想要获取某个指定节点10分钟前的资源使用量是不可能的；
此 API 和其它 Kubernetes API 一起位于同一端点（endpoint）之下，是可发现的，路径为/apis/metrics.k8s.io
原创
2020-02-28 18:37:47
2406阅读
0 什么是回归？ 假设线性回归是个黑盒子，那按照程序员的思维来说，这个黑盒子就是个函数，然后呢，我们只要往这个函数传一些参数作为输入，就能得到一个结果作为输出。那回归是什么意思呢？其实说白了，就是这个黑盒子输出的结果是个连续的值。如果输出不是个连续值而是个离散值那就叫分类。那什么叫做连续值呢？非常简单，举个栗子：比如我告诉你我这里有间房子，这间房子有40平，在地铁口，然后你来猜一猜我的房子总共值多
转载
2024-10-16 09:42:05
53阅读
# Java Metrics and Prometheus Metrics
Java Metrics and Prometheus Metrics are two popular libraries used for collecting and monitoring metrics in Java applications. In this article, we will explore w
原创
2023-12-11 15:23:28
76阅读
一、背景最近看到了一篇文章，说的是spark小文件合并的问题Spark 小文件合并优化实践：https://mp.weixin.qq.com/s/195nFBH0kpZEXekHiQAfrA（作者：偷闲小苑）其实关于小文件合并我之前也写过类似的文章，大体的方案也就是 1、存之前做一个数据量的预估，然后repartition/coalesce2、存完之后，触发一个merge合并小文件（可以是hive
转载
2023-10-11 08:15:50
377阅读
# Victoria Metrics vs Elastic Metrics实现
## 介绍
在本文中，我将教你如何实现"Victoria Metrics vs Elastic Metrics"。这是一个比较两个度量系统的任务，我们将使用一些代码和工具来完成这个任务。
## 整体流程
下面是完成此任务的步骤概述：
```mermaid
journey
title 整体流程
se
原创
2024-01-12 20:46:32
90阅读
指令基于HBase1.2.1help "COMMAND" 可以在直接看到命令使用指南，在此只写出常用命令，基本指令格式都是 COMMAND 'namespace:table' , .... , {options} 形式list_namespace 查看所有命名空间list_namespace_tables 'ns1' 查看ns1命名空间下的所有表scan 'ns1:table' 在指定命名空间ns
转载
2023-07-18 22:04:08
55阅读
使用Prometheus和Grafana监控Spark应用终极方案，通过graphite_exporter将原生数据通过映射文件转化为有 label 维度的 Prometheus 数据
Spark任务启动后，我们通常都是通过跳板机去Spark UI界面查看对应任务的信息，一旦任务多了之后，这将会是让人头疼的问题。如果能将所有任务信息集中起来监控，那将会是
转载
2023-07-18 22:35:53
52阅读
枚举类型可以看作是一种标签或是一系列常量的集合，通常用于表示某些特定的有限集合，例如星期、月份、状态等。Python 的原生类型（Built-in types）里并没有专门的枚举类型，但是我们可以通过很多方法来实现它，例如字典、类等：MiracleLove = {'MON': '林志玲', 'TUS': '陈意涵', 'WEN': '张柏芝', 'THU': '辛芷蕾', 'FRI': '周冬雨'
转载
2024-05-14 18:25:23
35阅读
一、简介 Metrics Server是一个集群范围内的资源数据集和工具，同样的，metrics-server也只是显示数据，并不提供数据存储服务，主要关注的是资源度量API的实现，比如CPU、文件描述符、内存、请求延时等指标，metric-server收集数据给k8s集群内使用，如kubectl,hpa,scheduler等。 Metrics Server从Kubelet收集资源指标，并通过Me
转载
2024-05-23 10:34:55
148阅读
k8s之部署metrics-server Metrics Server是Kubernetes内置自动缩放管道的可扩展，高效的容器资源指标来源。Metrics Server从Kubelet收集资源指标，并通过Metrics API在Kubernetes apiserver中公开它们， 以供Horizontal Pod Autoscaler和Vertical Pod Autoscaler使用
转载
2023-08-27 19:48:31
104阅读
依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId> </dependency> 在 application.properti ...
转载
2021-11-04 14:36:00
212阅读
2评论
