随着越来越多的业务选择HBase作为存储引擎，对HBase的可用性要求也越来越高，对于HBase的运维也提出了新的挑战。从15年开始，结合京东的业务情况，借助大数据平台，制定了一套接入流程。而今年，我们主要从集群层面上提升集群可用性。
转载
2021-07-26 11:18:29
789阅读
HBase使用手册1.概述使用须知本文档适用于CRH产品中HBase组件应用开发。HBase简介HBase作为一个典型的NoSQL数据库，使用Hadoop的HDFS作为底层存储，可以通过行键（Rowkey）检索数据，仅支持单行事务，主要用于存储非结构化和半结构化的松散数据。与Hadoop相同，HBase的设计目标主要依靠横向扩展，通过不断的增加廉价商用服务器来增加和存储能力。HBase特性容量巨大
一、批量杀死进程ps -ef |grep mysql | awk '{print $2}' |head -1|xargs kill -9二、Windows下GBK编码转换UTF8 ic
原创
2016-09-15 21:15:29
906阅读
文章第一部分通过层层递进的方式介绍了Region-In-Transition机制，第二部分通过生产环境的真实案例分析永久性RIT出现的场景以及应对的方案。
转载
2021-07-13 15:02:29
600阅读
http://www.qconbeijing.com/download/Nicolas.pdf 重点看了下facebook做了哪些改进以及他们的运维经验，比较重要的有以下几点： 改进： 1 加强了行级的ACID约束 2 改善了数据的分布规则，可以配置hdfs的replicas所在节点 3 改...
转载
2013-11-25 12:41:00
238阅读
2评论
问题分析的主要手段 1、监控系统：首先用于判断系统各项指标是否正常，明确系统目前状况 2、服务端日志：查看例如region移动轨迹，发生了什么动作，服务端接受处理了哪些客户端请求。 3、gc日志：gc情况是否正常 4、操作系统日志和命令：操作系统层面、硬件是否故障，当前状况如何 5、btrace...
转载
2013-12-29 00:06:00
118阅读
2评论
一：为什么出现hbase？在大数据的领域，一直摸索的有俩个方向，一个是存储，另外一个是计算。人们在这俩个领域不段的进行研究。按照之前的阶段来讲，存储使用hdfs，计算使用hive（map-reduce）。但是有个问题，使用hdfs存储数据，查询会非常慢，所以，我们在hdfs的基础上，创建了hbase，数据底层依旧是hdfs，我们在hdfs之上对于数据做一个类似的索引，将这些信息存放在一个物理表中。
转载
2023-07-13 16:55:31
87阅读
根据多年和运维打交道的经历，我发现，运维常常让监控变得无效。。。1.我的监控故事我做过两年多的运维工作，后面就转做运维平台开发了，也一步步看着监控系统越来越没用。1.1 有用的监控当我做运维要负责oncall时，我一直认为监控系统做的还可以，并不是因为做了太多事情，而是因为运维的业务还是单体应用，也没有太多的监控需要加。记得那会公司还是用Nagios(估计新人已经没多少人知道了)，不过监控的维护工
Docker技术制作人：全心全意Docker概述 Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙盒机制，相互之间不会有任何接口。几乎没有性能开销，可以很容易地在机器和数据中心运行。最重要的是它不依赖于任何语言、框架或包装系统。 注：沙盒也叫沙箱，英文是sandbox。在计
大数据——四种数据库（MySQL,HBase,MongoDB,Redis）操作实例问题描述： &nbs
转载
2023-09-04 15:47:33
101阅读
一、整体架构1.Client客户端：操作HBase的入口 2.Zookeeper： （1）HMaster的主备选举 （2）心跳检测 （3）保存meta表，用于查询region 3.HMaster： （1）主节点，负责管理HRegionServer的负载均衡和table的创建 （2）当region分裂时，负责将新region分配到具体的HRegionServer （3）当HRegionServer宕
转载
2023-09-04 15:42:48
75阅读
1. 前提知识强制：熟悉Linux各种命令和相关背景知识建议：了解Maven和Git相关知识Docker： 使用go语言，与K8/mesos/Machine/Compose/Swarm集群部署，与CI/CD jenkins 集成2. 为什么会出现Docker的出现是为了开发与运维之间的矛盾与尴尬。开发在自己开发环境调试修改好代码，交给运维War包，或者Jar包，可是在运维那十之八九是不会那么顺利的
转载
2023-08-18 13:27:17
150阅读
Zookeeper是一个高可用的分布式数据管理与协调框架，该框架能很好地保证分布式环境中数据一致性。一般用来实现服务发现(类似DNS)，配置管理，分布式锁，leader选举等。一、生产环境中Zookeeper安装部署规范生产环境建议zookeeper至少为三台集群，统一安装配置，版本号为近期新版本，比如版本为3.4.8部署路径：/opt/业务模块名/zookeeper配置文件：/opt/业务模块名
原创
精选
2021-04-08 13:05:39
2056阅读
郭靖分布式实验室etcd是Kubernetes集群的数据核心，最严重的情况是，当etcd出问题彻底无法恢复的时候，解决问题的办法可能只有重新搭建一个环境。因此围绕etcd相关的运维知识就比较重要，etcd可以容器化部署，也可以在宿主机自行搭建，以下内容是通用的。添加备份恢复集群用etcd自动创建的SnapDb恢复踩过的坑[3.0.14版etcdrestore功能不可用]https://github
原创
2021-05-13 10:51:27
1800阅读
Zookeeper是一个高可用的分布式数据管理与协调框架，该框架能很好地保证分布式环境中数据一致性。一般用来实现服务发现(类似DNS)，配置管理，分布式锁，leader选举等。 一、生产环境中Zookeeper安装部署规范 生产环境建议zookeeper至少为三台集群，统一安装配置，版本号为近期新版
原创
2022-01-17 15:55:36
1181阅读
确保金融系统的稳定运行和数据安全，业务对可靠性、安全性和合规性具有超高的要求。保障IT系统持续高效稳定运维，是金融行业运维的核心诉求。在实践应用中，有以下方面问题需要解决。1、数据分散。业务发展快速，数量多，覆盖广，人员杂，需要专业的工具对数据中心进行维护，以获得统一的视图信息，实现不同系统之间的数据关联和共享。2、故障异常预警。应用系统发生异常依靠使用人员发现问题，没有提前预警机制，往往是出现问
原创
2024-06-14 17:52:39
75阅读
荔枝微服务化进程较早，目前已有上千个服务模块，先前的运维平台渐渐无法满足微服务架构下运维管理的需求，于是决定从2018年开始重构运维平台，结合容器化技术，让开发人员尽可能无感知迁移的同时享受容器化带来的诸多好处。本次分享将主要为大家介绍我们项目发布系统重构过程中，技术选型的考虑以及实践过程中遇到的一些问题和解决方案。 背景 荔枝后端微服务化进程较早，目前已有上千个服务模块，绝大多数是Java。
转载
2024-01-18 16:46:45
95阅读
