一、什么是Zookeeper ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序
转载
2023-08-18 22:03:32
108阅读
文章目录1. HBase定义2. HBase数据模型2.1 逻辑存储结构2.2 HBase 物理存储结构3. HBase基础架构 1. HBase定义 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。----是一个分布式存
转载
2023-08-18 21:42:51
67阅读
准备工作：采用的HBase版本是：CDH4.5，其中的Hadoop版本是：hadoop-2.0.0-cdh4.5.0；HBase版本是：hbase-0.94.6-cdh4.5.0；Hbase的配置文件的最基本设置
conf/hbase-env.sh文件，需明确定义： export JAVA_HOME=/usr/local/jdk1.6.0_31
conf/hbase-site.xml文件，需明确定
Zookeeper的作用保证任何时候，集群中只有一个master存贮所有Region的寻址入口。实时监控RegionServer的状态，将Region server的上线和下线信息实时通知给Master存储Hbase的schema,包括有哪些table，每个table有哪些column family Hmaster的作用Zookeeper避免了HMaster的单点问题，一个Hbase集
转载
2023-07-12 17:12:36
69阅读
1．HBase架构组成HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由以下类型节点组成：HMaster节点、HRegionServer节点，而在底层，它将数据存储于HDFS中。 HMaster节点作用1.管理HRegionServer，实现其负载均衡。2.管理和分配HRegion，比如在HRegion split时分配新的HRegion；在HRegi
转载
2023-07-28 22:29:04
97阅读
/bin:存放着使用者最经常使用的命令。如:ls等
/boot:存放的是启动Linux时使用的一些核心文件。
/dev:是device的缩写.这个目录下是所有Linux的外部设备 例如:/dev/hda代表第一个物理IDE硬盘。
/etc:这个目录用来存放所有的系统管理所需要的配置文件和子目录。进入后可以看到很多配置文件
/home:用户主目录,比如说有个用户叫aa,那他的主目录就是/ho
转载
精选
2012-11-16 16:55:59
281阅读
/bin/ : 存放系统命令的目录,普通用户和超级用户都可以执行. 不过放在/bin下的命令在单用户模式下也可以执行 . /sbin/: 保存和系统环境设置相关的命令,只有超级用户可以使用这些命令进行系统环境设置,但是有些命令可以允许普通用户查看. /usr/bin/: 存放系统命令的目录,普通用户
转载
2018-09-28 15:53:00
183阅读
2评论
转载
2021-08-05 09:56:00
286阅读
2评论
MinGW—- MinGW Base System——– MinGW Compiler Suit———— mingw32-binutils 必选，用于编译生成的 .o 文件的链接、汇编、生成静态库等。———— mingw32-gcc 必选，核心的 C 编译器。———— mingw32-gcc-ada 可选，Ada 编译器。———— mingw32...
原创
2021-07-14 15:13:48
891阅读
HBASE表结构：建表时，不需要限定表中的字段，只需要指定若干个列族插入数据时，列族中可以存储任意多个列（KV，列名&列值）要查询某一列具体字段的值，需要指定的坐标：列名--->行健--->列族：列名--->版本 hbase的存放策略：一张大表切分为多个Region，Region放在多个Region Server上，Region Server将Region放在H
转载
2023-09-04 20:40:46
72阅读
好的数据结构。对于检索数据，插入数据的效率就会非常高。常见的数据结构B+树根节点和枝节点非常easy，分别记录每一个叶子节点的最小值，并用一个指针指向叶子节点。 叶子节点里每一个键值都指向真正的数据块，每一个叶子节点都有前指针和后指针。这是为了做范围查询时，叶子节点间能够直接跳转，从而避免再去回溯至枝和根节点。 特点：
1、有n棵子树的结点中含有n个keyword。每一个keyword不保存数据
今天去面试运维工程师，提到几个问题，自己不知道，回来凭记忆查一下资料记录一下1、双绞线两种制作方法及线序（这个汗了，我总是很奇怪别人怎么就能记住？）标准568B（直连线）：橙白--1，橙--2，绿白--3，蓝--4，蓝白--5，绿--6，棕白--7，棕--8 标准568A（交插线）：绿白--1，绿--2，橙白--3，蓝--4，蓝白--5，橙--6，棕白--7，棕--8 相同设备之间连网用交插线
原创
2013-06-07 21:25:01
431阅读
1、什么是HBase？HBase 是一个分布式，可扩展，面向列的适合存储海量数据的NoSQL数据库，其最主要的功能是解决海量数据下的实时随机读写的问题。 HBase 依赖 HDFS 做为底层分布式文件系统。1、特性强读写一致，但是不是最终一致性的数据存储，这使得它非常适合高速的计算聚合自动分片，通过Region分散在集群中，当行数增长的时候，Region也会自动的切分和再分配自动的故障转移Hado
转载
2023-07-12 10:44:18
64阅读
Elasticsearch集群一、介绍二、分布式系统的优点2.1 高可用2.2 水平可扩展三、集群角色3.1 节点3.1.1 Master Node（主节点）3.1.2 Data Node（数据节点）3.1.3 Ingest Node（预处理节点）3.1.4 Coordinating Node（协调节点） 一、介绍Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎
本分档主要分四个部分，安装部署hadoop_hbase、hbase基本命令、移除一个hadoop+hbase节点、添加一个移除一个hadoop+hbase节点1、安装配置Hadoop 1.0.3+hbase-0.92.1环境概括HostnameRolesht-sgmhadoopcm-01(172.16.101.54)NameNode, ZK, HMastersht
http://www.blogjava.net/zyl/archive/2006/12/30/91055.html
原创
2023-05-09 16:07:56
99阅读
[TOC]HBase笔记整理（二）逻辑结构RowKey第一位
ColumnFamily
ColumnQuiauer
value(TimeStamps)
Cell物理结构HMaster ----->NameNode管理节点，用于管理HBase中的Table和Region的结构操作，比如用户增、删、修改表的操作。
在HBase集群中，可以启动多个HMaster
hbase 新增节点
关于Hbase的集群管理1、如果只增加集群的存储量，建议增加Hadoop datanode节点。
方法：
停掉集群包括hadoop和hbase，当然也可以不停掉，直接在hadoop namenode的配置文件Slave里添加新节点的host，别忘了在host文件里也要添加新添加的host名。执行b
整个Hadoop生态中大量使用了master-slave的主从式架构，如同HDFS中的namenode和datanode，MapReduce中的JobTracker和TaskTracker，YARN中的资源管理器和节点管理器，Zookeeper中的leader和follower。我们将看到HBase同样是基于这种主从式的一种运行机制。一个master节点协调管理
转载
2023-08-01 16:28:02
75阅读
