谁伴我闯荡的博客_HBASE,HADOOP,JAVA

工作

1. if(topicOffsetVal<curOffsetVal-50000){ //判断storm是否与当前offset相差过大，这点比较难判断，只能暂时设置为相差不能超过1w (跳跃中间的过程) topicOffsetVal = curOffsetVal-200; }为什么-200?

其他

work

原创 2016-05-30 14:49:49 340 阅读

HADOOP/HBase动态新增节点

1. 检查JDK版本是否相同并拷贝JDK，并配置/etc/profile文件的JAVA_HOME和CLASSPATH属性2. 配置/etc/hosts文件，新增新加机器的计算机名，包括原有机器和新增机器都要修改该文件3. 拷贝hadoop-2.6.0和hbase-1.0.1.1，并把hadoop-2.6.0和hbase-1.0.1.1文件夹的文件所有者和文件所属组改成hadoop4. 配置Mast

HA

DOOP

原创 2016-05-24 14:31:02 1309 阅读

Hadoop Block

hdfs block默认为64G,HDFS中小于一个块大小的文件不会占据整个块的空间.为何HDFS中的块如此之大?HDFS的块比磁盘的块大,其目的是为了最小化寻址开销.如果块设置得足够大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间.因而,传输一个由多个块组成的文件的时间取决于磁盘传输速率.namenode横向扩展

BLOCK

HDFS

原创 2016-05-24 14:30:16 633 阅读

hadoop调整时区

hadoop集群的系统时间正确,但是hadoop/hbase的日志输出的时间比系统时间少8个小时.通过以下方式可以调整hadoop/hbase时区.各个节点的时间如果不同步，会出现启动异常，或其他原因。这里将时间统一设置为Shanghai时区。命令如下：# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime cp:&

时区

hadoop

原创 2016-05-16 16:37:52 4131 阅读

HADOOP监控

Hadoop负载均衡均衡器（balancer）是一个Hadoop守护进程，它将块从忙碌的datanode移到相对空闲的datanode，从而重新分配块。同时坚持块副本放置策略，将副本分散到不同机架，以降低数据损坏率。它不断移动块，直到集群达到均衡，即每个datanode的使用率（该节点上已使用的空间与空间容量之间的比率）和集群的使用率（集群中已使用的空间与集群的空间容量之间的比率）非常接近，差距不

Hadoop 监控

转载精选 2016-05-11 22:45:36 416 阅读

HADOOP监控

Hadoop负载均衡均衡器（balancer）是一个Hadoop守护进程，它将块从忙碌的datanode移到相对空闲的datanode，从而重新分配块。同时坚持块副本放置策略，将副本分散到不同机架，以降低数据损坏率。它不断移动块，直到集群达到均衡，即每个datanode的使用率（该节点上已使用的空间与空间容量之间的比率）和集群的使用率（集群中已使用的空间与集群的空间容量之间的比率）非常接近，差距不

监控

Hadoop

原创 2016-05-11 22:44:18 742 阅读

Hadoop集群日常运维

（一）备份namenode的元数据namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。1、将元数据复制到远程站点（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器[plain] view plain copy #!/bin/ba

HADOOP运维

转载精选 2016-05-11 18:21:43 1282 阅读

HBASE二级索引

HBASE基于coprocessor实现二级索引场景如下:存储UC_TWEETS表,ROWKEY设计:folderId_dayId_siteId_docId,导出有如下需求:根据campaignId导出,所以需要存储campaignId的索引表实现步骤如下:一, 代码实现如下:public class HbaseCoprocessor extends BaseRegionObserver { @

索引

HBSE

二级

原创 2016-05-10 17:32:48 1443 阅读 1收藏

HBASE REGION SPLIT策略

hbase 0.94.0版本中，对于region的split方式引入了一个非常方便的SplitPolicy，通过这个SplitPolicy，可以主动的干预控制region split的方式。在org.apache.Hadoop.hbase.regionserver包中，可以找到这么几个自带的splitPolicy： ConstantSizeRegionSplitPolicy,

HBASE

REGION

原创 2016-05-09 12:00:50 2829 阅读 1收藏

HBASE REGION SPLIT优质博文

http://blog.csdn.net/kuyuyingzi/article/details/38437185

Hbase

HBASE

原创 2016-05-06 18:40:43 604 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

HBASE

工作

HADOOP/HBase动态新增节点

Hadoop Block

hadoop调整时区

HADOOP监控

HADOOP监控

Hadoop集群日常运维

HBASE二级索引

HBASE REGION SPLIT策略

HBASE REGION SPLIT优质博文

欢迎