丶老龚的博客_ hadoop集群存储

HBase的数据备份与恢复机制BDR

一、快照机制snapshots简单在hbase上做个表做测试：hbase(main):044:0> scan 'student'ROW &nbs

恢复

数据

BDR

hbase

故障恢复

原创 2014-10-05 04:45:39 3087 阅读

hadoop2.4.1结合hbase0.96.2

接上：http://onlyoulinux.blog.51cto.com/7941460/1554951上文说到用hadoop2.4.1分布式结合hase0.94.23出现大量的报错，没能解决，最后用新版本hbase0.96.2同样的配置没遇到报错，个人感觉是版本兼容性问题，报错内容如下：2014年 09月 22日星期一 19:56:03 CST Starting master on nncor

结合

hadoop

hbase

原创 2014-09-27 04:54:12 1417 阅读 1点赞

hadoop2.4.1分布式安装结合hbase0.94.23

centos6.5 x86 虚拟机上安装完全分布式hadoop-2.4.1结合hbase-0.94.23一、环境准备：以下3台虚拟机:192.168.1.105 nn namenode1

hadoop

hbase

大数据

原创精选 2014-09-18 22:21:22 1171 阅读 1点赞

hbase安装及hbase shell

Hbase安装与hadoop的安装方法基本一致：都有三种模式：单机模式、伪分布式、完全分布式安装前环境：完全分布式下各节点相互解析DNS、JAVA环境、无密码sshApache下载镜像：http://www.apache.org/dyn/closer.cgi/hbase/ 编缉配置文件conf/hbase-site.xml<property> &nbs

shell

hadoop

HBase

原创 2014-09-13 16:55:59 3766 阅读

hadoop学习笔记----- Hbase理论

Hadoop Database便于时间查询； Hbase是一个分布式的、面向列的开源数据库，该技术来源于Chang et al所写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bittable的能力。HBase是Apache

Google

关系数据库

hbase

原创 2014-09-04 01:45:03 1034 阅读

hadoop学习笔记之--- HDFS原理学习

HDFSHDFS设计基础与目标:冗余:硬件错误是常态流式数据访问。即数据比量读取而非随机读写，Hadoop擅长做的是数据分析而不是事务处理。大规模数据集简单一致性模型。为了降低系统复杂程度，对文件采用一次性写多多次读的逻辑设置，即是文件一经写入，关闭，再也不能修改。程序采用“数据京近”原则分配节点执行。 OLTP:偶尔随机性德读写 HDFS体系架构： NameNode

空间

程序

客户端

命名

日志记录

原创 2014-09-03 23:34:05 1215 阅读

如何在hadoop中控制map的个数

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词：block_size : hdfs的文件块大小，默

mapreduce

hadoop

reduce个数

转载精选 2014-09-01 14:53:05 6545 阅读

hadoop报错，随记

1、执行一个简单的job任务时，map完成100%，reduce一直0.00%，看log日志，一直重复copy,看不出什么。最后等很长时间，报错如下：最后，从网上找到解决方法：就是/etc/sysconfig/network中定义的 HOSTNAME=cm134 和 /etc/hosts 指定的不一样，或者是在命令行下#hostname获取的主机名不

报错

hadoop

原创 2014-08-30 04:10:36 993 阅读

HADOOP启动时报错总结

hadoop启动时，别的进程正常，节点datanode进程启动后又自己停了，以下datanode日志：2014-09-26 10:20:14,225 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /tmpdir/dfs/data/in_use.lock acquired by nodename 2376@sn2014

报错

java_home

not be found

原创精选 2014-08-29 14:45:07 4898 阅读

HADOOP学习笔记之---3、HADOOP端口和配置文件

一、Hadoop进程监听的地址和端口：Hadoop启动时会运行两个服务器进程，一个为用于hadoop各进程间进行通信的RPC服务进程，另一个是提供了便于管理员查看hadoop集群各进程相关信息页面的http服务进程。用于定义各RPC服务器所监听的地址和端口的属性有如下几个：fs.default.name : 定义

服务器

端口

配置文件

原创 2014-08-29 12:13:29 10000+阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

丶老龚技术杂货铺

HBase的数据备份与恢复机制BDR

hadoop2.4.1结合hbase0.96.2

hadoop2.4.1分布式安装结合hbase0.94.23

hbase安装及hbase shell

hadoop学习笔记----- Hbase理论

hadoop学习笔记之--- HDFS原理学习

如何在hadoop中控制map的个数

hadoop报错，随记

HADOOP启动时报错总结

HADOOP学习笔记之---3、HADOOP端口和配置文件

51CTO博客

丶老龚 技术杂货铺

丶老龚技术杂货铺