hbase 实际项目 hbase例子

准备知识

1、Hbase采用Java实现，原生客户端也是Java实现，其他语言需要通过thritf接口服务间接访问Hbase的数据。

2、Hbase作为大数据存储数据库，其写能力非常强，加上Hbase本身就脱胎于Hadoop故和Hadoop的兼容性极好，非常适合于存储半规则数据(灵活、可扩展性强、大数据存储)。基于Hadoop的mapreduce + Hbase存储，非常适合处理大数据。

3、hbase Java API

几个主要 Hbase API 类和数据模型之间的对应关系：

① HBaseAdmin

关系： org.apache.hadoop.hbase.client.HBaseAdmin

作用：提供了一个接口来管理 HBase 数据库的表信息。它提供的方法包括：创建表，删 除表，列出表项，使表有效或无效，以及添加或删除表列族成员等。

② HBaseConfiguration

关系： org.apache.hadoop.hbase.HBaseConfiguration

作用：对 HBase 进行配置

③ HTableDescriptor

关系： org.apache.hadoop.hbase.HTableDescriptor

作用：包含了表的名字极其对应表的列族。

④ HColumnDescriptor

关系： org.apache.hadoop.hbase.HColumnDescriptor

作用：维护着关于列族的信息，例如版本号，压缩设置等。它通常在创建表或者为表添 加列族的时候使用。列族被创建后不能直接修改，只能通过删除然后重新创建的方式。

列族被删除的时候，列族里面的数据也会同时被删除。

⑤ HTable

关系： org.apache.hadoop.hbase.client.HTable

作用：可以用来和 HBase 表直接通信。此方法对于更新操作来说是非线程安全的

⑥ Put

关系： org.apache.hadoop.hbase.client.Put

作用：用来对单个行执行添加操作

⑦ Get

关系： org.apache.hadoop.hbase.client.Get

作用：用来获取单个行的相关信息

⑧ Result

关系： org.apache.hadoop.hbase.client.Result。

作用：存储 Get 或者 Scan 操作后获取表的单行值。使用此类提供的方法可以直接获取值 或者各种 Map 结构（ key-value 对）

编程实例

查看进程

jps

可以看到HMaster进程正常运行

打开eclipse新建工程

导入目录下lib下所有jar包

建立连接

public void connHbase(){
		Configuration config = HBaseConfiguration.create();
		config.set("hbase.zookeeper.quorum", "node1,node2,node3");
config.set("hbase.zookeeper.property.clientPort", "2181");
		try {
			conn=ConnectionFactory.createConnection(config);
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

创建表

/**
     * 利用create 'tablename','列簇'
     * hbase里面所有数据都是以二进制数组形式存放，所以都需要getBytes
     * @throws IOException
     */
	public void createTable(String tableName,String columnFamily){
		Admin admin;
		try {
			admin = conn.getAdmin();
			TableName table = TableName.valueOf(tableName.getBytes());
			if(admin.tableExists(table)){
				//删除表之前要disable
				admin.disableTable(table);
				admin.deleteTable(table);
			}
			HTableDescriptor tabledesc = new HTableDescriptor(table);
			HColumnDescriptor columndesc = new HColumnDescriptor("cf".getBytes());
			columndesc.setBlockCacheEnabled(true);
			columndesc.setBlocksize(64000);
			tabledesc.addFamily(columndesc);
			admin.createTable(tabledesc);
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

通过hbase shell可查询表

describe ‘user’

插入数据

public void insert(){
		TableName tbname = TableName.valueOf("user".getBytes());
		try {
			Table tb = conn.getTable(tbname);
			Put put = new Put("123".getBytes());//rowkey
			put.addColumn("cf".getBytes(), "name".getBytes(), "jack".getBytes());
			put.addColumn("cf".getBytes(), "age".getBytes(), "10".getBytes());
			tb.put(put);
		} catch (IOException e) {
			e.printStackTrace();
		}
		
	}

插入之后可查询行数

查询内容get ‘user’,‘123’,‘cf:name’

查询数据

public void query(){
		TableName tbname = TableName.valueOf("user".getBytes());
		try{
			Table tb = conn.getTable(tbname);
			Get get = new Get("123".getBytes());
		    get.addColumn("cf".getBytes(),"name".getBytes());
		    Result result = tb.get(get);
		    Cell cell = result.getColumnLatestCell("cf".getBytes(), "name".getBytes());
		    System.out.println(new String(cell.getValue()));
		}catch(Exception e){
			e.printStackTrace();
		}
	}

删除数据

public void delete() {
		TableName tbname = TableName.valueOf("user".getBytes());
		try{
			Table tb = conn.getTable(tbname);
			Delete del = new Delete("123".getBytes());
			tb.delete(del);
		}catch(Exception e){
			e.printStackTrace();
		}
	}

删除后可查询行数

主方法

public static void main(String[] args) {
		HBaseTest hbase = new HBaseTest();
		hbase.connHbase();
		hbase.createTable("user","cf");
		hbase.insert();
		hbase.query();
		hbase.delete();
	}

打成jar包上传到集群运行
运行hbase程序用hadoop jar命令，因为需要用到hbase里面的类而hadoop目录下没有，需编辑hadoop-env.sh文件。
添加 : export HADOOP_CLASSPATH=/data /hbase/lib/*