sparkSQL 读写hbase

原创

mob64ca12e51ecb 2023-12-15 10:57:14 ©著作权

文章标签 spark apache scala 文章分类 Spark 大数据

©著作权归作者所有：来自51CTO博客作者mob64ca12e51ecb的原创作品，请联系作者获取转载授权，否则将追究法律责任

SparkSQL 读写 HBase

简介

Apache HBase是一个高可靠性、高可扩展性的分布式数据库，它建立在Hadoop的HDFS之上，提供了对大规模数据集的随机、实时读写访问。而Apache Spark是一个快速通用的大数据处理框架，它提供了高效的数据操作和分析能力。在实际应用中，我们经常需要将HBase中的数据进行分析和处理，这时可以利用SparkSQL来实现。

SparkSQL

SparkSQL是Apache Spark中的一个模块，它提供了用于处理结构化数据的API和查询语言。SparkSQL支持多种数据源，包括Hive、HBase、JSON、CSV等。通过SparkSQL，我们可以方便地利用Spark进行SQL查询、数据分析和处理。

HBase和SparkSQL的集成

SparkSQL提供了与HBase的集成，可以直接读取和写入HBase中的数据。下面以一个示例来演示如何使用SparkSQL读写HBase。

首先，我们需要导入必要的依赖包：

import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor}
import org.apache.hadoop.hbase.client.{ConnectionFactory, HBaseAdmin, Put, Result, Scan}
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.util.Bytes
import org.apache.spark.sql.{Row, SparkSession}
import org.apache.spark.sql.types.{StringType, StructField, StructType}

接下来，创建一个SparkSession对象：

val spark = SparkSession.builder()
  .appName("SparkSQL HBase Example")
  .master("local[*]")  // 使用本地模式
  .getOrCreate()

然后，配置HBase连接信息：

val hbaseConf = HBaseConfiguration.create()
hbaseConf.set("hbase.zookeeper.quorum", "localhost")  // HBase的ZooKeeper地址
hbaseConf.set("hbase.zookeeper.property.clientPort", "2181")  // ZooKeeper端口
hbaseConf.set(TableInputFormat.INPUT_TABLE, "my_table")  // 表名

接下来，通过TableInputFormat读取HBase中的数据：

val hbaseRDD = spark.sparkContext.newAPIHadoopRDD(
  hbaseConf,
  classOf[TableInputFormat],
  classOf[ImmutableBytesWritable],
  classOf[Result]
)

我们可以将HBase中的数据转换为DataFrame：

val rowRDD = hbaseRDD.map { case (_, result) =>
  val key = Bytes.toString(result.getRow)
  val value = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col")))
  Row(key, value)
}
val schema = StructType(Seq(
  StructField("key", StringType),
  StructField("value", StringType)
))
val df = spark.createDataFrame(rowRDD, schema)

我们也可以通过DataFrame进行SQL查询和过滤：

df.createOrReplaceTempView("my_table")
val result = spark.sql("SELECT key, COUNT(*) as count FROM my_table GROUP BY key")
result.show()

最后，我们可以将DataFrame中的数据写入HBase：

val hbaseAdmin = ConnectionFactory.createConnection(hbaseConf).getAdmin
val tableDescriptor = new HTableDescriptor("my_table")
tableDescriptor.addFamily(new HColumnDescriptor("cf"))
hbaseAdmin.createTable(tableDescriptor)

df.foreachPartition { partition =>
  val hbaseConf = HBaseConfiguration.create()
  val connection = ConnectionFactory.createConnection(hbaseConf)
  val table = connection.getTable(TableName.valueOf("my_table"))
  partition.foreach { row =>
    val put = new Put(Bytes.toBytes(row.getAs[String]("key")))
    put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col"), Bytes.toBytes(row.getAs[String]("value")))
    table.put(put)
  }
  connection.close()
}