1.更改表结构，允许复制已存在的表
disable 'tableName'
alter 'tableName',{NAME =>'fn', REPLICATION_SCOPE =>1}
enable 'tableName'
不存在的表
create ‘table‘,{NAME =>‘cf‘, REPLICATION_SCOPE =>1}
#其中1表示开启replicatio
原创
2023-05-06 14:57:35
102阅读
## 使用Pyspark Lily Sparkmagic 进行数据分析
在大数据处理领域，Pyspark 是一个非常流行的工具，而 Sparkmagic 则是一个用于在 Jupyter Notebook 中与 Spark 进行交互的工具。其中 Pyspark 是一个用于分布式计算的 Python API，而 Lily 是一个基于 Pyspark 的数据科学平台。
### Lily Sparkm
原创
2024-02-20 04:11:51
48阅读
如何使用Lily HBase Indexer对HBase中的数据在Solr中建立索引.
原创
2022-09-11 06:56:43
235阅读
lily的博客搬家了。新家地址：http://blog.csdn.net/u010095768。欢迎大家光临。
原创
2013-04-21 15:28:12
492阅读
Lily's puzzle
Time Limit:1000MS Memory Limit:32768KDescription
最近lily的好朋友Kingly在农场里干活，农场里种了很多树，Kingly的任务就是：给定树的位置，然后到农场里清点树的棵数，由于他比较死板，只会一棵棵去数，所以他的工资比别人少。而lily就提醒他用计算机，因为这是计算速度最快的东东！同时lily又想到了一个问题：如果
转载
2012-04-30 22:52:00
70阅读
2评论
CDH4,lily,hbase solr indexer增量更新失败的一种情形解决办法
原创
2015-04-08 09:33:26
1176阅读
运维监控到消息无法增量更新索引。经定位发现hbase solr indexer未生效。 以前测试环境下通常是因为这个hbase-solr-indexer进程当掉了造成的。但是这一次不一样。 检查sep的impl的源码，发现它是伪装了一个HbaseRegionServer，把自己作为slave，然后借助HBase的replication机制，让log复制过来。它再通过write
原创
2015-04-08 09:35:53
1156阅读
前言在很多项目中，埋点数据使用表格来统计的，随着项目的进行，数据量越来越复杂，越来越难以维护。所以很多公司都已经开发了一整套系统，从埋点的录入到代码的输出。我们项目中iOS和Android双方的埋点内容由于沟通以及一些原因，也没有完全统一，增加了很多沟通成本，为了规范化和统一化，我们也需要这样一个类似的系统。但是很多时候一套系统对于一个小项目来说太过于复杂了，所以这里我做了一个轻量级的本地管理客户
转载
2018-08-21 14:34:00
42阅读
2评论
本文网易云社区 前言 在很多项目中，埋点数据使用表格来统计的，随着项目的进行，数据量越来越复杂，越来越难以维护。所以很多公司都已经开发了一整套系统，从埋点的录入到代码的输出。 我们项目中iOS和Android双方的埋点内容由于沟通以及一些原因，也没有完全统一，增加了很多沟通成本，为了规范化和统一
转载
2018-08-21 14:34:00
48阅读
2评论
对于springboot操作hbase来说，我们可以选择官方的依赖包hbase-client，但这个包的google类库很多时候会和你的项目里的google类库冲突，最后就是你的程序缺少类而无法启动，解决这个问题的方法很多，而最彻底的就是自己封装一个shade包，或者使用人家封装好的shade包，shade就是maven里的一个重写包的插件，非常好用。依赖包之前的原始包 <dependenc
转载
2021-02-26 15:44:03
1161阅读
2评论
Hbase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务 主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库）HBase数据模型命名空间 命名空间是对表的逻辑分
转载
2023-08-18 21:50:25
203阅读
本次的业务是基于短信发送之前，去做黑名单的校验和发送内容的检测，因此，在进行下一步业务之前，我需要等待黑名单的查询结果，由于线上环境的Hbase出故障，导致整个业务堵塞，因此，想到了对hbase异常做上容错机制，因此，有了以下的内容 try {
counts = hbaseService.get("cmcc_sms_blacklist",serviceId,"counts","count"
转载
2023-09-01 11:45:35
135阅读
HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，特点：海量存储列式存储极易扩展高并发稀疏
转载
2023-05-18 13:32:53
171阅读
logback详解，Flink流处理案例及Hive和Hbase的整合1. [logback的使用和logback.xml详解]()1.1. 按指定间隔滚动生成日志文件1.2. [logback指定某一包或者类下日志记录到不同文件中]()1.3. [logback按日期和大小切分日志]()2. Flink前期数据准备2.1. 获取数据（拉钩网爬虫）[[github链接]](https://gith
转载
2024-05-27 19:19:44
73阅读
hbase编程指南@(HBASE)[hbase, 大数据] hbase编程指南一概述一创建项目1pomxml2在eclipse中运行的注意事项3关于addResource的说明二Best Practices三常用API一创建Configuration及Connection对象二表管理1创建表2判断表是否存在3删除表三插入数据1插入单条数据2使用缓存四读取数据单个数据和一批数据1遍历返回数据的方法五
转载
2023-09-01 11:09:56
167阅读
1.不同版本间集群是否可以迁移？2.distcp命令的作用是什么？3..MEAT表的作用是什么？4.相互不通信集群，数据该如何迁移？HBase迁移数据方案一（集群互联）花了一天的时间查资料做测试，略微的总结了一下hbase数据迁移的方法。一、需要在hbase集群停掉的情况下迁移步骤：(1)执行Hadoop distcp -f filelist "hdfs://new cluster i
转载
2024-02-05 14:12:12
89阅读
文章目录1. 预分区2. RowKey设计3. 内存优化4. 基础优化1. 预分区HBase默认建表时有一个Region，这个Region的RowKey是没有
原创
2024-04-22 11:00:03
135阅读
NoSQL现在风生水起，hbase的使用也越来越广，但目前几乎所有的NoSQL产品在运维上都没法和DB相提并论，在这篇blog中来总结下我们在运维hbase时的一些问题以及解决的方法，也希望得到更多hbase同行们的建议，:)在运维hbase时，目前我们最为关注的主要是三大方面的状况：1. Cluster load；2. 读写；3. 磁盘空间。 1. Cluster load集群的loa
转载
2023-06-14 21:25:50
196阅读
1.安装：下载镜像地址， 点击进入stable目录，之后选择hbase-1.2.6-bin.tar.gz （这是已经编译好的版本）进行下载。解压并进入解压目录：[root@VM_27_195_centos opt]# tar -zxvf hbase*
[root@VM_27_195_centos opt]# cd hbase*编辑/conf/hbase-env.sh文件，在我的CentOS中，取消
转载
2023-06-13 22:19:08
73阅读
Table of Contents概述实现原理、运行机制1. Hbase和传统数据库的区别和联系：2. region寻址定位(三级寻址)3. 运行机制3.1 master服务器3.2 region服务器一、下载和配置1. 下载2. 配置二、hbase命令行基本操作概述HBase是建立在Hadoop文件系统之上的分布式面向列的数据库，Hbase表是稀疏、多维度、排序的映
转载
2023-08-18 22:24:19
64阅读
