Hdfs自定义端口:9000 Yarn的web访问端口:8088 Tomcat端口:8080 Hdfsweb默认端口8020 Hdfsweb访问端口:50070 Hbase的web访问端口:10610 Zookeeper默认端口:2181 Broker 端口:9092 启动kafka的生产者的端口 启动kafka的消费者的端口:zookeeper的2181 Flume中netcat的端口:4444
转载
2023-05-26 15:04:52
2015阅读
2评论
HBase是什么简介特性与HBase APIHBase ShellHBase 组件下载配置 运行HBaseSingle ModeHBase Shell访问HBase Web AdminMaster StatusRegion ServerRegion Name的命名规则以及相关参数参考 HBase是什么简介Apache HBase™ is the Hadoop database, a distri
转载
2023-10-04 10:30:04
766阅读
HBase无法在Web UI 上查看1.原因HBase无法在Web UI 上查看,是因为在1.0版本之后,默认不开启。所以需要手动设置。 vi hbase-site.xml 添加如下内容: <property> <name>hbase.master.info.port</name> <value>...
原创
2021-07-08 15:23:44
843阅读
HBase无法在Web UI 上查看1.原因HBase无法在Web UI 上查看,是因为在1.0版本之后,默认不开启。所以需要手动设置。 vi hbase-site.xml 添加如下内容: <property> <name>hbase.master.info.port</name> <value>...
原创
2022-01-28 11:26:05
813阅读
Kettle(Pentaho)实现web方式远程执行job或transformation一、背景 公司在用kettle做数据etl,每做完一个job或transformation发布上线想要立即执行看数据效果的话每次都是找运维同学登陆服务器打开kettle找到对应的文件点击执行,整个过程效率低下,不仅占用运维时间,期间自己也在白白等待,浪费生命。
转载
2023-10-30 21:04:03
223阅读
查看Master机器查看Region Servers列表查看表信息User Tables 是用户自己安装的表用户表系统表System Tables 是系统表hbase:meta 的前面 hbase是名称空
原创
2022-07-04 17:00:17
178阅读
一、为什么使用矢量切片(vector tiles)? 矢量切片的优点是:数据在客户端渲染(例如,OpenLayers),而不是在服务器端。这允许不同的地图应用程序使用不同的样式去渲染一个地图,而不需要事先在服务器端(比如GeoServer)进行预先的样式配置。矢量切片的大小通常比图片瓦片小,这可以使得数据传输得更快以及使用更低的带宽。GeoServer内嵌的GeoWebCache可以
转载
2023-09-26 17:19:10
33阅读
对于springboot操作hbase来说,我们可以选择官方的依赖包hbase-client,但这个包的google类库很多时候会和你的项目里的google类库冲突,最后就是你的程序缺少类而无法启动,解决这个问题的方法很多,而最彻底的就是自己封装一个shade包,或者使用人家封装好的shade包,shade就是maven里的一个重写包的插件,非常好用。依赖包之前的原始包 <dependenc
转载
2021-02-26 15:44:03
1161阅读
2评论
前言折腾了2天,总算摸了点皮毛初步部署成功了,不会部署的服务的开发不是一个好前端(啥玩意…算了算了),简单的说,就是我自己写了一个demo,涉及了前后台,我想将其部署到公网上去; 简介这是一个虽然小,但这是一个较为完整的项目,完整的部署使得对项目的最终上线有了基础的了解,本次部署使用阿里云安装了Docker,之后通过docker部署了前台,后台,以及数据库,前台是基于Vue的网站,后台基于Node
转载
2023-07-17 11:20:40
145阅读
Hbase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务 主要用来存储非结构化和半结构化的松散数据(列存NoSQL数据库)HBase数据模型命名空间 命名空间是对表的逻辑分
转载
2023-08-18 21:50:25
203阅读
本次的业务是基于短信发送之前,去做黑名单的校验和发送内容的检测,因此,在进行下一步业务之前,我需要等待黑名单的查询结果,由于线上环境的Hbase出故障,导致整个业务堵塞,因此,想到了对hbase异常做上容错机制,因此,有了以下的内容 try {
counts = hbaseService.get("cmcc_sms_blacklist",serviceId,"counts","count"
转载
2023-09-01 11:45:35
133阅读
HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,特点:海量存储列式存储极易扩展高并发稀疏
转载
2023-05-18 13:32:53
168阅读
hbase编程指南@(HBASE)[hbase, 大数据] hbase编程指南一概述一创建项目1pomxml2在eclipse中运行的注意事项3关于addResource的说明二Best Practices三常用API一创建Configuration及Connection对象二表管理1创建表2判断表是否存在3删除表三插入数据1插入单条数据2使用缓存四读取数据单个数据和一批数据1遍历返回数据的方法五
转载
2023-09-01 11:09:56
167阅读
1.不同版本间集群是否可以迁移?2.distcp命令的作用是什么?3..MEAT表的作用是什么?4.相互不通信集群,数据该如何迁移?HBase迁移数据方案一(集群互联)花了一天的时间查资料做测试,略微的总结了一下hbase数据迁移的方法。一、需要在hbase集群停掉的情况下迁移步骤:(1)执行Hadoop distcp -f filelist "hdfs://new cluster i
转载
2024-02-05 14:12:12
89阅读
logback详解,Flink流处理案例及Hive和Hbase的整合1. [logback的使用和logback.xml详解]()1.1. 按指定间隔滚动生成日志文件1.2. [logback指定某一包或者类下日志记录到不同文件中]()1.3. [logback按日期和大小切分日志]()2. Flink前期数据准备2.1. 获取数据(拉钩网爬虫)[[github链接]](https://gith
转载
2024-05-27 19:19:44
73阅读
## 连接HBase数据库
Apache HBase是一个分布式、高可靠性、高性能的NoSQL数据库,通常用于存储大规模数据。在实际应用中,我们需要连接HBase数据库来进行数据的读写操作。本文将介绍如何连接HBase数据库,并提供一个示例来演示如何使用Java代码进行连接。
### HBase连接方式
HBase与应用程序之间的连接通常使用Java API来实现。我们可以使用HBase提供
原创
2024-05-16 05:52:17
59阅读
文章目录1. HBase简介2. HBase的角色2.1 HMaster2.2 HRegionServer2.2.1 功能2.2.2 组件3. HBase架构4. HBase数据模型5. HBase读写流程1. HBase简介HBase是一个分布式的、面向列的开源数据库,它是一个适合于非结构化数据存储的数据库。大:上亿行、百万列。面向列:面向列(簇)的存储和权限控制,列(簇)独立检索。稀...
原创
2024-04-22 11:00:32
68阅读
<p>在这里主要分析一下HFile V2的各个组成部分的一些细节,重点分析了HFile V2的多级索引的机制,接下去有时间的话会分析源码中对HFile的读写扫描操作。</p> <h2>HFile和流程:</h2> <p>如下图,HFile的组成分成四部分,分别是Scanned Block(数据block)、Non-Scanned bloc
转载
2023-10-30 14:26:02
54阅读
1 书面作业1:举例子说明HBASE相对简单1.1 书面作业题目11.2 回答2 书面作业2:设计HBASE存储站内短信2.1 书面作
转载
2024-07-26 13:02:29
57阅读
HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java。它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于BigTable 规模的服务。因此,它可以容错地存储海量稀疏的数据。 Hbase是一个高可用、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可以在廉价的PC
转载
2023-07-12 21:12:00
85阅读