回顾一次 hbase 线上问题,梳理知识点!
转载
2022-06-06 15:14:02
559阅读
1、docker集群集体被kill
查看docker的日志,/var/logs/messages文件的部分日志:
Dec 9 08:19:41 ip-172-29-165-141 NetworkManager[680]: <info> [1575879581.6938] device (veth626cd35): carrier: link connected
Dec 9 08
转载
2019-01-09 23:33:00
396阅读
2评论
# Docker HBase简介
HBase是一种分布式、可扩展、面向列的NoSQL数据库,建立在Hadoop文件系统(HDFS)之上。它提供了高吞吐量、低延迟的数据存储和检索能力,适用于海量数据的处理和分析。然而,HBase的部署和配置可能相对复杂,需要配置多个组件,包括ZooKeeper、HDFS等。为了简化HBase的部署和管理,我们可以使用Docker来创建和管理HBase容器。
##
原创
2023-09-28 23:45:06
34阅读
前两章《Docker下HBase学习,三部曲之一:极速体验》和《Docker下HBase学习,三部曲之二:集群HBase搭建》我们学习了HBase的单机和集群环境搭建,本章我们继续实战,学习在java应用中操作HBase;完整的Demo源码本次实战的完整的源码地址是:git@github.com:zq2599/blog_demos.git,里面有多个工程,本次Demo所在目录如下图红框所示:网络规
转载
2024-06-08 23:19:09
83阅读
1.hbase的安装使用现成的docker镜像安装在远程服务器上,此处推荐一个大神的docker仓库,下面的GitHub仓库里面有各种大数据组件的dockerfile,拉取代码库后再到docker store 查看对应的镜像就可以启动各种大数据组件了。 下面拉取hbase :docker pull harisekhon/hbase-dev镜像,然后下载对应的Dockerfile后进入dockerf
转载
2024-01-18 23:51:46
225阅读
1. 背景HBase 是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的 Google 论文 Bigtable :一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。
转载
2023-08-23 20:53:08
314阅读
使用Docker学习Hbase近些日,想通过Docker深入了解下Hbase,但是发现,这方面的博文内容分散各处,良莠不齐,故把近期的学习心得总结如下,以飨读者。本博文侧重于实验理解,原理可以参考: 准备工作:DockerWindows安装Docker:直接官网下载;Linux安装Docker:https://www.jianshu.com/p/2dae7b13ce2fWSL2安装Docker:Ⅰ
转载
2023-11-01 18:56:32
91阅读
集群HBase搭建###集群规划###
首先是网络情况规划,本次实战我们的集群是一个master,两个slave,如下图:###材料列表###
把搭建一个hbase环境所需的所有材料列出来,如下表:软件版本OpenSSH5.3jdk1.8hadoop2.7.4hbase1.2.6zookeeper3.4.6PS:文中用到的文件主要有以下这些,我已经上传到github上:docker镜像对应的doc
转载
2023-07-17 22:58:20
293阅读
集群规划首先是网络情况规划,本次实战我们的集群是一个master,两个slave,如下图:材料列表把搭建一个hbase环境所需的所有材料列出来,如下表:软件版本OpenSSH5.3jdk1.8hadoop2.7.4hbase1.2.6zookeeper3.4.6PS:文中用到的文件主要有以下这些,我已经上传到github上: 1. docker镜像对应的dockerfile,以及制作镜像
转载
2023-08-01 21:23:49
96阅读
这里写目录标题一、docker搭建二.安装和配置JAVA环境三.SSH免密登录四.安装Hdoop五、spark-hadoop的搭建六、安装HBase七、安装zookeeper八、安装hive 一、docker搭建1.本项目搭建在ubuntu系统上,需要ubuntu镜像,一共是三个节点,一个master,两个slave,共需要三个容器,下面是镜像的获取与容器的创建: 获取ubuntu镜像:dock
转载
2024-04-28 15:36:46
209阅读
文章目录1、系统说明2、创建hbase容器3、进入hbase容器中4、进入 hbase shell 中:5、在win10 中 访问 hbase6、hbase java api 1、系统说明我的开发环境是在win10,在 VMware 中使用 centos7的虚拟机。 下面的操作就是在 centos7 中使用 docker 搭建 hbase 单机模式,用于学习和开发使用 。说明: centos7
转载
2023-10-20 17:21:24
540阅读
docker安装hadoop集群?图啥呢?不图啥,就是图好玩.本篇博客主要是来教大家如何搭建一个docker的hadoop集群.不要问为什么我要做这么无聊的事情,答案你也许知道,因为没有女票.......好了,不多说这些没有必要的东西了,首先,我们来安装docker.一.docker的安装sudo yum install -y docker-iosudo wget https://get.dock
转载
2024-06-25 18:31:41
25阅读
要用docker搭建集群,首先需要构造集群所需的docker镜像。构建镜像的一种方式是,利用一个已有的镜像比如简单的linux系统,运行一个容器,在容器中手动的安装集群所需要的软件并进行配置,然后commit容器到新的镜像。另一种方式是,使用Dockerfile来自动化的构造镜像。 下面采用第二种.1. 创建带ssh服务的ubuntu14
转载
2023-10-24 13:42:16
97阅读
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/886962761.本地单机部署hbase,想要使用独立zookeeper,不使用自带的vim conf/hbase-env.shexport HBASE_MANAGES_ZK=false设置不使用自带zookeeper,但是总是报错:Could not sta...
原创
2019-03-20 18:45:20
268阅读
前些日子,搞了一波Hbase数据库的整合,个人感觉hbase 还不错,大概的介绍和理解,网上很多,但是对Hbase分页以及使用sql查询的整合还是比较少的,最后我也没搞成分页,因为服务器不让我动,我想上Phoneix插件,项目负责人不给弄啊!~~~ 1.报错无权限,在初始化Hbase连接的时候,添加 ...
转载
2021-07-20 14:42:00
417阅读
2评论
请注明出处:://blog..net/l1028386804
原创
2022-04-22 17:20:44
398阅读
HBase服务器在一台腾讯云上,本地Windows系统连不上,代码如下:package cc11001100.hbase.baseOperation;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase...
原创
2021-07-27 13:58:14
4140阅读
docker 踩坑收集 尽可能地使用官方镜像Docker镜像是建立Docker容器的基础,而Dockerfile是生成Docker镜像的关键文件。因此许多实践者在对自己欲运行软件不熟悉的情况下,就开始编写自己的Dockerfile,于是就陷入下面的折腾链:编写/修改 Dockerfile -> 构建镜像 -> 运行容器 -> 出错 -> 寻找解决办法 ->
转载
2024-05-17 23:01:27
27阅读
# Docker安装Jenkins的坑
Jenkins是一个流行的开源自动化构建和持续集成工具。使用Docker安装Jenkins可以提供更好的环境隔离和易于管理的部署方式。然而,安装Jenkins过程中可能会遇到一些坑,本文将介绍一些常见的问题和解决方法。
## 1. 安装Docker
首先,在安装Jenkins之前,我们需要确保已经正确安装Docker。Docker的安装方式因操作系统而
原创
2023-07-16 10:07:26
154阅读
Docker通过Cgroup来控制容器使用的资源配额,包括 CPU、内存、磁盘三大方面,基本覆盖了常见的资源配颡和使用量控制。 Cgoup 是CotrolGroups 的缩写,是Linux 内核提供的一种可以限制、记录、隔高进程组所使用的物理资源(如CPU、内存、
转载
2023-08-31 23:13:41
73阅读