hadoop1.core-site.xml1.fs.defaultFS hdfs默认端口 2.hadoop.tmp.dir Hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。 3.fs.trash.interval 回收间隔（区间）
转载
2024-06-11 14:41:55
32阅读
前言：在hadoop生态圈中，非关系型数据库Hbase占有重要一席之地。这里介绍一下Hbase安装过程，首先需要明白的是，hbase的安装条件：1. JDK1.7+以上 2. Hadoop2.5+以上 3. Zookeeper3.4.x以上 那么下面详细介绍一下安装步骤：下载相应hadoop生态圈版本 这里推荐采用cdh下载各版本，cdh下载地址，这里我选择hadoop-2.5.0-cdh5.
转载
2023-09-20 19:53:32
618阅读
互联网大数据框架介绍（二）Hive，HBase继续上一节的hadoop，HDFS，yarn，MapReduce。这节继续想下讲，将数据仓库Hive，和大数据的数据库HBaseHive首先，我们要明确什么是Hive，Hive是构建于Hadoop的HDFS和MapReduce上，的用于管理和查询结构化/非结构化数据的数据仓库。Hive分别有三个部分组成： 1）使用HQL作为查询接口 2）使用HDF
转载
2023-09-18 19:08:59
69阅读
1 搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限（一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanl
转载
2024-08-07 18:10:22
107阅读
安装需知，它是建立在hadoop 之上，并且难度大于hadoop，选择版本要与Hadoop版本匹配，如果没有选对版本就选安装上去也无法使用。1.安装准备 Hbase 的安装介质放在自己指定的目录下，解压后复制到另一个指定的目录，和前面所说的一致。2.配置环境变量 使用root 用户修改/etc/profile文件，添加HBASE_HOME 环境变量，修改PATH
转载
2024-06-15 11:22:38
178阅读
本文以三台机器组成的一个Hadoop集群的安装与配置为例。三台机器的信息如下：hostname 角色 IPdc01 mast 192.168.68.57dc02 slave 192.
转载
2024-08-02 12:05:27
112阅读
PS： 使用hbase前，请务必先安装好Hadoop,并且启动Hadoop的服务后才可以正常使用hbase！ Hadoop安装地址：Hadoop安装 目录一、Zookeeper安装及配置1.解压&授权2.Zookeeper配置
转载
2023-07-24 08:55:08
127阅读
在Hadoop集群之上安装hbase一、安装准备 首先我们确保在ubuntu16.04上安装了以下的产品，java1.8及其以上，ssh，hadoop集群，其次，我们需要从hbase的官网上下载并安装这个产品。二、开始安装 这里我介绍两种安装方式，一种是在伪分布式hadoop集群上安装hbase，另一种是在分布式hadoop集群上安装hbase。&n
转载
2024-04-22 11:51:57
64阅读
书接上回在上次我们搭建了hadoop2.8的高可用NameNode的HA环境，并引入了zookeeper这次我们要在这个环境的基础上搭建hbase先说规划 编号主机名用途0xxCentosZeroHMaster(备用，尚未加入)1xxCentosOneHMaster2xxCentosTwoHRegionServer3xxCentosThreeHRegionServer4xxCentosFourHR
转载
2024-04-24 22:57:44
142阅读
1、hadoop：它是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。后者可以独立运行，前者可以选择性使用，也可以不使用2、hive：通俗的说是一个数据仓库，仓库中的数据是被hdfs管理的数据文件，它支持类似sql语句的功能，你可以通过该语句完成分布式环境下的计算功能，hive会把语句转换成MapReduce，然后交给had
转载
2023-07-12 13:47:09
229阅读
本系列文章主要结合线上HBase环境出现一系列问题，进行分析HBCK2工具中出现问题如何具体解决，以及其中的原理及实现进行分析。危情初现我们在某项目上使用CDH版本的HBase2.1.0，某日忽然接到告警业务中断，HBase无法读写。具体原因大概是开发人员修改了个hdfs的配置，重启HDFS短期影响了业务，HDFS启动期间，又对HBase进行了重启，发生长时间不能读写了。查看HDFS和HBase的
文章目录1 系统版本2 配置环境变量3 验证安装3.1 验证JAVA3.2 验证Hadoop4 配置Hadoop4.1 hadoop-env.cmd4.2 core-site.xml4.3 hdfs-site.xml4.4 yarn-site.xml4.5 mapred-site.xml4.6 替换winutils4.7 adoop-yarn-server-timelineservice-3.1
转载
2023-08-18 20:43:05
1424阅读
一、Hadoop3.0.3下载地址
二、HBASE2.1.0下载地址HBASE2.1.0下载地址，此版本hbase可以和Hadoop3.0.3匹配
三、jdk下载jdk下载链接，请挑选适合自己的版本
四、jdk安装解压下载好的包tar -xzvf jdk-8u
转载
2023-09-14 14:19:48
240阅读
在win7-64位宿主机上的centos-6.4上搭建伪分布式系统当我们在vmware 上装好centos以后，下面开始为搭建集群做一些准备工作首先在root用户下建立一个转门用户操作集群的用户hadoop然后要建立一个与windows系统的共享文件，具体方法见建好以后将hadoop.tar.gz,zookeeper.tar.gz,hbase.tar.gz减压在一个目录下面，下面开始配置集群一.h
转载
2024-03-12 08:37:50
68阅读
一、Hadoop基本介绍Hadoop优点1.高可靠性：Hadoop按位存储和处理数据2.高扩展性：Hadoop是在计算机集群中完成计算任务，这个集群可以方便的扩展到几千台3.高效性：Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度快4.高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配5.低成本：Hadoop是开源的，集群是由廉价的P
许多考生在报考教师资格证或者其他的考试报名，会遇到浏览器兼容设置的问题。与其到时急急忙忙来设置浏览器的兼容模式，不如提前设置好，免了后顾之忧。浏览器兼容模式怎么设置？一起来看看关于浏览器兼容模式的含义以及设置方式吧！操作环境：
演示机型：Dell optiplex 7050
系统版本：Windows 10
一、浏览器兼容模式是什么意思浏览器兼容模式，也称为网页兼容模式或网站兼容模式。因
转载
2023-12-29 16:36:35
78阅读
前言第一个问题，hadoop与hbase哪些版本兼容。这里的每一个问题，当然我们需要引用官网的内容。
之前写过hadoop、hbase、hive、zookeeper版本对应关系续(最新版) 【http://www.aboutyun.com/home.php?mod=space&uid=61&
转载
2023-08-18 22:47:18
1407阅读
在使用HBase和Hadoop进行大数据处理和存储时，我们可能会遇到版本不兼容的问题。这个问题会直接影响到业务的稳定性和数据处理的效率，导致服务中断或数据错误，甚至影响到公司的决策及运营。以下是对解决“安装HBase和Hadoop的版本不兼容报错”问题的详细记录和分析。
>**业务影响分析**：
>在大数据处理的环境中，HBase与Hadoop的兼容性关系密切。如果出现版本不兼容，可能导致数
hadoop之hbase安装和配置安装HBase前，需要的准备条件安装HBase配置HBase单机模式伪分布式模式完全分布式模式（集群） 安装HBase前，需要的准备条件HBASE运行需要JDKJDK安装和配置
HBase的底层存储依赖于HDFS,需要安装hadoop环境hadoop环境安装和配置
HBase依赖于ZooKeeper来做分布式协调工作,所以需要安装Zookeeper的环境,博主所
转载
2023-08-31 08:35:31
104阅读
1. HFile原理概述最初的HFile格式(HFile V1)，参考了Bigtable的SSTable以及Hadoop的TFile(HADOOP-3315)。如下图所示：HFile在生成之前，数据在内存中已经是按序组织的。存放用户数据的KeyValue，被存储在一个个默认为64kb大小的Data Block中，在Data Index部分存储了每一个Data Block的索引信息{Offset，S
转载
2023-09-20 07:02:18
63阅读
