目录1、TTransportException(type=1, message="Could not connect to ('192.168.10.111', 9090)")} 1、分析:错误原因是不能正常连接到thrift服务2、TTransportException(type=4, message='TSocket read 0 bytes')1、分析1:错误原因可能是 hbase            
                
         
            
            
            
            Hadoop 安装详细步骤安装前 分别在 master、slave1、slave2 三台机器的 root 用户下的主目录下创建目录 bigdata,即执行下面的命令: mkdir ~/bigdata Hadoop 安装包下载 检查 Hadopp 和 java 版本是否对应,在官网中查hadoop-3.1.3      JDK 1.8
hadoop-2.10.2    JDK 1.7 or 1.8
            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-10-20 06:50:52
                            
                                54阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            LightWeightGSet是名字节点NameNode在内存中存储全部数据块信息的类BlocksMap需要的一个重要数据结构,它是一个占用较低内存的集合的实现,它使用一个数组array存储元素,使用linked lists来解决冲突。它没有实现重新哈希分区,所以,内部的array不会改变大小。这个类不支持null元素,并且不是线程安全的。它在BlocksMap中的初始化如下:   
             
                
         
            
            
            
            C API libhdfsOverviewLibhdfs是一个基于C的HDFS的JNI。它为一部分HDFS的API提供了一个C的 API            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-10-28 06:46:11
                            
                                204阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            文章目录HBASE 工具类HBASE 高可用搭建 HBASE 工具类package com.day_219;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
im            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-06-08 17:51:05
                            
                                265阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一、Hbase简介1、基础描述Hadoop原生的特点是解决大规模数据的离线批量处理场景,HDFS具备强大存储能力,但是并没有提供很强的数据查询机制。HBase组件则是基于HDFS文件系统之上提供类似于BigTable服务。HBase是一种分布式、可扩展、支持海量结构化数据存储的NoSQL数据库。HBase在Hadoop之上提供了类似于Bigtable的能力,基于列存储模式的而不是基于行的模式。存储            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-25 16:53:06
                            
                                108阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
             文章目录1.1:简介1:下载安装2:支持的数据类型3:shell客户端使用3.1:DML数据操作3.2:表DDL操作3.3:view视图操作3.4:索引index3.5:表以及视图等权限设置4:动态加载5:批量加载6:select详解6.1:查询函数1.2:将phoneix数据导出为csv文件1.3:api开发1:maven依赖 phoenix官网phoenix官网函数语法1.1:简介Phoen            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-13 10:58:48
                            
                                83阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            java连接hbase如何使用java连接hbase? 底层如何操作,我们并不关心;只期望提供以下几个方法 方法1:连接hbase;输入参数:hbase的ip,端口号; 方法2:namespace的crud; 方法3:table的crud; 方法4:记录的crud; 添加jar包 把%hbase_home%\lib\所有的jar包都加进来; 添加工具包:junit和log4j2 添加配置文件 参照            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-26 18:06:39
                            
                                119阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            SpringBoot+HBase 快速入门文档前言一、HBase常用shell命令1.1 基础命令1.2 表的基本操作1.3 表的数据增删改查指令1.3.1 HBase数据模型1.3.2 表的增删改查指令1.3.3 过滤器条件查询二、JavaAPI操作Hbase2.1 Maven依赖2.2 复制HBase和Hadoop配置文件2.3 创建Hbase连接以及admin管理对象2.4 使用JavaA            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-20 11:34:27
                            
                                77阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            目录HDFSS基础知识特点高容错性适合大数据处理适合批处理流式文件访问可构建在廉价的机器上劣势低延时数据访问小文件存储并发写入,文件随机修改HDFS基本概念机架数据块(block)元数据用户数据fsimagefseditsHDFS ClientNameNodeDataNodeSecondary NameNodeHDFS体系结构进阶数据块大小设置健壮性磁盘数据错误,心跳检测和重新复制集群均衡数据完整            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-06-13 22:07:00
                            
                                58阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            hdfs:分布式文件系统有目录结构,顶层目录是:  /,存的是文件,把文件存入hdfs后,会把这个文件进行切块并且进行备份,切块大小和备份的数量有客户决定。存文件的叫datanode,记录文件的切块信息的叫namenodeHdfs的安装准备四台linux服务器先在hdp-01上进行下面操作配置域名映射vim /etc/hosts主机名:hdp-01  对应的ip地址:192.1            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-09-06 00:04:59
                            
                                147阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            
        
        hadoop编译
    说明:hadoop版本:hadoop-2.5.0-cdh5.3.6环境:centos6.4必须可联网hadoop 下载网址: http://archive.cloudera.com/cdh5/cdh/5/其实编译还真就是体力活,按照官方的说明,一步步往下做就可以了,不过总会遇到坑。。编译步骤:1、下载源码,解压,本例中解压到             
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-30 18:51:25
                            
                                82阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            ## 连接HBase数据库
Apache HBase是一个分布式、高可靠性、高性能的NoSQL数据库,通常用于存储大规模数据。在实际应用中,我们需要连接HBase数据库来进行数据的读写操作。本文将介绍如何连接HBase数据库,并提供一个示例来演示如何使用Java代码进行连接。
### HBase连接方式
HBase与应用程序之间的连接通常使用Java API来实现。我们可以使用HBase提供            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-05-16 05:52:17
                            
                                59阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            本文将介绍HBase的客户端连接实现,并说明如何正确管理HBase的连接。最近在搭建一个HBase的可视化管理平台,搭建完成后发现不管什么查询都很慢,甚至于使用api去listTable都要好几秒。经过一番排查发现,是每次请求的时候,都去临时创建了一个connection,而创建connection非常耗时导致整体的rt上升。因此,就深入了解了下如何正确管理HBase的connection,同时,            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-26 19:30:22
                            
                                175阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            HBase 是一个开源的分布式非关系型数据库,在大数据行业中应用很广泛。Google 三篇论文奠定了大数据的理论基础,其中 HBase 就可以看做是 BigTable 的实现,用来存储大规模的数据。HBase 的命令很多,这篇文章总结了 HBase 最常用的 shell 命令,作为日常开发的手册。本文基于 JDK1.8 HBase2.2.5HBase 单机版安装本文假设你已经了解 HBase 的基            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-10-31 14:20:57
                            
                                95阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            每个Htable实例都需要建立和远程主机的连接。这些连接在内部使用HConnection类表示,更重要的是,其被HConnectionManager类管理并共享。用户没有必要同时和这两个类打交道,需要创建一个Configuration实例,然后利用客户端API使用这些类。HBase内部使用键值映射来存储连接,使用Configuration实例作为键值映射的键。换句话说,当你创建很多HTable实例            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-11-27 14:53:07
                            
                                90阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            记录Hbase部署和扫描1.找到Hadoop和Hbase兼容的安装包,在Hbase的官方文档中(http://hbase.apache.org/book.html#hadoop)搜索Hadoop version support matrix就可以看到相应的兼容版本,去对应官网搜索下载。2.准备环境,第一次部署时,在hadoop,zookeeper,hbase中和host相关的配置,我都使用的ip做            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-20 21:15:18
                            
                                299阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
             目录什么是JDBC?核心APICodeLinking Denpency初始化类主要方法类 什么是JDBC?        JDBC 规范定义接口,具体的实现由各大数据库厂商来实现。        JDBC 是 Java 访问数据库的标准规            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-09 12:25:05
                            
                                238阅读
                            
                                                                             
                 
                
                             
         
            
            
            
                在使用HBase的时候客户端偶尔会出现超时等问题,所以本文打算简单分析下HBase客户端相关的源码,初步了解其中比较核心的机制。 客户端连接源码分析:Connection的创建:    程序中设置好HBase相关连接属性之后,调用ConnectionFactory.createConnection(conf)方法连接HB            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-18 10:14:00
                            
                                892阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Hive和HBase连接1.首先更改Hive下的hive-site.xml 在文件中加入zookeeper的相关依赖<property>
  <name>hive.zookeeper.quorum</name>
  <value>master,slave01,slave02</value>
  <description>The            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-28 21:50:23
                            
                                61阅读
                            
                                                                             
                 
                
                                
                    