wx5caecf2ed0645的博客_Hadoop原创博文

Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to IP1:8020 In

2017-02-27 16:19:44,739 ERROR datanode.DataNode: Initialization failed for

hdfs

数据目录

xml

原创 2022-04-06 15:43:52 347 阅读

Hadoop高可用配置文件hdfs-site.xml之dfs.ha.fencing.methods说明

dfs.ha.fencing.methods配置有sshfence和shell两种方法：sshfence：防止namenode脑裂，当脑裂时，会自动通过ssh到old-active将其杀掉，将standby切换为active。但是只能在网络通畅时有效，一旦ipdown后fencing方法返回false，standby不会自动切换active，...

hdfs

原创 2022-04-06 15:38:20 246 阅读

datanode----nitialization failed for Block pool (Datanode Uuid unassigned) service to

2016-01-08 11:34:57,575 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode:

hadoop

java

apache

原创 2022-04-06 15:34:52 135 阅读

启用Hadoop集群垃圾箱配置

配置参数：<property> <name>fs.trash.interval</name> <value>10</value> <description>检查点被删除后的分钟数。如果为零，垃圾桶功能将被禁用。该选项可以在和客户端上配置。如果垃圾箱被禁用端，...

hadoop

hdfs

检查点

原创 2022-04-06 15:34:14 219 阅读

Hadoop优化与调整

io.file.buffer.size　　hadoop访问文件的IO操作都需要通过代码库。因此，在很多情况下

数据块

hdfs

mapreduce

原创 2022-04-06 15:33:43 74 阅读

Hbase集群间数据复制

10.2 快照除了实时备份之外，定期备份归档也是数据库系统保证数据可靠性或者容灾恢复的重要手段。例如，生成环境中程序出现bug，

hadoop

mapreduce

数据

原创 2022-04-06 15:28:53 526 阅读

Hive 学习笔记（启动方式，内置服务）

一、Hive介绍　　Hive是基于Hadoop的一个数据仓库，Hive能够将SQL语句转化为MapReduce任务进行运行。　　Hive架构图分为以下四部分。　　　　1、用户接口　　　 Hive有三个用户接口：命令行接口（CLI）:以命令行的形式输入SQL语句进行数据数据操作 Web界面：通过Web方式进行访问。　　　　　 Hive的远程服务方式：通过JDBC...

hive

spark

客户端

原创 2022-04-06 15:22:52 790 阅读

大数据概念

数据类型结构化数据(structured data)：RDBMS传统的关系型数据库中的表通常由一个或多个字段组成，每个字段都预先定义了其可存储数据的格式及约束等，这类的数据就是结构化数据(structured data)一个设计良好的数据库在其schema中定义这些格式或约束，并由相应的RDBMS为这些提供实现保证相应地。半结构化数据(semi-structured data)：Page...

数据

mapreduce

结构化

原创 2022-04-06 15:22:19 126 阅读

Hadoo实战：Hadoop生态圈组件介绍

Hadoop生态圈组件介绍Hadoop生态图，家族产品，通俗地说，就是Hadoop核心模块和衍生的子项目。常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, ...

hadoop

数据

mapreduce

原创 2022-04-06 15:22:12 691 阅读

大数据生态到底是一个什么概念？

大数据这个概念本身就太大而且太宽，如果一定要严格定义是非常困难的一件事，不过Hadoop生态圈或者由其延伸的泛生态系统，基本上都是为了处理大量数据诞生的——一般而言，这种数据依赖单机很难完成。这个圈子里的工具，就像是我们厨房里的各种厨具——各自都有不同的用处，但也有一部分功能重合，比如盆和豌都可以用来喝汤，削皮刀和菜刀都可以用来去皮。但是，盆用来喝汤未免奇怪，削皮刀切菜也是万万不能。即使你...

数据

mapreduce

sql

原创 2022-04-06 15:22:00 204 阅读

Attempt to do update or delete on table mydb.stu_p that does not use an AcidOutputFormat or is not b

Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。一、Hive具有ACID语义事务的使用场景1. 流式接收数据。许多用户使用诸如Apache Flume、Apache Storm或Apache Kafka这样的工具将流数据灌入Hadoop集群。当这些工具以每秒数百行的频率写入时...

hive

数据

apache

原创 2022-04-06 15:21:48 130 阅读

Caused by: java.io.IOException: Unable to initialize any output collector

Text jar包导成import com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider.Text;解决：应该导入import org.apache.hadoop.io.Text;

ide

xml

jar包

原创 2022-04-06 15:21:42 106 阅读

hive 开启事务和DML

提到Hive一般都会想到，Hive是数据仓库，支持类SQL查询，有很多语法支持，可以嵌套MR，写Transform、写UDF/UDAF等，但是，不支持更新操作。所以Hive的常见也一般都是一次写入，频繁读取。从Hive 0.13开始，加入了ACID的新feature，但是0.13的时候还不支持insert、update和delete操作，我也并没有欣然的当小白鼠。目前我们平台使用hiv...

hive

hadoop

ide

原创 2022-04-06 15:21:21 993 阅读

为何HBase速度很快

HBase能提供实时计算服务主要原因是由其架构和底层的数据结构决定的，即由LSM-Tree(Log-Structured Merge-Tree) + HTable(region分区) + Cache决定——客户端可以直接到要查数据所在的HRegion server，然后直接在的一个region上查找要匹配的数据，并且这些数据部分是经过cache缓存的。前面说过HBase会将数据...

数据

寻道

缓存

原创 2022-04-06 15:18:14 81 阅读

Hbase 查询为什么快

第一、数据分区存储（region）通过rowkey可以快速地位到在那个region上，信息保存在hbase的meta表里。每次查询都会有location cache的，所以htable里面的Hconnection 初始化的时候访问速度相对来说稍慢，客户端缓存截图如下。随着数据越来越大，meta表的查询有可能遇到瓶颈，建议单独独立出成一个meta server。（备注：一...

数据

分块

数据格式

原创 2022-04-06 15:04:46 582 阅读

spark与tez比较

概述spark号称比mr快100倍，而tez也号称比mr快100倍；二者性能都远程mr，

spark

数据

迭代

原创 2022-04-06 15:04:08 484 阅读

为啥说用了Hbase速度会变快？？？

都知道数据仓库现在一般来说是Hive和kafka，数据平台目前还使用的是hive

数据

hive

kylin

原创 2022-04-06 14:54:57 67 阅读

简析OpenTSDB的用途是什么

OpenTSDB 是一种基于 HBase 编写的分布式、可扩展的时间序列数据库。官方文档这样描述：OpenTSDB is a distributed, scalable Time Series Database (TSDB) written on top of HBase；翻译过来就是，基于Hbase的分布式的，可伸缩的时间序列数据库，和上面的意思基本相同。主要用途，就是做监控系统；譬如收...

数据

服务器

监控系统

原创 2022-02-13 16:23:09 188 阅读

hive中如何建立索引

索引的作用 Hive支持索引，但是Hive的索引与关系型数据库中的索引并不相同，比如，Hive不支持主键或者外键。Hive索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少MapReduce任务中需要读取的数据块的数量。在可以预见到分区数据非常庞大的情况下，索引常常是优于分区的。虽然Hive并不像事物数据库那样针对个别的行来执行查询、更新、删除等操作。它更多的用在多任务节点的场景下，快速

hive

数据

字段

原创 2022-02-13 15:13:37 1593 阅读

Hive对表建立索引

1.首先创建表create table user(　　id int,　　name string,　　address string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ','STORED AS TEXTFILE;2.创建索引create index user_index on table user(id)as 'org.apache.hadoop.hiv

hdfs

字段

偏移量

原创 2022-02-13 15:13:19 358 阅读

zookeeper在hbase集群中的作用

1，hbase regionserver 向zookeeper注册，提供hbase regionserver状态信息（是否在线）2，hmaster启动时候会将hbase 系统表-ROOT- 加载到 zookeeper cluster

zookeeper

数据

应用程序

原创 2022-02-13 15:12:52 384 阅读

hadoop fs,hadoop dfs以及hdfs dfs区别

该文由本人于网上查阅资料所得，如有错误希望帮忙评论指正谢谢。hadoop fs:FS relates to a generic file system which can point to any file systems like local, HDFS etc. So this can be used when you are dealing

hadoop

hdfs

文件系统

原创 2022-02-09 14:36:02 447 阅读

Hadoop：hadoop fs、hadoop dfs与hdfs dfs命令的区别

Hadoop DFS'和'Hadoop FS'的区别While exploring HDFS, I came across these two syntaxes for querying HDFS:> hadoop dfs> hadoop fswhy we have two different syntaxes for a common purpose为什么会对同...

hadoop

hdfs

文件系统

原创 2022-02-09 14:35:38 688 阅读

sqoop将Mysql数据导入Hive中

本实验Sqoop版本：Sqoop 1.4.6.2.6.0.3-81 mysql创建表DROP TABLE IF EXISTS `testsqoop`;CREATE TABLE `testsqoop` (`XH` varchar(255) CHARACTER SET utf8 NOT NULL COMMENT '序号',`SSQ` varchar(255)

hive

sqoop

数据

原创 2022-02-09 14:34:41 214 阅读

大数据常用端口

常见端口汇总：Hadoop： 50070：HDFS WEB UI端口 8020 ：高可用的HDFS RPC端口 9000 ：非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 19888：jobhistory WEB UI端口Zookeeper: 2181 ：客户端连接zookeeper的端口 ...

big data

hive

hadoop

zookeeper

hdfs

原创 2022-01-20 13:50:30 199 阅读

Region/Store/StoreFile/Hfile之间的关系

1. Regiontable在行的方向上分隔为多个Region。Region是HBase中分布式存储和负载

big data

数据

分布式存储

数据块

原创 2022-01-20 13:48:41 187 阅读

大数据常用端口

常见端口汇总：Hadoop： 50070：HDFS WEB UI端口 8020 ：高可用的HDFS RPC端口 9000 ：非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 19888：jobhistory WEB UI端口Zookeeper: 2181 ：客户端连接zookeeper的端口 ...

big data

hive

hadoop

zookeeper

hdfs

原创 2021-09-05 13:36:47 660 阅读

Region/Store/StoreFile/Hfile之间的关系

1. Regiontable在行的方向上分隔为多个Region。Region是HBase中分布式存储和负载均衡的最小单元，即不同的region可以分别在不同的Region Server上，..

big data

数据

hdfs

负载均衡

数据块

原创 2021-08-30 11:12:33 666 阅读

大数据生态到底是一个什么概念？

大数据这个概念本身就太大而且太宽，如果一定要严格定义是非常困难

数据

mapreduce

sql

hive

spark

原创 2021-08-10 10:15:55 127 阅读

简析OpenTSDB的用途是什么

OpenTSDB 是一种基于 HBase 编写的分布式、可扩展的时间序列数据库。官方文档这样描述：OpenTSDB is a distributed, scalable Time Series Database (TSDB) written on top of HBase；翻译过来就是，基于Hbase的分布式的，可伸缩的时间序列数据库，和上面的意思基本相同。主要用途，就是做监控系统；譬如收...

数据

服务器

数据库

时间序列

监控系统

原创 2021-08-10 09:55:09 223 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx5caecf2ed0645的博客