六mo神剑的博客_大数据

HBase Rowkey的设计和优化实现

大家都知道 HBase 由于它存储和读写的高性能，在 OLAP 即时分析中发挥着非常重要的作用，而 RowKey 作为 HBase 的核心知识点，其设计势必会影响到数据在 HBase 中的分布，甚至会影响我们查询的效率，可以说 RowKey 的设计质量关乎了 HBase 的质量。Rowkey设计原则Rowkey设计应遵循以下原则：1.Rowkey的唯一原则必须在设计上保证其唯一性。由于在HBas

数据

时间戳

字段

原创 2022-11-16 16:20:41 232 阅读

Win10下安装spark（本地模式)_windows

Win10下安装spark（本地模式）相关软件及环境准备： win10 需要提前安装anaconda java 环境：JDK1.8 版本 hadoop运行在windows环境的插件： hadoop-2.7.1（winutils-master） spark包：spark-2.4.4-bin-hadoop2.7spark-2.4.4-bin-hadoop2.7 和winutils-master 下载

spark

hadoop

环境变量

原创 2022-07-18 19:31:06 744 阅读

hbase预分区问题

预分区通常hbase会自动处理region拆分，当reg

数据

随机数

插入数据

原创 2022-07-18 19:24:50 258 阅读

Impala和Hive的对比

Impala和Hive的关系Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。与Hive的关系　　Impala 与Hive都是构建在Hadoop之上的数据查询工具各有不同的侧重适应面，但从客

hive

数据

mapreduce

原创 2022-07-18 19:23:18 181 阅读

hive on hbas原理场景及性能分析

使用场景熟悉大数据的同学

hive

sql

表数据

原创 2022-07-18 19:23:14 128 阅读

hbase查询优化Filter+Scan

Hbase Filter+Scan 查询效率问题1.

数据

字段

.net

原创 2022-07-18 19:22:34 1080 阅读

对HBase表结构及数据模型的理解

HBase表格结构HBase的表格中涉及到几个概念，用一个例子来解释，这一部分看了很多博客，其中HBase概念及表格设计解释得很通俗，可以看一下。HBase中一个可能的表格如下，包括：RowKey：行键，类似关系表中的主键，是用来表示唯一一行记录的主键，按字典序排列 Column：列，类似关系表中的列，在下图中的列就是Gender,Age,Province,City ColumnFamily：列族

数据

字段

表结构

原创 2022-07-18 19:21:35 120 阅读

hbase的命名空间

HBase数据模型命名空间命

命名空间

限定符

数据

原创 2022-07-18 19:21:10 545 阅读

列式存储与行式存储的区别

列式存储与行式存储上面说到HBase是基于列的列式数据库，而常用的关系数据库则是行式数据库，此处对两个概念做简单区分。行式存储是指数据以行为单位进行存储，同一行

数据

.net

列式存储

原创 2022-07-18 19:20:58 395 阅读

hive实现拉链表

(相当于是从mysql出来数据的，懒得去走mysql)create table ods_order_init(`id` string COMMENT '订单编号',`order_status` string COMMENT '订单状态',`user_id` string COMMENT '用户id',`create_time` string COMMENT '创建时间',`operate_time

数据

链表

数据同步

原创 2022-07-18 19:20:37 432 阅读

CDH常用命令

#据我理解是重启agentsystemctl restart ntpd cloudera-scm-agent

.net

重启

cloudera

原创 2022-07-18 19:19:16 79 阅读

hive_优化模式

本

3d

hive

d3

原创 2022-07-18 19:15:12 67 阅读

join语法大全

join 大全参考： https://www.toutiao.com/w/i1716998025966600/?tt_from=weixin&utm_campaign=client_share&timestamp=1639741630&app=news_article&utm_source=weixin&utm_medium=toutiao_andro

sql

d3

android

原创 2022-07-18 19:12:13 136 阅读

hive建立临时表

2.1 Hive临时表数据存储设置从Hive1.1开始临时表可以存储在内存或SSD，使用hive.exec.temporary.table.storage参数进行配置，该参数有三种取值：memory、ssd、default。如果内存足够大，将中间数据一直存储在内存，可以大大提升计算性能。2.1 Hive临时表测试代码:set hive.exec.temporary.table.storage =

hive

hadoop

big data

数据

计算性能

原创 2022-07-18 19:11:39 589 阅读

Hbase介绍

大数据，hbase技术介绍

hbase

hadoop

big data

结构化

海量数据

原创 2022-07-18 19:11:09 80 阅读

Hbase支持随机读写

hbase

数据库

database

.net

原创 2022-07-18 19:10:42 79 阅读

【转载】消费主义是如何对年轻人进行欺骗与洗脑的？

现代消费主义是异常强大的，针对全社会所有阶层人民的价值观打击，特别是年轻人认识消费主义非常有必要，我认为对人生有非常大的帮助。我们现在的社会似乎陷入了一个怪圈，无论发生什么天灾人祸，各国政府第一件应对措施都是要刺激消费，尤其是疫情，美国防疫做得一塌糊涂，他也要大搞经济消费，给每个人发钱，也因为消费主义升级，现在社会经常会陷入债务危机，经济危机，金融危机，然后各个国家应对这些危机的方法就是制造更大规

物联网

iot

贴吧

ide

英雄联盟

原创 2022-07-18 19:10:18 59 阅读

实现impala对HBase数据的查询

impala hive hbase 整合hbase

hive

hadoop

apache

原创 2022-07-18 19:09:37 154 阅读

Impala中变相实现delete和update

CDH5常用update方式方式一：删除分区数据，重新插入相应分区的数据；方式二：A表命名为B表，建立C表，把B表的数据往C表里插，插入过程中对相应的数据进行变更Impala中变相实现删除和更新 http://www.voidcn.com/article/p-nvowvqra-bez.htmlimpala的update用法（高版本）：

数据

html

h5

原创 2022-07-18 19:09:07 122 阅读

impala的操作命令

impala-shell -i -d default -k -i hostname, --impalad=hostname指定连接运行 impalad 守护进程的

.net

守护进程

身份验证

原创 2022-07-18 15:49:02 77 阅读

HBase查询优化之Short-Circuit

HDFS客户端可能会有经常读取相同Block文件的场景，为了提升这种读取性能，旧的短回路本地读取实现具

客户端

缓存

打开文件

原创 2022-07-18 15:48:40 88 阅读

sqoop概念功能及版本区别

2.功能对于hadoop进行大数据处理的数据来源主要有两部分(1)关系数据库，RDBMS（Oracle，MySQL，D

sqoop

数据

hadoop

原创 2022-07-18 15:47:08 63 阅读

kerbers认证udp_preference_limit参数

修改/etc/krb5.conf文件udp_preference_limit = 1 禁止使用udp可以防止一个Hadoop中的错误udp_prefe

客户端

hadoop

丢包

原创 2022-07-18 15:46:11 438 阅读

hbase报错 Got error for OP_READ_BLOCK, status=ERROR

hbase集群有一块盘坏了，更换后报错，分析原因为，habse的数据在

java

2d

f5

原创 2022-07-18 15:45:56 170 阅读

Hive on Spark与SparkSql的异同

```pythonhive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是

spark

hive

sql

原创 2022-07-18 15:38:01 136 阅读

Impala最佳实践

分区设计规则：文件格式设计内存使用调优基础知识数据倾斜参考这

数据倾斜

h5

调优

原创 2022-07-18 15:37:45 119 阅读

impala的简介

一、概述Impala是Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询

hive

数据

hdfs

原创 2022-07-18 15:37:44 205 阅读

时序数据库介绍

什么是时序数据库先来介绍什么是时序数据。时序数据是基于时间的一系列的数据。在有时间的坐标中将

数据

时序数据库

百度

原创 2022-07-18 15:36:53 531 阅读

HBase行锁原理及实现

hbase涉及事务类型操作的时候，为防止数据错乱，有行锁机制：一、什么是行锁？我们知道，

数据

逻辑工作单元

持久性

原创 2022-07-18 15:36:10 96 阅读

CDH中Impala的invalidate metadata与refresh的区别

如何正确使用通过上面的简单分析，容易做出以下总结：如果数仓中发生了增删表或改变表结构的行为

python

表名

数据

表结构

原创 2022-07-18 15:30:18 169 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客