资讯

博客

学堂

精培

企业培训

CTO训练营

开源基础软件社区

WOT技术大会

元宇宙大会

收藏本站

移动端

公众号矩阵

博客

免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2022年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙技术社区视频号

51CTO博客

学堂精培鸿蒙社区 CTO训练营 51CTO 班级博客
登录注册
手机随时阅读

新人专享大礼包￥24
写文章
搜索历史清空

热门搜索

查看【】的结果

全部

Hadoop

Spark

Storm

Hive

Yarn

其他

近期原创推荐关注

05 16

#yyds干货盘点#

HIVE3 深度剖析 (下篇)

HIVE3 深度剖析 (下篇)

1. HIVE3.X 的 LEGACY 传统模式详解 2. 周边生态如 SPARK/DATAX 如何对接HIVE 3x 3. 大数据应用对接 HIVE3.x 的几点建议

大数据

原创

michaelli916 6天前

57 阅读

点赞

评论

收藏

Permission denied: user=dr.who, access=READ_EXECUTE, inode=

通过web UI查看hive创建的数据库时出现以下错误：Permission denied: user=dr.who, access=READ_EXECUTE, inode="/usr":root:supergroup:drwx-----

数据库

hadoop

原创

蓦然1607 7天前

35 阅读

点赞

评论

收藏

Hive——DDL数据定义

1、创建数据库 1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive > create database db_hive; 2）

Hive DDL数据定义

Hive增删查改

hive

数据

原创

蓦然1607 7天前

41 阅读

点赞

评论

收藏

Hive——Hive数据类型

1、基本数据类型 Hive数据类型 Java数据类型

Hive数据类型

hive

数据类型

分隔符

原创

蓦然1607 7天前

42 阅读

点赞

评论

收藏

Hive——基本概念

Hive——基本概念

1、什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上2、Hive的优缺点...

Hive架构原理

Hive优缺点

hive

数据

原创

蓦然1607 7天前

40 阅读

点赞

评论

收藏

Hive——DML数据操作

1、数据导入1.1 向表中装载数据（Load）1．语法hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)]; （1）load data:表示加载数据（2）local:表示从本...

Hive DML数据操作

Hive数据导入导出删除

hive

数据

原创

蓦然1607 7天前

30 阅读

点赞

评论

收藏

Hive——Hive查询

查询语句语法：[WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive0.13.0)SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[W...

Hive查询

hive

数据

mapreduce

原创

蓦然1607 7天前

39 阅读

点赞

评论

收藏

Hive内部表和外部表的区别

Hive内部表和外部表的区别

1）内部表数据由Hive自身管理，外部表数据由HDFS管理；2）内部表的数据存储位置是hive.metastore.warehouse.dir，默认位置：/user/hive/warehouse

hive内部表和外部表的区别

hive

外部表

表数据

原创

蓦然1607 7天前

54 阅读

点赞

评论

收藏

05 13

sqoop从hive导出表到mysql报错处理

[INFO] 2022-05-13 08:44:19.995 - [taskAppId=TASK-29-71229-742765]:[138] - -> 22/05/13 08:44:19 INFO mapreduce.Job: map 100% reduce 0% 22/05/13 08:44:19 INFO mapreduce.Job: Job job_1640763627991

mysql

apache

原创

江南独孤客 10天前

248 阅读

点赞

评论

收藏

05 11

#yyds干货盘点#

HIVE3 深度剖析 (上篇)

HIVE3 深度剖析 (上篇)

HIVE3 深度剖析 (上篇) 1. 从 HIVE 架构的演进看 HIVE 的发展趋势 2. 盘点下 HIVE3.X 和 HIVE2.X 的那些重大差异点 3. HIVE3.X 的 ORC 事务表详解 4. HIVE3.X 的 LEGACY 传统模式详解 5. 周边生态如 SPARK/DATAX 如何对接HIVE 3x 6. 大数据应用对接 HIVE3.x 的几点建议

大数据

原创

michaelli916 11天前

59 阅读

点赞

评论

收藏

05 09

hive编程小案例

hive编程小案例

1、删除表程序编写删除表程序hadoop@ddai-desktop:~$ vim drop_test_external.javaimport java.sql.SQLException;import java.sql.Connection;import java.sql.DriverManager;import java.sql.Statemen

jdbc

mysql

大数据

ubuntu

原创

江上晚风吟n 13天前

55 阅读

点赞

评论

收藏

hive数据仓库搭建

hive数据仓库搭建

mysql安装1、主节点安装mysqlhadoop@ddai-master:~$ sudo apt updatehadoop@ddai-master:~$ sudo apt install mysql-client mysql-server2

大数据

hadoop

ubuntu

mysql

原创

江上晚风吟n 13天前

55 阅读

点赞

评论

收藏

hive的log4j2.properties滚动日志设置时间显示格式时日志

日志相关配置如下：# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional information# regarding co

apache

ios

原创

江南独孤客 13天前

175 阅读

点赞

评论

收藏

05 04

大数据工具篇之Hive与MySQL整合完整教程

Hive元数据存储可以放到RDBMS数据库中，本文以Hive与MySQL数据库的整合为目标，详细说明Hive与MySQL的整合方法。

hive

java

原创

数据饕餮 18天前

135 阅读

点赞

评论

收藏

大数据工具篇之Hive与HBase整合完整教程

大数据工具篇之Hive与HBase整合完整教程

最近的一次培训，用户特意提到Hadoop环境下HDFS中存储的文件如何才能导入到HBase，关于这部分基于HBase Java API的写入方式，之前曾经有过技术文章共享，本文就不再说明。本文基于Hive执行HDFS批量向HBase导入数据，讲解Hive与HBase的整合问题。这方面的文章已经很多，但是由于版本差异，可操作性不大，本文采用的版本均基于以下版本说明中的版本。

hadoop

sed

原创

数据饕餮 18天前

63 阅读

点赞

评论

收藏

04 28

【Hive】常用指令集锦

创建表use database_name;drop table if exists new_table_name;create table new_table_name as select * from origin_table_name;从Hive数据仓库

hive

mapreduce

java

原创

wx5e46005fc4d21 24天前

393 阅读

点赞

评论

收藏

04 24

大数据之数据仓库建设（三）

大数据之数据仓库建设（三）

数据仓库理论一和二，主要讲流量域；数据仓库理论三和四，主要讲业务域，即业务库里的数据。一、sqoop导入数据处理字典表，小杂表：全量导入实体表（量级很大），事实表（每天都变化的业务表）：增量导入增量导入后的数据，存储在数仓的 ODS 层中，对于统计分析，不便利；需要滚动合并生成全量快照。1、将数据全量导入建表并全量导入2、将每天的增量数据使用sqoop导入，放在ODS层导入增量脚本：#####

hive

数据

unix

原创

大数据同盟会 28天前

250 阅读

点赞

评论

收藏

数仓规范--SQL 易读的个人习惯

无论是数仓开发还是数据分析，写一手好的SQL是一项基本的技能。毋庸置疑，编写性能较好的SQL是非常重要的，但是，SQL的可读性同样是不容小觑的。一个有着混乱格式的SQL脚本，往往需要花费较长的时间去弄清楚脚本的具体逻辑。如果你曾经被祖传的毫无章法的SQL脚本狂虐过，你一定心有感触。本文将分享几个SQL格式的规范，当然仁者见仁智者见智，其实没有严格的标准，如果有，那就是保证易于阅读和易于维护。大小写

sql

大小写

数据仓库

原创

数据猿的一亩三分地 28天前

264 阅读

点赞

评论

收藏

04 22

Hive之——操作语句整理

#创建表人信息表 person(String name,int age)

hadoop

hdfs

原创

冰河技术 30天前

74 阅读

点赞

评论

1 收藏

#yyds干货盘点#

数据仓库的分层

数据仓库的分层

!image.png(https://s2.51cto.com/images/20220422/1650615280931328.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)数仓在

数据仓库

数据集市

原创

数据猿的一亩三分地 30天前

126 阅读

点赞

评论

收藏

Hive之——权限管理(授权)

HIVE授权管理，类似于操作系统权限可以授予给不同的主题，如用户(USER)，组(GROUP)，角色(ROLES)，Hive还是支持相当多的权限管理功能，满足一般数据仓库的使用，同时HIVE能支持自定义权限。 HIVE授权并不是完全安全，在其目前的形式来...

hive

hadoop

用户组

原创

冰河技术 30天前

215 阅读

点赞

评论

收藏

Hive之——自定义函数

1、Hive自定义临时函数步骤(1) 在类中创建自定义函数。自定义UDF需要继承'org.apache.hadoop.hive.ql.exec.UDF',实现evaluate函数,evaluate函数支持重载。(2) 将该类所在的包导出成jar包，放入linux目录下...

hive

jar

jar包

原创

冰河技术 30天前

59 阅读

点赞

评论

收藏

Hive之——索引操作

索引是hive0.7之后才有的功能，创建索引需要评估其合理性，因为创建索引也是要磁盘空间，维护起来也是需要代价的创建索引hive> create index [index_studentid] on table student(studentid)> a...

hive

hdfs

hadoop

原创

冰河技术 30天前

106 阅读

点赞

评论

收藏

Hive之——数据倾斜与解决方案

1、空值数据倾斜场景：如日志中，常会有信息丢失的问题，比如全网日志中的 user_id，如果取其中的 user_id和 bmw_users 关联，会碰到数据倾斜的问题。解决方法 1: user_id 为空的不参与关联Select * From log aJoin ...

数据偏斜

数据倾斜

hive

原创

冰河技术 30天前

72 阅读

点赞

评论

收藏

Hive之——怎样写exist/in子句

Hive 不支持 where 子句中的子查询， SQL 常用的 exist in 子句需要改写。这一改写相对简单。考虑以下 SQL 查询语句：SELECT a.key, a.valueFROM aWHERE a.key in54(SELECT b.keyFRO...

sql

查询语句

子查询

原创

冰河技术 30天前

74 阅读

点赞

评论

收藏

Hive之——基本操作案例

Hive之——基本操作案例

一. Hive概述1、为什么使用HiveHadoop生态系统的诞生为高效快速地处理大数据带来曙光，但是需要写MapReduce或者Spark任务，入门门槛较高，需要掌握一门编程语言例如Java或者Scala。我们长久以来习惯于传统的关系型数据库，并且结构化查询语言（...

hive

数据库

数据

原创

冰河技术 30天前

116 阅读

点赞

评论

收藏

Hive之——自定义函数

Hive之——自定义函数

今天，就带着大家一起学习如何在Hive中自定义函数，得到自己想要的结果。好了，废话不多说，直接开始。一、自定义函数流程要想在Hive中完成自定义函数的操作，要按照如下的流程进行操作：定义Java类并实现org.apache.hadoop.hive.ql.exec.UDF——>覆写evaluate——>将Java工程上传到Hive所在服务器(我这里是CentOS 6.5)——>启动H

自定义函数

java

原创

冰河技术 30天前

110 阅读

点赞

评论

收藏

Hive之——Join操作

Hive之——Join操作

两个字段，第一个字段是学生名字，第二个是所选课程的ID号，表名叫stuname courseIdzs1,1zs2,2zs3,3zs4,4create table stu(name string, id int) row format delimited fields terminated by ',';load data local inpath '/home/zkpk/te

字段

mapreduce

原创

冰河技术 30天前

64 阅读

点赞

评论

收藏

Hive之——启动问题及解决方案

问题1：Caused by: javax.jdo.JDODataStoreException: Required table missing : "`VERSION`" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your MetaD

hadoop

java

原创

冰河技术 30天前

97 阅读

点赞

评论

收藏

Hadoop之——Hive笔记

1.Hive1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。

mapreduce

hive

mysql

原创

冰河技术 30天前

90 阅读

点赞

评论

收藏

首页
1
2
3
4
5
6
7
8
9
10
末页
共1908条记录