blackproof的博客_hadoop hive

hive与hbase安装

erby是一个Open source的产品，基于Apache License 2.0分发•即将元数据存储在Derby数据库中，也是Hive默认的安装方式安装

hive

hbase

java

Hive

原创 2023-09-26 16:41:50 106 阅读

hive join

hive(0.9.0)：1.支持equality joins, outer joins, and left semi joins2.只支持等值条件3.支持多表join原理hive执行引擎会将HQL“翻译”成为map-reduce任务，如果多张表使用同一列做join则将被翻译成一个reduce，否则将被翻译成多个map-reduce任务。eg：SELECT a.val, b.val, c.val F

hadoop

hive

join

left semi join

ide

原创 2023-04-21 07:09:56 145 阅读

MapredLocalTask报错

转个解决 MapredLocalTask的帖子我的问题是目录没有其他用户读权限，所以报错不知道是不是hive-0.12版增强了local mode的原因，在之前版本运行好好的Hive-QL在这个版本上错误频频，折磨一天多以后终于定位到原因，把在内部的总结在这再记录下，希望对遇到同样问题的筒子们有所帮助。部分一关于return code 1 from org.apache.h

MapredLocalTask

报错

java

hive

apache

原创 2023-04-21 07:04:59 595 阅读

hive not in

当前HIVE 不支持 not in 中包含查询子句的语法，形如如下的HQ语句是不被支持的: 查询在key字段在a表中，但不在b表中的数据 1. select a.key from a where key not in(select key from 可以通过left outer join进行查询,（假设B表中包含另外的一个字段 key1 1. select

hive

字段

查询子句

数据

原创 2023-04-21 06:19:16 159 阅读

HIVE 第六章视图

第七章试图view1create view shorter_join asselect * from people join carton(cart.people_

hive

view

原创 2023-04-21 06:05:29 77 阅读

HIVE 第八章 schema

string,quantity int) partitioned by (int day)alter table supply add partition (day=20120102)partition的负面影响:1.namenode limition但是partition产生的子目录，子文件都会保存在hdfs中，namenode会存在内存中，

hive

schema

数据

sed

原创 2023-04-21 02:08:40 78 阅读

HIVE 第七章索引

索引创建索引create index employees_indexon table employees(country)as 'bitmap' #使用bitmap函数建立索引with deferred rebuildidxproperties('creator'='dirk','created_at'='some_time')...

hive

index

数据库

初始化

原创 2023-04-21 02:08:03 90 阅读

hive sql优化

好), 这是由参数hive.auto.convert.join=true 和hive.smalltable.filesize=25000000L）参数控制（默认是25M），如果表文件大小在25M左右，可以

hive

ide

Hive

原创 2023-04-21 01:02:40 84 阅读

hive函数

/Hive/LanguageManual+UDF 1.内置运算符 1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA

hive

函数

字符串

数组

运算符

原创 2023-04-20 17:10:10 70 阅读

hive row_number分组排序top

自从hive 0.11.0 开始，加入了类似orcle的分析函数，很强大，可以查询到分组排序top值使用方法跟oracle没有差别贴个

hive

rank

row_number

SQL

分析函数

原创 2023-04-20 17:09:57 122 阅读

hive常用函数

字符串函数字符串长度函数：length 语法: length(string A)返回值: in

hadoop

hive

bc

字符串

原创 2023-04-20 16:44:47 87 阅读

hive经验

括号3.hive的column别名，不能取已经存在的column 4.if(x=1 and y=2,1,null) if函数条件只能是

hive

经验

嵌套

空字符串

原创 2023-04-20 16:44:32 92 阅读

hive UDAF

; public class helloUDAF extends UDAF { public static class Evaluator implemen

大数据

java

lua

apache

hadoop

原创 2023-04-20 16:42:28 102 阅读

hive查询导出到hdfs，hive，file

elease_date_10' select release_date from item limit 10; insert

hive

unix

原创 2023-04-20 16:42:20 173 阅读

hive建表

ed by ( logday string ) row format delimited fields terminated by '\t'collecti

hive

建表

IP

User

原创 2023-04-20 16:41:15 181 阅读

hive报错 Exception thrown obtaining schema column information from datastore

astore at org.datanucleus.store.rdbms.schema.RDBMSSchemaHand

hive

报错

java

apache

hadoop

原创 2023-04-20 16:39:00 288 阅读

hive压缩

ion items terminated by ','lines terminated by '\n'STORED AS INPUTFORMAT 'com.hadoop.ma

大数据

hive

hadoop

apache

原创 2023-04-20 16:38:37 116 阅读

hive修改inputformat

TINPUTFORMAT “com.hadoop.mapred.DeprecatedLzoTextInputFormat”OUTPUT

hive

hadoop

apache

原创 2023-04-20 16:38:16 140 阅读

HIVE 第一章数据类型

"Federal Taxes":0.2,"State Taxes":0.05,"Insurance":0.1} array<string>array('dirk','kedde')["Mary Smith","Todd Jones"] null为特殊的数据类型，表示unknown data，可以是数据丢失，数据错误等

hadoop

hive

data type

数据

数据类型

原创 2023-04-20 16:07:10 94 阅读

HIVE 第二章目录和表

1.目录篇创建表目录create database companyscreate database companys location tablecreate database companys location table with dbproperties('name'='kedde','data'='2012-01-02')查看database信息，无法查看当前表目录descri

hive

表

ci

建表

原创 2023-04-20 16:07:04 147 阅读

HIVE 第四章数据操作

数据操作篇加载数据（会生成partition，如果不存在的话；local字段表示为是本机目录，如果不加，则表示为hdfs上的目录；overwrite关键字表示删除目标目录，当没有则保留，但会覆盖同名旧目录）一些限制条件：使用partition，则table必须是partition的；hive不会去验证你的data是服务schema的，但是hive会验证文件是否符合表定义

hive

数据操作

加载数据

插入数据

原创 2023-04-20 16:07:00 97 阅读

HIVE 第五章查询

ECT upper(name), salary, deductions["Federal Taxes"],round(salary * (1 - deductions["Federal Taxes"])) FROM employees; 3.expre

hive

query

ide

java

原创 2023-04-20 16:06:47 103 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

hive与hbase安装

hive join

MapredLocalTask报错

hive not in

HIVE 第六章视图

HIVE 第八章 schema

HIVE 第七章索引

hive sql优化

hive函数

hive row_number分组排序top

hive常用函数

hive经验

hive UDAF

hive查询导出到hdfs，hive，file

hive建表

hive报错 Exception thrown obtaining schema column information from datastore

hive压缩

hive修改inputformat

HIVE 第一章数据类型

HIVE 第二章目录和表

HIVE 第四章数据操作

HIVE 第五章查询

欢迎