mtj66的博客_hive

hive下UDF函数的使用

hive下UDF函数的使用 1、编写函数package com.example.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public final class LowerCase extends UDF { public Text evaluate(fin

hive

jar

apache

原创 2022-01-04 17:05:11 213 阅读

hive 动态加载数据到指定分区，以及其他hive使用的技巧

hive修改分隔符： alter table tableName set SERDEPROPERTIES('field.delim'='\t'); hive根据数据创建分区，并且动态加载数据到分区 insert into table device_status_log partition( date ) select `vin`,`obd_id` , `function_id` ,

hive

Dynamic

partition

tips

数据

原创 2022-01-04 16:32:23 261 阅读

使用hive来分析flume收集的日志数据

flume学习（六）：使用hive来分析flume收集的日志数据前面已经讲过如何将log4j的日志输出到指定的hdfs目录，我们前面的指定目录为/flume/events。如果想用Hive来分析采集来的日志，我们可以将/flume/events下面的日志数据都load到hive中的表当中去。如果了解hive的load data原理的话，还有一种更简便的方式，可以省去load d

hive

json

apache

原创 2022-01-04 15:57:31 363 阅读

hive 各种join使用实例

hive (test)> CREATE TABLE tmp_a( > aID int, > aNum String > ) ; hive (test)> CREATE TABLE tmp_b( > bID int, > bNa

hive

结果集

等值连接

原创 2022-01-04 15:33:28 401 阅读

hive优化之——控制hive任务中的map数和reduce

一、控制hive任务中的map数:1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 举例： a) 假设input目录下有1个文件a,大小为78

hive

hadoop

任务处理

转载 2022-01-04 15:30:43 325 阅读

Hive文件存储格式 :Parquet sparksql ,impala的杀手锏

hive表的源文件存储格式有几类：1、TEXTFILE 默认格式，建表时不指定默认为这个格式，存储方式：行存储导入数据时会直接把数据文件拷贝到hdfs上不进行处理。源文件可以直接通过hadoop fs -cat 查看磁盘开销大数据解析开销大,压缩的text文件 hive无法进行合并和拆分2、SEQUENCEFILE 一种Hadoop API提供的二进制文件，使用方便、可分割、可压缩等特点。S

hive

impala

spark

hdfs

hadoop

原创 2022-01-04 15:30:26 998 阅读

hive小表与大表join提升运行效率

问题描述：一小表 1000 row一大表 60w row方案一：在运行的时候发现会自动转为map join本以为会很快，但是只起了一个map ，join 的计算量 : 单机计算6 亿次，结果一直map 0% 最后运行 1800s 方案二：采用关闭map join ：但是依旧会很慢 what，why？因为mapper的数量还是太小了，并行度不够啊。Launching Job 1 out of 1

hive

hadoop

hdfs

原创 2022-01-04 14:41:40 1119 阅读

一文搞定数据仓库之拉链表，流水表，全量表，增量表

拉链表通常是对账户信息的历史变动进行处理保留的结果，流水表是每天的交易形成的历史；流水表用于统计业务相关情况，拉链表用于统计账户及客户的情况数据仓库之拉链表（原理、设计以及在Hive中的实现）在有些情况下，为了保持历史的一些状态，需要用拉链表来做，这样做目的在可以保留所有状态的情况下可以节省空间。拉链表适用于以下几种情况吧数据量有点大，表中某些字段有变化，但是呢变化的频率也不是很高，业务需求呢又需

链表

数据

hive

原创 2022-01-04 14:01:46 1999 阅读

基于Solr的Hbase二级索引

关于Hbase二级索引 HBase 是一个列存数据库，每行数据只有一个主键RowKey，无法依据指定列的数据进行检索。查询时需要通过RowKey进行检索，然后查看指定列的数据是什么，效率低下。在实际应用中，我们经常需要根据指定列进行检索，或者几个列进行组合检索，这就提出了建立 HBase 二级索引的需求。二级索引构建方式：表索引、列索引、全文索引表索引是将索引数据单独存储为一张表，通过 HBa

solr

hbase

数据

xml

转载 2022-01-04 13:40:17 500 阅读

hive中if和coalesce 去除null值,case when

###################################### if usageselect * from (select *,if (b.name is null ,true,false ) as bo from test1 a left join test2 b on a.name =b.name ) t3;t3.name t3.age t3._col2 t3.

hive

lua

.net

原创 2022-01-04 13:38:16 703 阅读

hive分区锁问题导致insert overwrite table 卡死

hive show locks ;可以展示表以及分区级别的锁 show locks table_name; 展示表级别的锁当分区写数据异常失败之后,采用unlock table table_name; 并不能解决insert overwrite table partition卡死问题采用show locks,结果如下示例:86db_name@table_nameSHARED87db_name@ta

hive

搜索

写数据

原创 2022-01-02 14:52:14 8176 阅读

hive string 转数组：抽取数组中的key 然后列转行

-- | 1110 | [{"content":"全部内容。" }, { "content":"无其它特别约定。"}] | select id,concat_ws('||',collect_set(content)) as contents from ( select id, get_json_object(cl,'$.content') as content from ( select id,...

json

字段

列转行

mysql

原创 2021-12-31 16:42:50 1231 阅读

当left outer join 的时候，你应该选择on 还是where

select a.* from a left outer join b on a.id = b.aidleft outer join c on a.id = c.cid -- and c.code = b.code -- where c.code=b.code ; 其中 c.code=b.code 在left join的时候回保留a中的空值但是放到where中 c或者是d的code在left jo...

数据

主键

mysql

原创 2021-12-31 16:42:50 65 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客