闭关苦炼内功的博客_经验分享,docker,Linux原创

Hive 的函数：UDF、UDAF、UDTF 的区别？

UDF：单行进入，单行输出（一进一出）UDAF：多行进入，单行输出（多进一出）UDTF：单行输入，多行输出（一进多出）

大数据

hive

数据仓库

原创点赞0 阅读114 收藏0 评论0 3 天前

编写代码创建UDTF函数

编写代码创建 UDTF 函数

hive

hadoop

大数据

json

原创点赞0 阅读146 收藏0 评论0 3 天前

hive 之 get_json_object 函数使用

hive 之 get_json_object函数使用

json

hive

大数据

json对象

字段

原创点赞0 阅读180 收藏0 评论0 3 天前

数据仓库概念

数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相

hive

数据仓库

数据

数据源

原创点赞0 阅读26 收藏0 评论0 3 天前

Hive 的 ORC、Parquet 等列式存储的优点

ORC:ORC 文件是自描述的，它的元数据使用 Protocol Buffers 序列化，文件中的数据尽可能的压缩

hive

大数据

数据仓库

元数据

存储空间

原创点赞0 阅读22 收藏0 评论0 3 天前

Hive 解析 JSON 串的两个方向

Hive 处理 json 数据总体来说有两个方向的路走：a.将 json 以字符串的方式整个入 Hive 表，然后通过使

hive

json

大数据

数据

原创点赞0 阅读20 收藏0 评论0 3 天前

请说明 hive 中 Sort By，Order By，Cluster By，Distrbute By 各代表什么意思

Order by：会对输入做全局排序，因此只有一个 reducer（多个 reducer 无法保证全局有序）。只有一个reduce

hive

大数据

数据仓库

数据

字段

原创点赞0 阅读17 收藏0 评论0 3 天前

为什么要对数据仓库分层

用空间换时间，通过大量的预处理来提升应用

大数据

数据仓库

数据

数据清洗

预处理

原创点赞0 阅读8 收藏0 评论0 3 天前

HiveServer2 报错 OutOfMemoryError 解决思路

hive

大数据

数据仓库

java

hadoop

原创点赞0 阅读13 收藏0 评论0 3 天前

Hive 底层与数据库交互原理？

Hive 的查询功能是由 HDFS 和 MapReduce 结合

hive

大数据

数据仓库

spark

元数据

原创点赞0 阅读94 收藏0 评论0 3 天前

set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat；解决 map 端的小文件进行合并

set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat; 解决 map 端的小文件进行合并

hive

hadoop

大数据

数据仓库

数据

原创点赞0 阅读18 收藏0 评论0 3 天前

notepad++正则表达式批量删除

notepad++

字段

斜杠

转义

原创点赞0 阅读137 收藏0 评论0 10 天前

hiveserver2 后台启动脚本

hiveserver2 后台方式启动

大数据

hadoop

hive

可执行

bash

原创点赞0 阅读37 收藏0 评论0 10 天前

hive on spark hql 插入数据报错 Failed to create Spark client for Spark session Error code 30041

Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException

hive

spark

hadoop

原创点赞0 阅读10 收藏0 评论0 15 天前

消费Kafka数据Flume

kafka

flume

java

hdfs

元数据

原创点赞0 阅读54 收藏0 评论0 2022-07-17

日志采集Flume配置

日志采集 Flume 配置

flume

kafka

大数据

hadoop

拦截器

原创点赞0 阅读48 收藏0 评论0 2022-07-11

Flume拦截器 & 测试Flume-Kafka通道

kafka

flume

java

json

hadoop

原创点赞0 阅读73 收藏0 评论0 2022-07-11

日志采集Flume启动停止脚本

flume

kafka

大数据

hadoop

bash

原创点赞0 阅读110 收藏0 评论0 2022-07-11

SHELL 传参控制进程启停查看状态

bash

linux

服务器

进程状态

原创点赞1 阅读60 收藏0 评论0 2022-06-06

Linux 服务器 Firewalld 防火墙配置端口转发

linux

Firewalld

服务器

端口转发

内网

原创点赞1 阅读1207 收藏0 评论0 2022-05-31

CentOS7 防火墙 Firewalld 规则配置文件批量放行端口

CentOS7防火墙 firewall 终极版

linux

运维

centos

配置文件

xml

原创点赞1 阅读407 收藏0 评论0 2022-05-15

CentOS7 x86_64 环境 MySQL 5.7 安装教程

CentOS7

数据库

MySQL

mysql

hadoop

原创点赞1 阅读49 收藏0 评论0 2022-04-27

Linux免密大法好 ssh-copy-id 和 expect 免交互输入脚本

这篇文章的小问题实在是困惑我许久（每次都要手动输入密码）今天终于打通 “任督二脉” 了特发此文，谨此纪念文章目录0. 大前提（生成公、私钥）1. 准备依赖2. CV脚本3. 上菜4. 批量使用（数百台机器） 0. 大前提（生成公、私钥）ssh-keygen -t rsa 1. 准备依赖yum install expect tcl-devel

hadoop

大数据

Linux

bash

vim

原创点赞1 阅读308 收藏0 评论0 2022-03-31

DataX 与 Sqoop 对比

sqoop

datax

数据收集

数据校验

原创点赞0 阅读144 收藏0 评论0 2022-03-25

解决 Hadoop 3.1.3 bug: Secondary NameNode 页面不能显示完整信息

1、问题描述访问 Secondary NameNode 页面 http://hadoop104:9868，看不到详细信息2、解决办法（1）在浏览器上按F12，查看问题原因。

hadoop

bug

hdfs

html

重启

原创点赞0 阅读46 收藏0 评论0 2022-03-25

Hive 中的 Null 在底层是以 “\N” 来存储，而 MySQL 中的 Null 在底层就是 Null

Hive 中的 Null 在底层是以 “\N” 来存储而 MySQL 中的 Null 在底层就是 Null为了保证数据两端的一致性在导出数据时采用 --

mysql

数据库

hive

数据

原创点赞0 阅读88 收藏0 评论0 2022-03-25

Kafka机器数量计算

Kafka机器数量（经验公式）= 2 *（峰值生产速度 * 副本数 / 100）+ 1先拿到峰值生产速度，再根据设定的副本数，就能预估出需要部署Kafka的数量。1）峰值生产速度峰值生产速度可以压测得到。用Kafka官方自带的脚本，对Kafka进行压测。kafka-consumer-per

kafka

大数据

压测

网络传输

原创点赞0 阅读44 收藏0 评论0 2022-03-25

yarn 配置日志聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager 和 History

hadoop

大数据

日志聚集

xml

程序运行

原创点赞0 阅读46 收藏0 评论0 2022-03-25

日志采集Flume配置选择

可选择 TaildirSource和KafkaChannel，并配置日志校验拦截器。选择TailDirSource和KafkaChannel的原因如下：1）TailDirSourceTailDirSource相比ExecSource、SpoolingDirectorySource的优势TailDirSource：断点续传、多目录。Flume1.6以前需

flume

大数据

kafka

数据

断点续传

原创点赞0 阅读61 收藏0 评论0 2022-03-25

Kafka分区数计算

（1）创建一个只有1个分区的topic（2）测试这个topic的producer吞吐量和consumer吞吐量。（3）假设他们的值分别是Tp和Tc，单位可以是MB/s。（4）然后假设总的目标吞吐量是Tt，那么分区数 = Tt / min（Tp，Tc）例如：producer吞吐量 = 20m/s；consumer吞吐量

kafka

原创点赞0 阅读53 收藏0 评论0 2022-03-25

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

闭关苦炼内功的博客