闭关苦炼内功的博客_经验分享,docker,Linux

hive metastore 、hiveserver2 服务启停脚本

大数据

hive

bash

原创 2022-11-13 00:34:06 328 阅读

Hive 的函数：UDF、UDAF、UDTF 的区别？

UDF：单行进入，单行输出（一进一出）UDAF：多行进入，单行输出（多进一出）UDTF：单行输入，多行输出（一进多出）

大数据

hive

数据仓库

原创 2022-08-14 00:52:36 507 阅读

编写代码创建UDTF函数

编写代码创建 UDTF 函数

hive

hadoop

大数据

json

原创 2022-08-14 00:52:33 250 阅读

hive 之 get_json_object 函数使用

hive 之 get_json_object函数使用

json

hive

大数据

json对象

字段

原创 2022-08-14 00:46:49 3361 阅读

数据仓库概念

数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相

hive

数据仓库

数据

数据源

原创 2022-08-14 00:04:17 80 阅读

Hive 的 ORC、Parquet 等列式存储的优点

ORC:ORC 文件是自描述的，它的元数据使用 Protocol Buffers 序列化，文件中的数据尽可能的压缩

hive

大数据

数据仓库

元数据

存储空间

原创 2022-08-14 00:04:15 233 阅读

Hive 解析 JSON 串的两个方向

Hive 处理 json 数据总体来说有两个方向的路走：a.将 json 以字符串的方式整个入 Hive 表，然后通过使

hive

json

大数据

数据

原创 2022-08-14 00:04:12 98 阅读

请说明 hive 中 Sort By，Order By，Cluster By，Distrbute By 各代表什么意思

Order by：会对输入做全局排序，因此只有一个 reducer（多个 reducer 无法保证全局有序）。只有一个reduce

hive

大数据

数据仓库

数据

字段

原创 2022-08-14 00:04:09 392 阅读

为什么要对数据仓库分层

用空间换时间，通过大量的预处理来提升应用

大数据

数据仓库

数据

数据清洗

预处理

原创 2022-08-13 23:59:29 88 阅读

HiveServer2 报错 OutOfMemoryError 解决思路

hive

大数据

数据仓库

java

hadoop

原创 2022-08-13 23:59:27 1011 阅读

Hive 底层与数据库交互原理？

Hive 的查询功能是由 HDFS 和 MapReduce 结合

hive

大数据

数据仓库

spark

元数据

原创 2022-08-13 23:59:11 181 阅读

set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat；解决 map 端的小文件进行合并

set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat; 解决 map 端的小文件进行合并

hive

hadoop

大数据

数据仓库

数据

原创 2022-08-13 23:44:44 278 阅读

notepad++正则表达式批量删除

notepad++

字段

斜杠

转义

原创 2022-08-07 00:35:08 495 阅读

hiveserver2 后台启动脚本

hiveserver2 后台方式启动

大数据

hadoop

hive

可执行

bash

原创 2022-08-07 00:35:01 682 阅读

hive on spark hql 插入数据报错 Failed to create Spark client for Spark session Error code 30041

Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException

hive

spark

hadoop

原创 2022-08-01 07:51:19 1578 阅读

消费Kafka数据Flume

kafka

flume

java

hdfs

元数据

原创 2022-07-17 00:09:13 322 阅读

日志采集Flume配置

日志采集 Flume 配置

flume

kafka

大数据

hadoop

拦截器

原创 2022-07-11 06:38:58 364 阅读

Flume拦截器 & 测试Flume-Kafka通道

kafka

flume

java

json

hadoop

原创 2022-07-11 06:38:53 349 阅读

日志采集Flume启动停止脚本

flume

kafka

大数据

hadoop

bash

原创 2022-07-11 06:38:46 399 阅读

SHELL 传参控制进程启停查看状态

bash

linux

服务器

进程状态

原创 2022-06-06 05:53:51 109 阅读 1点赞

Linux 服务器 Firewalld 防火墙配置端口转发

linux

Firewalld

服务器

端口转发

内网

原创 2022-05-31 09:15:44 4287 阅读 1点赞

CentOS7 防火墙 Firewalld 规则配置文件批量放行端口

CentOS7防火墙 firewall 终极版

linux

运维

centos

配置文件

xml

原创 2022-05-15 21:23:22 2082 阅读 1点赞

CentOS7 x86_64 环境 MySQL 5.7 安装教程

CentOS7

数据库

MySQL

mysql

hadoop

原创 2022-04-27 13:47:39 349 阅读 1点赞

Linux免密大法好 ssh-copy-id 和 expect 免交互输入脚本

这篇文章的小问题实在是困惑我许久（每次都要手动输入密码）今天终于打通 “任督二脉” 了特发此文，谨此纪念文章目录0. 大前提（生成公、私钥）1. 准备依赖2. CV脚本3. 上菜4. 批量使用（数百台机器） 0. 大前提（生成公、私钥）ssh-keygen -t rsa 1. 准备依赖yum install expect tcl-devel

hadoop

大数据

Linux

bash

vim

原创 2022-03-31 10:17:25 1108 阅读 1点赞

DataX 与 Sqoop 对比

sqoop

datax

数据收集

数据校验

原创 2022-03-25 15:38:20 427 阅读

解决 Hadoop 3.1.3 bug: Secondary NameNode 页面不能显示完整信息

1、问题描述访问 Secondary NameNode 页面 http://hadoop104:9868，看不到详细信息2、解决办法（1）在浏览器上按F12，查看问题原因。

hadoop

bug

hdfs

html

重启

原创 2022-03-25 15:38:14 239 阅读

Hive 中的 Null 在底层是以 “\N” 来存储，而 MySQL 中的 Null 在底层就是 Null

Hive 中的 Null 在底层是以 “\N” 来存储而 MySQL 中的 Null 在底层就是 Null为了保证数据两端的一致性在导出数据时采用 --

mysql

数据库

hive

数据

原创 2022-03-25 15:38:05 438 阅读

Kafka机器数量计算

Kafka机器数量（经验公式）= 2 *（峰值生产速度 * 副本数 / 100）+ 1先拿到峰值生产速度，再根据设定的副本数，就能预估出需要部署Kafka的数量。1）峰值生产速度峰值生产速度可以压测得到。用Kafka官方自带的脚本，对Kafka进行压测。kafka-consumer-per

kafka

大数据

压测

网络传输

原创 2022-03-25 15:37:56 173 阅读

yarn 配置日志聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager 和 History

hadoop

大数据

日志聚集

xml

程序运行

原创 2022-03-25 15:37:49 287 阅读

日志采集Flume配置选择

可选择 TaildirSource和KafkaChannel，并配置日志校验拦截器。选择TailDirSource和KafkaChannel的原因如下：1）TailDirSourceTailDirSource相比ExecSource、SpoolingDirectorySource的优势TailDirSource：断点续传、多目录。Flume1.6以前需

flume

大数据

kafka

数据

断点续传

原创 2022-03-25 15:37:41 356 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯	汽车开发者社区

51CTO博客

闭关苦炼内功的博客