背景
公司的系统是一个对外提供服务的接口，每一次调用日志都需要保存到hive中，以便后期做数据分析。每天的调用量在亿级，日志数据量100G以上，在量级还没有这么大的时候，采取的办法比较原始：直接通过log4j打印到日志文件，然后通过抽数工具同步到hive中，每天凌晨同步前一天的数据。随着量级增大，日志文件越来越大，每天抽数就要抽好几个小时，而且偶尔还由于网络问题等原因失败。
方案
转载
2023-08-21 21:30:51
113阅读
Spark对接Hive（必会）Spark操作Hive相比较Hive执行的MR，效率要高，因为Spark是基于DAG有向无环图，实现的内存迭代式计算，MR是基于磁盘计算引擎，相比Spark的迭代计算，要慢的多，并且磁盘IO太大，没有太好的优化，Spark是内存处理，速度要快的多，所以使用Spark对接Hive已经成为主流，例如：SparkSQL来实现的数仓操作实现方式：将Hive中的hive-sit
转载
2023-08-24 10:17:36
65阅读
## 从Kafka到Hive：实时数据处理的完美组合
在当今的互联网时代，数据处理变得越来越重要。实时数据处理成为各行业研究和分析的重要手段之一。Kafka和Hive作为两个非常流行的开源工具，在实时数据处理中发挥着重要作用。Kafka是一个分布式流处理平台，而Hive是一个数据仓库基础设施，可以方便地进行数据查询和分析。本文将介绍Kafka和Hive的基本概念，并演示如何将二者结合起来进行实时
背景公司的系统是一个对外提供服务的接口，每一次调用日志都需要保存到hive中，以便后期做数据分析。每天的调用量在亿级，日志数据量100G以上，在量级还没有这么大的时候，采取的办法比较原始：直接通过log4j打印到日志文件，然后通过抽数工具同步到hive中，每天凌晨同步前一天的数据。随着量级增大，日志文件越来越大，每天抽数就要抽好几个小时，而且偶尔还由于网络问题等原因失败。方案日志数据不能直接发送给
转载
2023-07-12 09:23:25
77阅读
# Kafka到Hive：实时数据流处理的完美组合
;
第二种方式刷新，也可以说是修复
msck repair
转载
2023-09-02 22:15:11
194阅读
# Kafka入库Hive流程
## 1. 概述
在本文中，我们将讨论如何使用Kafka将数据实时入库到Hive中。Kafka是一个分布式流处理平台，用于发布和订阅流数据。而Hive是建立在Hadoop之上的数据仓库基础架构，用于数据提取、转换和加载。
## 2. 流程图
下面的甘特图展示了Kafka入库Hive的整个流程。我们将按照这个流程逐步介绍每个步骤。
```mermaid
gant
原创
2023-10-31 10:11:56
97阅读
# 使用Hive接收Kafka数据：初学者指南
在大数据领域，Hive和Kafka是两个非常重要的工具。Hive是一个基于Hadoop的数据仓库工具，而Kafka则是一个高吞吐量的分布式消息队列系统。当我们想要将Kafka中的实时数据流批量存储到Hive中时，就需要进行一些配置和编程。本文将带您逐步了解如何实现Hive接Kafka的整个流程。
## 整体流程
下面的表格展示了实现Hive接K
Apache Hive 从 HIVE-1555 开始引入了 JdbcStorageHandler ，这个使得 Hive 能够读取 JDBC 数据源，关于 Apache Hive 引入 JdbcStorageHandler 的背景可以参见 《Apache Hive 联邦查询（Query Federation）》。本文主要简单介绍
引入jar<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>1.8.0</version>
</dependency>
<dependency>
# 如何实现“kafka to hive产品”
## 1. 流程图
```mermaid
sequenceDiagram
participant 开发者
participant 小白
小白->>开发者: 请求教学如何实现“kafka to hive产品”
开发者->>小白: 分享整个流程
```
## 2. 整件事情的流程
| 步骤 | 描述
## 如何实现“hive kafka 写入”
### 1. 流程图
```mermaid
flowchart TD
A(创建Hive表) --> B(连接Kafka)
B --> C(写入Kafka数据)
```
### 2. 步骤及代码实现
| 步骤 | 操作 | 代码示例 |
| ----------- |
import java.time.Durationimport com.sm.common.conf.PropManagerimport com.sm.constants.Constantsimport com.sm.utils.FlinkUtilsimport org.apache.flink.streaming.api.{CheckpointingMode, TimeCharacteristic}import org.apache.flink.streaming.api.environme.
原创
2021-08-31 13:47:50
1034阅读
# 从Seatunnel到Kafka的数据传输实现指南
## 概述
本文将教会你如何使用Seatunnel将数据传输到Kafka。Seatunnel是一种用于实时数据传输的工具，而Kafka是一种分布式流处理平台。我们将介绍整个流程，并提供详细的代码示例。
## 流程概述
下表展示了实现"Seatunnel到Kafka"数据传输的步骤概述：
| 步骤 | 描述 |
| --- | --- |
1、maven依赖，pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSch
转载
2021-04-22 15:34:00
1265阅读
2评论
