背景
公司的系统是一个对外提供服务的接口，每一次调用日志都需要保存到hive中，以便后期做数据分析。每天的调用量在亿级，日志数据量100G以上，在量级还没有这么大的时候，采取的办法比较原始：直接通过log4j打印到日志文件，然后通过抽数工具同步到hive中，每天凌晨同步前一天的数据。随着量级增大，日志文件越来越大，每天抽数就要抽好几个小时，而且偶尔还由于网络问题等原因失败。
方案
转载
2023-08-21 21:30:51
113阅读
背景公司的系统是一个对外提供服务的接口，每一次调用日志都需要保存到hive中，以便后期做数据分析。每天的调用量在亿级，日志数据量100G以上，在量级还没有这么大的时候，采取的办法比较原始：直接通过log4j打印到日志文件，然后通过抽数工具同步到hive中，每天凌晨同步前一天的数据。随着量级增大，日志文件越来越大，每天抽数就要抽好几个小时，而且偶尔还由于网络问题等原因失败。方案日志数据不能直接发送给
转载
2023-07-12 09:23:25
77阅读
一、需求描述由于本人主要从事大数据可视化的工作，就少不了对海量数据的分析，但是我们并不是数据的生产来源，数据来自有大数据可视化分析需求的用户，所以实际业务中往往会遇到大量数据从传统存储方式（关系型数据库、文件存储等）到数据仓库的迁移，本次就以实现如何基于kafka从oracle到hive仓库做数据的迁移工作。 本次操作的数据量为空间坐标数据，原始数据存储在oracle中，大概10亿条左右，通过本
转载
2023-10-08 15:54:39
184阅读
目录?一、背景?二、具体配置及代码?2.1、源码?2.2、hive 配置?2.2.1、hive-env.sh?2.2.2、hive-site.xml?三、测试环境、验证?3.1、通过beeline创建库及表?3.2、查看数据库参考 ?一、背景公司开发了一套元数据管理系统，市面上是有开源元数据管理项目的，比如前端时间研究到的apache atlas，感觉还是比较复杂的，如果想复用其某一块代码，感觉
一般Flume采集日志source有两种方式：1.Exec类型的Source 可以将命令产生的输出作为源，如：a1.sources.r1.type = exec
a1.sources.r1.command = ping 10.3.1.227 //此处输入命令2.Spooling Directory类型的 Source 将指定的文件加入到“自动搜集 ”目录中。flume会持续监听这个目录，把文件当做
转载
2023-07-21 22:27:09
80阅读
背景SQLSERVER数据库中单表数据几十亿，分区方案也已经无法查询出结果。故：采用导出功能，导出数据到Text文本(文本>40G)中。因上原因，所以本次的实验样本为：【数据量：61w条，文本大小：74M】选择DataX原因试图维持统一的异构数据源同步方案。（其实行不通）试图进入Hive时，已经是压缩ORC格式，降低存储大小，提高列式查询效率，以便后续查询HIVE数据导入KUDU时提高效率（
1、首先打开虚拟机，运行一下两条命令打开hadoop：start-dfs.shstart-yarn.sh 2、进入hive目录下，启动metastorehive --service metastore3、使用jdbc访问hive，启动 hiveserver2bin/hive --service hiveserver24、启动 beeline 客户端（需要多等待一会）bin/b
转载
2023-07-03 16:29:35
85阅读
数据的导入导出1.数据的导入1 load语法：load data [local] inpath '数据的 path' [overwrite] into table
table_name [partition (partcol1=val1,…)];（1）load data:表示加载数据（2）local:表示从本地加载数据到 hive 表；否则从 HDFS 加载数据到 hive 表（3）inpath:
转载
2023-07-12 09:08:19
182阅读
全量数据导入kudu时，这时候我们先用sqoop把关系数据库数据导入临时表，再用impala从临时表导入kudu目标表 由于sqoop从关系型数据直接以parquet格式导入hive会有问题，这里默认hive的表都是text格式； 每次导完到临时表，需要做invalidate metadata 表操作，不然后面直接导入kudu的时候会查不到数据; 初始化好数据得执行compute
转载
2023-07-12 21:13:06
92阅读
## 从Kafka到Hive：实时数据处理的完美组合
在当今的互联网时代，数据处理变得越来越重要。实时数据处理成为各行业研究和分析的重要手段之一。Kafka和Hive作为两个非常流行的开源工具，在实时数据处理中发挥着重要作用。Kafka是一个分布式流处理平台，而Hive是一个数据仓库基础设施，可以方便地进行数据查询和分析。本文将介绍Kafka和Hive的基本概念，并演示如何将二者结合起来进行实时
Spark对接Hive（必会）Spark操作Hive相比较Hive执行的MR，效率要高，因为Spark是基于DAG有向无环图，实现的内存迭代式计算，MR是基于磁盘计算引擎，相比Spark的迭代计算，要慢的多，并且磁盘IO太大，没有太好的优化，Spark是内存处理，速度要快的多，所以使用Spark对接Hive已经成为主流，例如：SparkSQL来实现的数仓操作实现方式：将Hive中的hive-sit
转载
2023-08-24 10:17:36
65阅读
# Kafka到Hive：实时数据流处理的完美组合
