传统上，Hadoop(包括MapReduce，Pig以及Hive)通常用于外部私有OLAP Cube引擎准备数据。如今，Zaloni的客户基于Apache Kylin的OLAP技术实现了实时查询的能力，这些Cube的事实表包含了400亿条以上的原始数据。我们正在帮助客户统一归集来自于多个独立系统的账单数据，并构建OLAP Cube以支持实时分析，这是以前系统所无法实现的。现在，Hadoop集群都可
转载
2024-05-14 17:30:15
40阅读
1、手写sql问题：连续活跃。。。-- 第一种解决方案，使用lag(向前)或者lead(向后)
select
*
from
(
select
user_id,
date_id,
lead(date_id) over(partition by user_id order by date_id) as last_date_id
from
(
sel
转载
2024-08-16 10:00:41
89阅读
Hadoop的Compressor解压缩模块是Hadoop Common IO模块中一个重要模块。使用压缩能帮助我们减少储存文件所需要的磁盘空间，并加速数据在网络和磁盘上的传输。在Hadoop系统中目前支持多种压缩算法，下面我们先来看看几种常用的压缩算法比较。1. Hadoop压缩算法比较压缩格式工具算法扩展名native可
转载
2023-09-06 10:01:57
101阅读
（以下内容主要为读《Hive编程指南》后的小小总结。 1.背景 尽管hadoop 的文件系统支持对于非压缩数据的线性扩展存储，但是对数据进行压缩还是有很大好处的—节约磁盘空间、增加吞吐量和性能（通过减少载入内存的数据量而提高IO吞吐量会更加提高网络传输性能）。当然，文件压缩过程和解压缩过程会增加CPU开销。 压缩作用于不同类型的任务，影响是不一样的。对于： IO密集型，可以以提高性能。Hadoop
转载
2024-02-24 18:17:51
33阅读
ODS作为DW和业务系统的中间数据层，保留了两者的部分特性，在基本数据上，继承了业务系统的数据形式和组织结构，但出于查询和分析的需求，也可以进行部分粗粒度的汇总，提供部分维度。 ODS与DW对比特点：
ODS作为DW的数据源，可以根据设计需要，保留近两个月（自然月，或者长至一年）的原始数据，定期删除超出期限的数据。ODS也可以根据DW的特征进行SBA（业务特征区）层和LAM（轻度
转载
2024-02-05 20:38:55
25阅读
ODS （操作数据存储） 编辑 讨论操作数据存储ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，也被称为贴源层。ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。中文名操作数据存储外文名Operational Data Store用 &nb
转载
2024-01-18 05:56:37
36阅读
1 SequenceFileSequenceFile是Hadoop API 提供的一种二进制文件，它将数据以<key,value>的形式序列化到文件中。这种二进制文件内部使用Hadoop 的标准的Writable 接口实现序列化和反序列化。它与Hadoop API中的MapFile 是互相兼容的。Hive 中的SequenceFile 继承自Hadoop API 的SequenceFi
转载
2023-08-24 18:31:30
60阅读
1、Hadoop数据压缩1.1 概述1、压缩的好处和坏处 （1）优点：减少磁盘IO、减少磁盘储存空间 （2）缺点：增加CPU开销 2、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩1.2 MR支持的压缩编码1、压缩算法对比介绍压缩格式Hadoop自带？算法文件扩展名是否可切片换成压缩格式后，原来的程序是否需要修改DEFLATE是，直接使用DEFLATE.defla
转载
2023-08-13 21:31:40
150阅读
将ODS层的数据通过清洗转换处理成DWD层的数据,保存成parquet格式主要工作:数据规范处理,将一些字段处理成同一的规范(时间,日期,空字符统一...)将设备id,和用户账号同时为空的记录过滤将分析用的一个关键字段缺失的记录过滤过滤时间不符合的记录将数据扁平化session分割(对App的用户两次操作的时间) 1，对于web端日志，按天然session分割，不需处理2，对于app日志，由于使用
转载
2024-06-08 11:05:29
47阅读
如何全面理解HBase架构？在深入了解HBase之前，要了解其架构的组件。从物理结构上讲，HBase由三种类型的服务器构成主从式架构。Region Servers为数据的读取和写入提供服务。当访问数据时，客户端直接和Region Servers通信。Region的分配，DDL (create, delete tables)操作有HBase Master进程处理。Zookeeper是HDFS的一部分
转载
2023-09-30 16:17:20
37阅读
Hadoop中用得比较多的4种压缩格式：lzo，gzip，snappy，bzip2。它们的优缺点和应用场景如下：1). gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。缺点：不支持split。应用场景：当每个文件压缩之后在130M以
转载
2023-07-12 15:31:47
124阅读
1.文件压缩简单说明 文件压缩有两大好处：可以减少文件存储所需要的磁盘空间，其次是可以加快数据在网络和磁盘上的传输。windows上的压缩算法有好多中，rar，zip等等，同理，在Hadoop中，压缩算法也有多种，下面是Hadoop中常见的压缩算法。压缩格式总结压缩格式工具算法 文件扩展名是否包含多个文件是否可切分DEFLATE*N/A
转载
2023-05-30 19:59:20
150阅读
压缩方式选择1 Gzip压缩优点∶压缩率比较高，而且压缩/解压速度也比较快;Hadoop本身支持，在 应用中处理zip格式的文件就和直接处理文本一样;大部分Linux系统都自带 zip命令，使用方便。大数据培训 缺点:不支持Split。 应用场景:当每个文件压缩之后在130M以内的（1个块大小内），都可以 考虑用Gzip压缩格式。例如说一天或者一个小时的日志压缩成一个Gzip文件。2 Bzip2压
转载
2023-07-12 15:29:52
90阅读
压缩策略和原则1、压缩是提高Hadoop运行效率的优化策略。通过对Mapper和Reduce运行过程的数据压缩，以减少磁盘I/O，以提高MR程序的运行速度。注意：采用压缩技术减少了磁盘I/O，但也给CPU的运算增加了负担，所以压缩技术运用的当能提高性能，但运用不当也会降低性能。压缩的基本原则：（1）、运算密集型的JOb，少用压缩技术（2）、I/O密集型的JOb，多用压缩技术 2、MR支持的压缩编码
转载
2023-09-14 13:21:37
147阅读
1. 压缩的好处和坏处好处减少存储磁盘空间降低IO(网络的IO和磁盘的IO)加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度坏处由于使用数据时，需要先将数据解压，加重CPU负荷2. 常见压缩格式分析压缩格式压缩比压缩时间a. gzip优点：
压缩比在四种压缩方式中较高；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；
转载
2023-07-12 15:30:57
58阅读
Hadoop压缩概述压缩的实质是用时间换空间。Hadoop中在处理大数据时，会遇到I/O和网络传输资源不够的情况，此时可以通过压缩的方法通过增加计算减少IO。 因此是否使用压缩遵循运算密集，不用压缩，IO密集使用压缩，当然，除了压缩以外combiner也能减少磁盘IO; Hadoop框架在运行过程中，能够自动识别文件的扩展名，判断文件采用的压缩格式，自动压缩和解压缩，在有些压缩格式下，采用压缩后
转载
2023-07-20 17:09:16
70阅读
一、使用压缩的优缺点优点减少磁盘存储时间降低网络IO以及磁盘IO加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度缺点使用数据时由于要先解压，加重CPU负荷二、压缩的格式压缩格式工具算法扩展名是否支持分割Hadoop编码/解码DEFLATEN/ADEFLATE.deflateNoorg.apache.hadoop.io.compress.DefalutCodecgzipgzipDEFLATE
转载
2024-02-25 19:40:41
39阅读
目前在Hadoop中常用的几种压缩格式：lzo，gzip，snappy，bzip2,主要特性对比如下：压缩格式codec类算法扩展名多文件splitablenative工具hadoop自带deflateDeflateCodecdeflate.deflate否否是无是gzipGzipCodecdeflate.gz否否是gzip是bzip2Bzip2Codecbzip2.bz2是是否bzip2是lzo
转载
2023-07-12 14:09:48
189阅读
1.gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直 接处理文本一样；大部分linux系统都自带gzip命令，使用方便。缺点：不支持split。 应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式。例如说一天或 者一个小时的日志压缩成一个gzip文件，运行mapreduce程序的时候通过多
转载
2023-07-12 14:27:45
69阅读
1 关于HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。Hive提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQ
转载
2024-02-23 10:55:45
12阅读
