1、Spark平台基本介绍Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and PeopleLab) 开发，可用来构建大型的、低延迟的数据分析应用程序。Spark 是在Scala 语言中实现的，它将 Scala 用作其应用程序框架。Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。Spark 是一种与Hadoop 相似的开源集群计算环境
转载
2023-10-18 20:13:09
134阅读
小节一：数仓介绍小节二：离线数仓应用应用架构本小结介绍下离线数仓的一个应用架构一个简单的离线数仓架构图如下这里粗粒度的划分了异构数据源、数据传输、数据仓库、应用分析、及整体管理几层。其中源数据主要指的数仓的数据来源，有数据库数据、文件类型数据、还有接口等http传输的数据。数据库数据大多都是业务的数据，例如mysql、oracle等；文件类型大多是日志数据、离线csv等格式化数据；http传输主要
转载
2023-08-08 11:12:56
291阅读
# 构建 Spark 离线数仓的流程
作为一名刚入行的小白，构建 Spark 离线数据仓库可能会显得有些复杂。不过，遵循以下流程，你很快就能上手。这篇文章将带你一步步实现这个目标。
## 整体流程
| 步骤 | 描述 |
|-----------|------------------------------|
| 1
原创
2024-10-24 06:26:30
114阅读
# 实现离线数仓 Spark 的全过程
本文将帮助你了解如何实现离线数仓的 Spark 方案。离线数仓主要用于数据的批量处理和分析，Spark 是一种性能极高的处理引擎，适合大规模数据的处理。本文将通过以下步骤帮助你完成这个任务。
## 流程概述
我们可以将实现离线数仓的流程归纳为以下几个步骤：
```mermaid
flowchart TD
A[数据采集] --> B[数据清洗]
数据仓库的概念，最早是在1991年被提出，而直到最近几年的大数据趋势下，实时数据处理快速发展，使得数据仓库技术架构不断向前，出现了实时数仓，而实时数仓又分为批数据+流数据、批流一体两种架构。1、离线数仓 离线数仓，其实简单点来说，就是原来的传统数仓，数据以T+1的形式计算好放在那里，给前台的各种分析应用提供算好的数据。到了大数据时代，这种模式被称为“大数据的批处理”。 只不过原本的单
转载
2023-10-12 08:39:51
151阅读
主要是实时计算 stream strom和Flink都有介绍 这里主要是sprak Spark CoreSpark 通过引人弹性分布式数据集（ RDD ）以及 RDD 丰富的动作操API ，非常好地支持了 DAG 和迭代计算 Spark 通过内存计算和缓存数据非常好地支持了迭代计算和 DAG 计算的数据共享，减少了数据读取的 IO 开销，大大提高了数据处理速度。
转载
2023-12-14 20:00:11
70阅读
最近一直在忙于业务需求，突然发现很久没有整理技术文档了。之前我的习惯是把遇到的问题和自己整理的一些解决方案记录到印象笔记里面。以后尽量都搬到博客里面。 进入正题，做了快两年的推荐系统，从一无所知到略知一二，一路走来经历了很多，学到了很多东西。这篇文章主要梳理一下如何用spark来做ctr预估。 主要包括4部分 填写图片摘要（选填） 1 配置文件 2 特征提取 3
转载
2024-08-16 11:03:28
40阅读
文章目录3.0 数据生成模块（P14-P29）3.1目标数据3.1.1页面3.1.2事件（动作）3.1.3曝光3.1.4启动3.1.5错误3.2 数据埋点3.2.1 主流埋点方式（了解）3.2.2 埋点数据上报时机3.2.3 埋点数据日志结构3.3 服务器和JDK准备3.3.6 环境变量配置说明3.4 模拟数据3.4.1 使用说明3.4.2集群日志生成脚本 上文访问：离线数仓搭建_01_数仓概念
# Hive离线数仓中的大宽表数据整合实践
在现代数据分析中，数据仓库扮演着至关重要的角色。尤其是Hive作为一种基于Hadoop的框架，广泛应用于大规模数据处理。本文将探讨如何在Hive离线数仓中构建大宽表，并实现数据整合，解决实际业务中的数据处理问题。
## 1. 问题背景
在一家电商公司，随着用户数据、订单数据和商品数据不断增多，分析师发现现有的数据模型无法满足复杂查询的需求。传统的星
1、数仓的概述 数仓主要是用于数据的存储、管理和分析 数仓与关系型数据库最大的区别在于能够存储历史数据,后续可以将数据按照时间曲线分析。 2、数仓的架构 日志数据->日志服务器本地磁盘[多台]->flume->kafka->flume->HDFS->HIVE[ODS/DWD/DIM/DWS/ADS] ->DATAX ->MYSQL ->可视化
转载
2023-11-12 20:46:04
60阅读
1.离线数仓离线数仓架构基本都是基于 Hive进行构建，数据分层方式如下：ODS Operational Data store，贴源层（原始数据层）从各个业务系统、数据库或消息队列采集的原始数据，只做简单处理，尽可能维持数据原貌DWDData Warehouse Detail，数据明细层将贴源层的原始数据进行清洗补全后存入该层，数据粒度保持不变DIM Dimension，维度层根据数据的实际情况抽
转载
2023-09-22 16:11:10
239阅读
第1章 Spark Streaming概述1.1 离线和实时概念数据处理的延迟离线计算就是在计算开始前已知所有输入数据，输入数据不会产生变化，一般计算量级较大，计算时间也较长。例如今天早上一点，把昨天累积的日志，计算出所需结果。最经典的就是Hadoop的MapReduce方式；实时计算输入数据是可以以序列化的方式一个个输入并进行处理的，也就是说在开始的时候并不需要知
转载
2024-04-28 15:42:27
269阅读
Apache Hive™数据仓库软件有助于使用SQL读取，写入和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据上。提供命令行工具和JDBC驱动程序，用于将用户连接到Hive。 Hive是什么(官网概念)Apache Hive™数据仓库软件有助于使用SQL读取，写入和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据上。提供命令行工具和JDBC驱动程序，用于
转载
2024-02-05 10:30:53
33阅读
在当今数据驱动的世界中，企业面临着如何高效存储与处理海量数据的挑战。对数据仓库（数仓）技术的选择至关重要，尤其是在使用Apache Spark和Apache Hive时。本文将详细记录离线数仓的Spark和Hive选择过程，包括环境准备、分步指南、配置详解、验证测试、排错指南和扩展应用，帮助您快速搭建符合需求的数据处理环境。
## 环境准备
在开始之前，我们需要确认软硬件要求，以确保我们的系统
1.概述 最近有同学问道，除了使用 Storm 充当实时计算的模型外，还有木有其他的方式来实现实时计算的业务。了解到，在使用 Storm 时，需要编写基于编程语言的代码。比如，要实现一个流水指标的统计，需要去编写相应的业务代码，能不能有一种简便的方式来实现这一需求。在解答了该同学的疑惑后，整理了该实现方案的一个案例，供后面的同学学习参考。2.内容 实现该方案，整体的流程是不变的，我这里只是替换
Hive是SQL的抽象，高延迟。由Facebook研发Hive基本架构Hive通过CLI/JDBC/ODBC或者HWI接受相关的HiveSQL查询，并通过Driver组件进行编译，分析优化最后变成可执行的MapReduce。Hive主要组件执行过程如下：Hive SQL关键概念 内部表（managed table）：Hive管理的表，包含实际的物理意义。删除数据也没了。 CREATE TABLE
转载
2023-10-27 00:55:44
101阅读
在大数据领域，数据处理和分析越来越依赖于高效的数仓链路。Spark和Hive的组合常用于离线数仓链路中，以执行数据的高效读写和处理。本文将深入探讨如何构建、调优和部署“Spark Hive离线数仓链路”的解决方案。
### 环境配置
首先，让我们详细了解环境配置所需的组件和依赖。以下是环境构建所需的依赖版本
| 组件 | 版本 |
|----------|------
# 离线数仓用Spark还是Hive
离线数仓是大数据处理的重要组成部分，它用于存储和分析大量历史数据。在选择技术栈时，Spark和Hive是两个常被提及的工具。本文将探讨这两者的优缺点，并给出使用示例，以帮助决策。
## Spark与Hive的对比
### Spark
Apache Spark 是一个快速、通用的大数据处理引擎，支持批处理和流处理。其在内存计算方面的优势使其在处理大数据时
原创
2024-10-21 05:47:03
181阅读
推荐阅读：世界的真实格局分析，地球人类社会底层运行原理不是你需要中台，而是一名合详细280页Dock...
转载
2022-06-13 09:51:38
4400阅读
目录前言一、DWD 层 (用户行为日志)1. 日志解析思路2. get_json_object 函数使用3. 启动日志表4. 页面日志表5. 动作日志表6. 曝光日志表7. 错误日志表8. DWD 层用户行为数据加载脚本二、DWD层 (业务数据)1. 评价事实表 (事务型事实表)2. 订单明细事实表 (事务型事实表)3. 退单事实表 (事务型事实表)4. 加购事实表 (周期型快照事实表，每日快照
转载
2024-09-03 03:11:47
20阅读
