提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。
提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发
转载
2024-07-22 16:47:18
19阅读
目录0-前言1-实时计算2-实时计算应用场景2.1-实时智能推荐2.2-实时欺诈检测2.3-舆情分析2.4-复杂事件处理2.5-实时机器学习3-实时计算架构4-实时数仓解决方案 0-前言本文分为四个章节介绍实时计算，第一节介绍实时计算出现的原因及概念；第二节介绍实时计算的应用场景；第三节介绍实时计算常见的架构；第四节是实时数仓解决方案。1-实时计算实时计算一般都是针对海量数据进行的，并且要求为秒
转载
2023-12-13 19:56:10
132阅读
背景自google发布3篇GFS,BigTable,MapReduce已过去近20年之久，市面上针对大数据治理方案也层出不穷，但大数据实时依旧是一项很难得技术。其主要表现在如下方面：（1）需求实现很难。对数据使用的用户持续增长，用户需求复杂多变，而这种复杂的需求实现又局限于目前的大数据生态，几乎没有某一个组件能解决几乎所有用户需求场景，依旧需要灵活的组合各大数据组件来实现。（2）实时存储很难。随着
转载
2024-03-04 17:23:23
91阅读
随着企业数字化转型加速，实时数据处理需求呈指数级增长：电商实时推荐需要毫秒级响应，金融风控要求秒级欺诈检测，物联网设备监控需实时故障预警。传统离线数据治理架构（T+1批处理）已无法满足“数据即业务”的实时化需求，亟需构建覆盖数据全生命周期的实时数据治理架构。如何设计低延迟、高可靠的实时数据采集与处理管道？怎样实现实时数据质量监控与血缘追踪？如何在数据湖仓架构中整合实时与离线数据治理体系？核心概念：定义实时数据治理的核心要素与架构模型技术实现：解析流式处理、元数据管理、质量监控的关键技术
数仓分层 |分层|全称|译名|说明|生成计算工具|存储媒介|压缩|列式存储|分区| |-|-|-|-|-|-|-|-|-| |ODS|Operation Data Store|原始层|原始数据| FlinkCDC | Kafka |✅|❌|✅| |DIM|Dimension|维度层|合并维度表|Fl
原创
2022-12-23 01:09:05
267阅读
## 大数据实时数据体系架构图实现流程
### 步骤展示
以下是实现"大数据实时数据体系架构图"的步骤表格：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建一个数据处理流程 |
| 2 | 从数据源获取数据 |
| 3 | 实时处理数据 |
| 4 | 存储数据 |
| 5 | 可视化展示数据 |
### 详细步骤说明
#### 1. 创建一个数据处理流程
在开始
原创
2023-10-10 14:06:20
94阅读
大数据分析（BDA）包括大数据的采集、存储、分析、展示。而其中分析是BDA的关键。说到分析，可以分为历史分析和实时分析。上次我们着重提过了历史分析，尤其是交互式历史分析，当然还有批处理式的历史分析。这次，我们回过头来再谈谈实时分析，包括流处理、CEP，等等。说到CEP，复杂事件处理（Complex Event Process），在2009年的时候我就有博文提及过。经过这么些年，CEP技术不断演进，
转载
2024-03-25 12:36:38
98阅读
实时建模与离线建模类似，也需要对数据进行建模，进行数据分层处理数据分层： 1）ODS层：与离线系统类似，操作数据层。记录了原始数据的变更过程，例如订单变更数据以及服务器日志数据2）DWD层：实时明细层，对于没有上下文关系的数据会回流到离线系统，保证了ODS层与DWD层数据一致性3）DWS层：通用维度数据汇总层，供各业务共同使用4）ADS层：个性化维度会汇总层，针对单个业务所关注的维度各指标数据5）
转载
2023-10-24 09:16:56
124阅读
本文详细论述在大数据环境下的数据仓库设计理论，然后通过燃气行业一个小案例描述数仓的架构设计、ETL过程、模型设计方法和物理实施过程。欢迎订阅！数据仓库概念数据仓库是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。在数据仓库里，每个数据单元都和特定的时间相关。数据仓库包括原子级别的数据和轻度汇总的数据。数据仓库发展阶段数据仓库发展大致
转载
2023-08-11 14:52:25
136阅读
# 大数据离线和实时数据仓库设计架构
在当前的数据驱动世界中，设计一个高效的大数据离线和实时数据仓库架构是至关重要的。作为一名刚入行的小白，你可能会觉得这个任务有些复杂，但只要你理解基本流程并掌握一些关键技术，就能够顺利实现。本文将为你详细介绍这一过程。
## 整体流程
设计一个大数据离线和实时数据仓库的流程可以大致分为以下几个步骤：
| 步骤 | 描述
书接前文，在上一节中，我们将Mysql CDC数据实时接入了Impala Kudu表。完整的数据流向如下图所示：图中MYSQL和SQLSERVER数据库的CDC数据采集，在本系列中已经讲解，本节给大家分享下PostgreSQL数据库的CDC数据采集和DDL监控。在正式进行实战操作之前，请先学习Mysql连接器的使用方法，因为很多的配置都是相同的。本文主要解释下PostgreSQL连接器特有的内容。
转载
2023-09-25 06:36:00
144阅读
实时流处理简单概述：实时是说整个流处理相应时间较短，流式计算是说数据是源源不断的，没有尽头的。实时流处理一般是将业务系统产生的数据进行实时收集，交由流处理框架进行数据清洗，统计，入库，并可以通过可视化的方式对统计结果进行实时的展示。本文涉及到的框架或技术有 Flume,Logstash，kafka,Storm, SparkStreaming等。 实时流处理的的流程与技术选型 ： 一、日志收
转载
2023-07-19 15:59:58
90阅读
本文从上述现状及实时数据需求出发，结合工业界案例、笔者的实时数据开发经验， 梳理总结了实时数据体系建设的总体方案。 作者：刘大龙@唯品会； 随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要， 商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出有价值的信息， 对企业的决策运营策略调整有很大帮助。此外，随着 5G 技术的成熟、广泛应用， 对于工业互联网、物联网等数据
转载
2024-05-19 15:56:58
48阅读
目前，大数据的流行程度远超于我们的想象，无论是在云计算、物联网还是在人工智能领域都离不开大数据的支撑。那么大数据领域里有哪些基本概念或技术术语呢？ 今天我们就来聊聊那些避不开的大数据技术术语，梳理并补充我们对大数据的理解。01 离线计算 Vs 实时计算离线计算离线计算，通常也称为“批处理”，表示那些离线批量、延时较高的静态数据处理过程。离线计算适用于实时性要求不高的场景，比如离
转载
2024-06-13 10:19:48
144阅读
这两天刚完成一个项目，我有个习惯就是完了项目做一下总结和复盘正好这两天没有事情，根据项目顺手做了一个Demo，算是对项目做一个实例化吧。一、项目流程项目核心：展现实时数据流的常规处理方式整体流程：规划项目流程后，我们便可以对其进行一一拆分实现。二、模拟数据发送到UDPUDP是参考模型中一种无连接的传输层协议，它主要用于不要求分组顺序到达的传输中，分组传输顺序的检查与排序由应用层完成，提供面向事务的
转载
2023-12-15 04:47:21
125阅读
1.引言 近年来，一种新的数据密集型应用已经得到了广泛的认同，这类应用的特征是：数据不宜用持久稳定关系建模，而适宜用瞬态数据流建模。这些应用的实例包括金融服务、网络监控、电信数据管理、Web应用、生产制造、传感检测等等。在这种数据流模型中，单独的数据单元可能是相关的元组（tuples），例如网络测量、呼叫记录、网页访问等产生的数据。但是，这些数据以大量、快
转载
2023-10-29 18:27:19
88阅读
为什么物联网大数据平台，使用TDengine，可不要redis, kafka, spark等软件？ TDengine是一高效的时序空间大数据处理引擎，因为充分利用物联网、车联网、工业互联网等场景的数据特点并做了很多优化，因此性能上远胜通用的大数据平台。但TDengine的核心功能是时序数据库，而大数据处理平台往往还需要有消息队列、缓存、流式计算等功能，怎么能不要Redis, Kafak,
转载
2024-09-09 16:09:37
70阅读
关于从0到1搭建大数据平台，之前的一篇博文《如何从0到1搭建大数据平台》已经给大家介绍过了，接下来我们会分步讲解搭建大数据平台的具体注意事项。一、“大”数据海量的数据当你需要搭建大数据平台的时候一定是传统的关系型数据库无法满足业务的存储计算要求了，所以首先我们面临的是海量的数据。复杂的数据复杂数据的概念和理想数据完全相反。所有数据集都有一定的复杂性，但有一些天生更难处理。通常这些复杂数据集没有定义
本篇主要介绍大数据分析、人工智能的实战应用。整套PDF共9章，通过8个大型的数据分析案例，系统地介绍常用的数据分析方法。 这8个大型案例涉及数据可视化方法，回归、聚类、决策树、朴素贝叶斯等机器学习算法，以及深度 学习算法等内容。在案例编写过程中，涉及 Pandas、NumPy、 Matplotlib 等 Python 中常用的依赖库，最大限度地帮助读者掌握相关知识内容！通过学习本篇内容你将会精通以
转载
2024-08-26 00:05:11
21阅读
作者：小维斗 1、 Talend Open Studio 是一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团(AIG)、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。 2、DYSO
转载
2024-01-22 21:21:08
145阅读
