物联网数据如何帮助加速数字化转型 很多企业都希望实现数字化转型如何将生产力和利润最大化。最近几年的流行术语以“提高效率和创新”而著称。这是著名的数字化转型，它将取代无用的人工流程，提高企业的生产力，并为人类的幻想腾出时间来寻找新的战略和创新方法。数字完美化将消除人为错误，使业务和生产流程运行更加顺畅。 乌托邦式的数字化转型理念继续在整个网络中蓬勃发展，这使得数字化转型咨询比以往更加困难。为
文章目录第1章 实时需求概览1.1 实时需求与离线需求的比较1.2 数仓架构设计1.2.1 离线image-202101201154530071.2.2 实时1.3 本项目主要需求1.3.1 当日用户首次登录（日活）分时趋势图，昨日对比1.3.2 当日新增付费用户(首单)分析(ods+dwd)1.3.3 订单明细实付金额分摊以及交易额统计(dws)1.3.4 ADS聚合及可视化(ads)第2章
转载
2023-10-06 21:53:37
18阅读
整理｜路培杰（Flink 社区志愿者） 摘要：Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以 Iceberg、Hudi、Delta 为代表的解决方案应运而生，Iceberg 目前支持 Flink 通过 DataStream API /Table API 将数据写入 Iceberg 的表，并提供对 Apache Flin
转载
2024-02-29 07:27:06
145阅读
一、小米数仓架构演变1.1 数仓架构现状在介绍演变前，我们先来了解下小米当前的技术现状。上图展示的是小米目前的技术架构，在存储侧我们主要应用数据湖 Iceberg 和自研消息队列 Talos，计算层主要应用 Flink 和 Spark，他们统一运行在 Yarn 上，统一通过 Metacat 获取元数据信息，并通过 Ranger 来进行统一的鉴权服务。我们内部使用 Spark 和 Presto 来支
为什么物联网大数据平台，使用TDengine，可不要redis, kafka, spark等软件？ TDengine是一高效的时序空间大数据处理引擎，因为充分利用物联网、车联网、工业互联网等场景的数据特点并做了很多优化，因此性能上远胜通用的大数据平台。但TDengine的核心功能是时序数据库，而大数据处理平台往往还需要有消息队列、缓存、流式计算等功能，怎么能不要Redis, Kafak,
转载
2024-09-09 16:09:37
70阅读
目录一、实时数仓建设背景1. 实时需求日趋迫切2. 实时技术日趋成熟二、实时数仓建设目的1. 解决传统数仓的问题2. 实时数仓的应用场景三、实时数仓建设方案1. 滴滴顺风车实时数仓案例2. 快手实时数仓场景化案例3. 腾讯看点实时数仓案例4. 有赞实时数仓案例5. 腾讯全场景实时数仓建设案例一、实时数仓建设背景1. 实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需
转载
2024-02-04 20:49:47
210阅读
DWD层业务数据分流回顾一下之前业务数据的处理； 首先把脚本生成的业务数据发送到MySql数据库中，在表gmall0709中可以看到数据： 这里就是生成的对应数据表，然后通过Maxwell把数据输入到Kafka中，保存在ods_base_db_m主题中；此时我们需要把这个kafka主题中的数据进行过滤和分流处理，过滤处理很容易，这里我们过滤掉data为空，或者是长度<3的数据内容，当然这个数
转载
2024-01-16 01:22:13
61阅读
Flink电商数仓项目笔记电商实时数仓分层介绍 普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线上升。 实时数仓基于一定的数据仓库理念，对数据处理流程进行规划、分层，目的是提高数据的复用性。例如下图：例如：我们在普通实时SparkStre
转载
2024-03-01 15:25:35
136阅读
Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以 Iceberg、Hudi、Delta 为代表的解决方案应运而生，Iceberg 目前支持 Flink 通过 DataStream API /Table API 将数据写入 Iceberg 的表，并提供对 Apache Flink 1.11.x 的集成支持。本文由腾讯数据平台部高级工
转载
2024-03-26 14:03:22
118阅读
|0x00 数仓为什么要实时去年开始，实时数仓的概念突然火了。也许是传统的离线数仓搞了很多年，技术相对成熟了，因此大家都把注意力放到了挑战性更高的实时上来；也许是随着存量市场竞争的到来，对于速度的要求越来越快，T+1已经不能满足数据的获取要求了，实时的构建需求也就应运而生了。 总之，时效性开始大于分析性。 文本简单介绍实时数仓的一些基础理论，更系统性的理论，仍然行业需要更大范围的应用和总结。总之，
转载
2024-08-02 21:17:37
76阅读
2、实时数仓方案2.1、为何需要实时数仓架构随着数据量的增大，传统数据的方案在时效性上和数据维护上变得越来越困难。实时数仓架构应运而生。具体方案落地上实时数仓有很多方案可以选择，不同的业务和应用场景到底应该选择哪种技术方案？针对该问题梳理了市场上常见的实时数仓方案和对应的应用场景。2.2、数仓如何分层 & 各层用途数仓一般分为：ODS层、DWD层、DWS层和ADS层。1）ODS层：ODS是
转载
2023-01-07 23:09:50
1541阅读
Flink实时数仓项目—项目初了解前言一、实时数仓分层介绍1.普通的实时计算与实时数仓比较2.实时电商数仓分层规划二、实时数仓需求概览1.离线计算和实时计算的比较2.实时需求种类2.1 日常统计报表或分析图中需要包含当日部分2.2 实时数据大屏监控2.3 数据预警或提示2.4 实时推荐系统三、数仓架构分析1.离线数仓架构2.实时数仓架构 前言学习完了Flink1.13，拿个项目练练手。一、实时数
DWD层日志数据分离在数仓搭建过程中，对日志数据做分离是非常有必要而且有意义的，我们可以通过把日志分为启动、隔离、曝光、异常、页面等日志，可以计算获取访客数量、独立访客数量、页面跳转、页面跳出等统计指标数据； 那么在实时数仓和离线数仓中，这里有什么不同点呢？异同点分析在离线数仓的搭建过程中，我们可以获取一段时间内的离线日志数据，然后将日志数据进行过滤和分离，但是在实时数仓中，我们需要得到实时的流数
转载
2023-08-01 23:32:25
353阅读
数据仓库是一项发展历程漫长的技术，主要为企业的业务决策提供支持与服务。随着数字化业务的扩张，企业的数据量呈现爆发式增长，数据开始从 BP 发展到 PB 级别，此时，适应海量数据的实时计算、可灵活扩展的实时数仓几乎成为企业的“刚需”。它作为数据智能的基础环节，在快速获取数据反馈帮助企业更快的做出决策，更好的进行产品迭代的过程中起到了不可替代的作用。实时数仓从 0 开始落地，有什么可参考的方法或者路径
在那篇《最流行的编程语言JavaScript能做什么？》里，我们列举了JavaScript在不同领域的使用情况，今天让我们来详解一下JavaScript在物联网中的应用。凡是能用JavaScript写出来的，最终都会用JavaScript写出来。—— Atwood定律1基础：物联网的三个层级开始之前， 先让我们简单地介绍点物联网的基础知识。如果你有点Web开发经验的话，都知道下图是CS架构：相比于
转载
2024-04-28 10:49:10
36阅读
文章基于云存储的架构模型和云存储的关键技术，从可用性、可靠性和数据共享3个方面分析了云存储与物联网的结合的可行性，探讨了云存储在物联网环境下所面临的安全问题及相应的解决办法和物联网环境下的云存储平台结构模型，并对云存储在物联网中的未来发展趋势进行了展望。物联网是将具有计算、通信和信息感知能力的设备嵌入到物品中，然后按照约定的协议来把物品与互联网连接起来，进行信息交换和通信，以实现智能化识别、定位、
转载
2024-03-19 10:46:26
50阅读
1.数据仓库简介 数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。 数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升
转载
2021-04-11 10:34:00
414阅读
2评论
文章目录一、实时数据1.1 日志采集器1.1 日志生成器1.3 日志分发器1.4 采集流脚本二、实时采集2.1 项目搭建2.2 Kafka 数据获取2.3 Redis 数据去重2.4 ES 数据存储2.5 精准一次性消费2.6 Kibana 可视化配置2.7 发布数据接口三、实时监控3.1 Canal3.1.1 配置 MySQL3.1.2 安装 canal3.2 Canal ODS 层数据分流3
转载
2024-01-08 13:15:35
269阅读
1 为什么要建设实时数仓在开始说如何建设实时数仓之前，我们先说一下建设实时数仓的目的，实时数仓解决了什么问题。其实在很多情况下，我们对于实时数仓的定位可能是没有那么准确的。我们都知道，传统数仓一个非常重要的功能是用于记录历史，而实时数仓恰恰相反，它更重视处理当前的状态。因此，我们创建实时数仓的目的就在于解决传统数据仓库由于时效性低而解决不了的问题。传统数仓可以解决的问题，我们不解决；如果问题本身就
转载
2024-05-04 11:04:08
80阅读
目前企业数据架构基本也就包含3种模式，离线数仓，实时数仓，实时流。 离线数仓没有任何歧义，实时数仓和实时流之前有什么区别呢？从技术实现上，实时数仓肯定可以通过实时流来实现的，那么为什么会把这2种东西做一个区分. 在概念上，数据主题和指标会有很多，通常离线做一套，实时也会做一套，保证有些指标能实时的出数据，这部分实际上是更多的倾向报表类型，比如公司的大屏展示，而很多业务系统也需要实时的计算数据，不仅
转载
2024-01-15 02:37:59
51阅读
