去重计算是数据分析业务里面常见的指标计算，例如网站一天的访问用户数、广告的点击用户数等等，离线计算是一个全量、一次性计算的过程通常可以通过 distinct 的方式得到去重结果，而实时计算是一种增量、长期计算过程，我们在面对不同的场景，例如数据量的大小、计算结果精准度要求等可以使用不同的方案。本篇将会基于 Flink 讲解不同的实现方案：MapState 方式去重SQL 方式去重HyperLogL
转载
2024-08-14 11:49:52
140阅读
1. JDK1.1. 解压Linux版本的JDK压缩包yum -y install glibc.i686 #安装jdk源glibc（需要联网下载源）
mkdir /usr/java #jdk前列建议安装到该目录下
cd /usr/java #进入刚刚创建的目录
rz 上传jdk ta
有界数据处理 有界数据在概念上非常简单，并且可能对每个人都很熟悉。在图1-2中，我们从左侧开始，其中包含一个充满熵的数据集。我们通过一些数据处理引擎（通常是批处理，虽然设计良好的流引擎也能正常工作）运行它，例如MapReduce，并且在右侧最终得到一个具有更大内在价值的新结构化数据集。 图1-2。 在这里插入图片描述在这里插入图片描述 使用经典批处理引擎进行有界数据处理。左侧的有限非结构化数据池通
转载
2024-03-16 03:31:06
26阅读
4.3 供应链企业原文大佬的这篇Doris+Flink构建实时数仓的实战文章整体写的很深入，这里直接摘抄下来用作学习和知识沉淀。本篇文章介绍如何基于Doris和Flink快速构建一个极速易用的实时数仓，包括数据同步、数据集成、数仓分层、数据更新、性能提升等方面的具体应用方案。一、实时数仓的需求与挑战先介绍一下传统的数据架构如何设计的、又存在哪些痛点问题。下图为传统的数据架构，如果从数据流的角度分析
Flink 1.10刚刚发布，这个版本周期内号主将主要方向转向数据湖社区（Apache Hudi），在重要特性中包含一个特性由号主贡献：[FLINK13025] There is a new Elasticsearch sink connector, fully supporting Elastic
转载
2024-04-29 12:50:45
79阅读
摘要：随着营销 3.0 时代的到来，企业愈发需要依托强大 CDP 能力解决其严重的数据孤岛问题，帮助企业加温线索、促活客户。但什么是 CDP、好的 CDP 应该具备哪些关键特征？本文在回答此问题的同时，详细讲述了爱番番租户级实时 CDP 建设实践，既有先进架构目标下的组件选择，也有平台架构、核心模块关键实现的介绍。本文主要内容包括：CDP 是什么挑战与目标技术选型平台架构平台成果未来展望一、CDP
使用Flink将流式数据写入到Doris
原创
2023-07-28 15:00:37
800阅读
作者 | Fabian Hueske and Vasiliki Kalavri Apache Flink是一个开源的分布式流处理引擎，为有状态数据流处理应用程序提供了丰富的api接口，以实现各种简单或复杂的计算功能。不仅如此，它能够高效地支持大规模有状态流应用程序运行，并保证了程序的容错性，在这一点上会比其他的流式计算引擎凸显
项目背景说明餐饮外卖平台的核心价值体现在配送，而配送的价值则依赖于商家与客户的双向选择。外卖平台通常会通过内容激活消费者和商家两个群体的活跃度。消费者会参考平台展示的内容选择商家，商家也会以消费者评价与平台统计数据为依据调整策略，由此再吸引更多的用户下单、评论、形成正向循环。保证配送的时效与品质是从优化用户体验的角度，吸引更多的用户参与，进而带动商家不断入驻。由此，商家、消费者、骑手在平台上形成越
转载
2024-10-29 08:07:31
14阅读
一、美团数仓架构图 如上图，是美团最新的数仓架构图。整个架构图分为三层，从下往上看，最下面一层是数据安全，包括受限域认证系统、加工层权限系统，应用层权限系统，安全审计系统，来保证最上层数据集成与处理的安全；中间一层是统一的元数据中心和全链路血缘，覆盖了全链路的加工过程；最上层根据数据的流向，分成数据集成，数据处理，数据消费，数据应用，四个阶段；在数据集成阶段，对于不同的数据来源（包括用户行为数据
转载
2024-06-28 09:58:34
22阅读
改造后数据存储周期由原来的5分钟减少到1秒钟。
物联网数据平台是电站及泵站智慧运维平台的核心组成，其整体架构如下：物联网数据平台的数据来源主要为电站、水厂、储能站，通过数据网关，将各场站端的设备运行数据传输至云平台的消息队列（MQ）中，数据处理服务订阅MQ的消息，根据设定的规则引擎，进行实时数据处理，之后将数据存储落盘。数据服务API则根据业务需求提供包含实
摘要：本文整理自 Shopee 研发专家李明昆，在 Flink Forward Asia 2022 流批一体专场的分享。本篇内容主要分为四个部分：流批一体在 Shopee 的应用场景批处理能力的生产优化与离线生态的完全集成平台在流批一体上的建设和演进一、流批一体在 Shopee 的应用场景 首先，先来了解一下 Flink 在 Shopee 的使用情况。除了流任务，仅从支持的批任务来看，
## Flink和MySQL：处理重复数据并导入Doris的完美解决方案
