1、Apache Flink介绍Flink是一个纯流式计算引擎。1.1 历史Flink起源于一个叫做Stratosphere的研究项目，目标是建立下一代大数据分析引擎，其在2014年4月16日成为Apache的孵化项目，从Stratosphere 0.6开始，正式更名为Flink。Flink 0.7中介绍了最重要的特性：Streaming API。最初只支持Java API，后来增加了
转载
2024-03-06 13:14:53
111阅读
Plink是一个基于Flink的流处理平台，旨在基于 [Apache Flink]封装构建上层平台。提供常见的作业管理功能。如作业的创建，删除，编辑，更新，保存，启动，停止，重启，管理，多作业模板配置等。Flink SQL 编辑提交功能。如 SQL 的在线开发，智能提示，格式化，语法校验，保存，采样，运行，测试，集成 Kafka 等。由于项目刚刚启动，未来还有很长的路要走，让我们拭目以待。在 Wi
文章目录概述定义为什么使用Flink应用行业和场景应用行业应用场景实时数仓演变Flink VS Spark架构系统架构术语无界和有界数据流式分析基础分层API运行模式作业提交流程顶层抽象流程基于Yarn 会话（Session）模式 概述定义截止至今大数据计算框架引擎大致经历以下四代：第一代计算引擎：Hadoop MapReduce第二代计算引擎：Tez第三代计算引擎：Spark第四代计算引擎：F
转载
2024-05-11 08:20:22
163阅读
1、背景日志系统接入的日志种类多、格式复杂多样，主流的有以下几种日志：filebeat采集到的文本日志，格式多样winbeat采集到的操作系统日志设备上报到logstash的syslog日志接入到kafka的业务日志以上通过各种渠道接入的日志，存在2个主要的问题：格式不统一、不规范、标准化不够如何从各类日志中提取出用户关心的指标，挖掘更多的业务价值为了解决上面2个问题，我们基于flink和droo
转载
2024-04-26 11:05:23
116阅读
Flink简介 Flink的核心是一个流式的数据流执行引擎，其针对数据流的分布计算提供了数据分布，数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务：DataSet API:对静态数据进行批操作，将静态数据抽象成分布式的数据集，用户可以方便的采用Flink提供的各种操作符对分布
转载
2024-04-23 11:12:00
249阅读
一、Flink基础1、什么是Flink？数据模型、体系架构、生态圈官方解释： Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink has been designed to run i
转载
2024-05-04 17:02:14
43阅读
日前，在更新UDF函数这块的一些功能时，发现一些较为细小但大家都会遇到的问题，作为趟过的坑发出来，希望大家能够避免。1.注册UDF函数1.1 注册相关方法 此处，我们使用的udf函数为标量函数，它继承的是ScalarFunction，该类在我们的使用中，发现它继承自UserDefinedFunction这个类，该处的udf函数由用户自己定义，而函数的注册此处我们自己实现;&
转载
2024-04-16 19:31:45
104阅读
背景：我们的引擎是Egret,使用的是原生的EUI，转微信小游戏；工程第一版出来后使用PerfDog测试一波数据。结果发现很多问题，本文主要分两部分第一部分主要介绍通过PerfDog发现问题，第二部分主要介绍通过PerfDog的数据定位并解决问题。PerfDog具体操作可以看文档PerfDog使用说明第一部分————数据分析本次的案例多见于游戏第一版时的情况，比较常见，所以拿出来做个分析。这里强调
在日常工作中我们经常收到一些诸如此类需求：“用户给点击了开屏广告，给用户下发私信”、“用户进入了推荐线，但在60秒内没有任何点击操作，弹框引导用户选择感兴趣的内容”、“用户点赞了某位作者的两篇以上的内容，但并没有关注过此作者，则弹框引导用户关注作者”、“用户点击了活动入口，进入了活动页、发生了点赞、收藏等交互操作，引导用户进入活动下一流程”。这些需求大致可以分为如下三大类：完成事件A，触发运营动作
转载
2023-12-31 21:16:56
511阅读
什么是规则引擎？规则引擎由推理引擎发展而来，是一种嵌入在应用程序中的组件，实现了将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策。接受数据输入，解释业务规则，并根据业务规则做出业务决策。（摘自百度百科） drool就是用java语言开发的规则引擎插件，规则引擎的原理就是Rete算法。 Rete算法是Charles Forgy在1979年的论文中首次提出的，
转载
2024-03-23 11:03:34
107阅读
本文由 【AI前线】原创，ID：ai-front，【AI前线导读】2017 年 10 月 19日，阿里巴巴的高级技术专家王绍翾（花名“大沙”）将为 QCon 上海的听众带来一场以大数据实时流计算与人工智能为主题的专题演讲，本专题将邀请来自腾讯、阿里、Facebook、Uber、Streamlio 的多位一线专家分析实时流计算和人工智能领域的最新的技术成果、应用和趋势。本文整理自 InfoQ对王绍翾
前言项目介绍在线视频： https://www.bilibili.com/video/BV1zv41157yY本案例是一个专注于flink动态规则计算的项目，核心技术组件涉及flink、hbase、clickhouse、drools等 项目可根据各类个性化需求进行二次开发后，直接用于实时运营，实时风控、交通监控等场景的线上生产列位看官，为了能够更好地理解后续《动态规则版实时运营系统》的设计思想和代
转载
2024-05-05 19:54:07
246阅读
本课时我们主要介绍 Flink 的编程模型与其他框架比较。本课时的内容主要介绍基于 Flink 的编程模型，包括 Flink 程序的基础处理语义和基本构成模块，并且和 Spark、Storm 进行比较，Flink 作为最新的分布式大数据处理引擎具有哪些独特的优势呢？Flink 的核心语义和架构模型我们在讲解 Flink 程序的编程模型之前，先来了解一下 Flink 中的 Streams、State
一、前言Flink 程序的结构Flink 应用程序结构就是如上图所示：1、Source: 数据源，Flink 在流处理和批处理上的 source 大概有 4 类：基于本地集合的 source、基于文件的 source、基于网络套接字的 source、自定义的 source。自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、T
转载
2024-09-01 18:56:02
31阅读
基于规则和规则引擎的系统的一点总结
转载
2012-05-16 08:08:00
659阅读
2评论
Flink为了完成不同的任务，在DataStream中流动的不止是我们的业务数据StreamRecord，还有其余三种标记，分别是Watermark，StreamStatus，LatencyMarker。这四个类继承自StreamElement。(注：有些人可能有疑惑，checkpoint barrier不是插入了数据流中吗？是的，checkpoint barrier也是随着数据流动，但是它不属于
转载
2024-06-25 08:42:44
32阅读
原标题：Kylin 在腾讯的平台化及 Flink 引擎实践在近期的 Apache Kylin Meetup 深圳站上，我们邀请到腾讯的程广旭与 T3 出行的杨华分享了 Kylin 在腾讯的应用。本次分享分为两个部分，第一部分介绍了 Kylin 的平台化改造实践及改造后的预期效果，第二部分会介绍 Flink Cube Engine 的原理、使用方法及独特优势。△Meetup 现场视频Kylin 平台
规则引擎有许多种：Drools，Aviator，Mvel，EasyRule，这里主要讲解一下EasyRule。easyRule集成了Mvel，而Mvel表达式非常强大，我们可以自己写一些表达式，交给mvel进行解析计算，得到这个表达式计算的值。easyRule可大致分为三部分：规则引擎，事实，规则<dependency>
<groupId>org.j
转载
2024-04-08 19:38:15
520阅读
案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总 对一个互联网产品来说，典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。 这要求风控系统一定要有实时性。 本文就介绍一种实时风控解决方案
转载
2019-10-23 16:29:00
167阅读
2评论
对一个互联网产品来说，典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。 这要求风控系统一定要有实时性。 本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物，风控系统直接服务于业 ...
转载
2021-10-08 23:17:00
420阅读
2评论
