此系列是个人学习是记录笔记flink 是什么Apache Flink is a framework and distributed processing engine for statuful co mputations over unbounded and bounded data streams.Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算flink优
Flink map:做一些清洗转换；flatMap:输入一个元素，返回一个或者多个元素；filter:符合条件的数据留下；keyBy:key相同的数据进入同一个分区；reduce:当前元素与上一次reduce返回值进行聚合操作；Union:合并多个流，但是所有的流类型必须一致；Connect:合并两个流，两个流的类型可以不同；CoMap、CoFlatMap:对于Connect
DataStream API（一）在了解DataStream API之前我们先来了解一下Flink API的构成。Flink API是分层的。由最底层的Stateful Stream Process到最顶层的SQL分为四层。如下图：DataStream API 顾名思义，就是DataStream类的API，DataStream表示Flink程序中的流式数据集合。它是一个包含重复项的不可变数据集合，
Table Api基础概念讲解概念1.Table API 和 DataStream Api关系1.1 问题1：既然DataStream Api已经很完善了，那么为什么还要Table Api呢？1.2 什么时候用DataStream Api,什么时候用Table Api?2.DataStream Api和Table Api流的转化2.Table 环境的两种创建方式2.1 第一种:直接创建2.2 第
前言 说实话，其实敲到最后，才大概了解代码到底应该怎么敲，7层的作用到底是什么，继承、封装、抽象也都不是口头上说说，大致上理解理解，更多的还是需要去实践啊！7层UI层：接受用户的数据，呈现用户所需要的数据，并且进行一些简单的业务处理，例如判断数据输入的有效性、显示各种异常。调用facade层和entity层。每个判断最好都加一个try-catch。facade层
flink有四种部署模式，jvm和local模式比较简单，这里就不说了，主要说standalone模式和yarn模式1.standaolne模式上图是官网上摘录得一张图片，其中master就是jobmananger，worker就是taskmanager，修改flink-conf.yaml中的jobmananger.rpc.address 指定ip作为jobmananger， slvaves中添加
文章目录1 计算机系统抽象层2 计算机系统的不同用户3 指令集体系结构（ISA） 1 计算机系统抽象层 功能转换：上层是下层的抽象，下层是上层的实现底层为上层提供支撑环境！我们需要知道程序执行结果不仅取决于算法、程序编写，而且取决于语言处理系统、操作系统、ISA、微体系结构。2 计算机系统的不同用户计算机系统的不同用户：最终用户工作在由应用程序提供的最上面的抽象层。系统管理员工作在由操作系统提供
转载
2023-08-16 15:52:26
54阅读
目录一、Socket抽象层一、Socket抽象层我们知道两个进程如果需要进行通讯最基本的一个前提是能够唯一标示一个进程，在本地进程通讯中我们可以使用PID来唯一标示一个进程，但PID只在本地唯一，网络中的两个进程PID冲突几率很大，这时候我们需要另辟它径了，我们知道IP层的IP地址可以唯一标示主机，而TCP层协议和端口号可以唯一标示主机的一个进程，这样我们可以利用IP地址＋协议＋端口号唯一标示网络
原创
2021-04-15 20:15:56
730阅读
抽象层次 抽象层次是面向对象方法中极其重要，但是又非常难以掌握的技巧。学 会站在不同的抽象层次考虑问题是建立好模型的基础，所以笔者不能不在这里说一些与技术无关的“废话”。 首先，抽象层次越高，具体信息越少，但是概括能力越强；反之，具体信息越丰富，结果越确定，但相应的概括能力越弱。从信息的表达能力上说，抽象层次越高表达能力越丰富，越容易理解。可能有人会对这个提出疑问，因为在人们的印象里，越是抽象的东
刚刚看了HAL层驱动API函数，没有全部看完，本文主要是谈谈HAL的作用。 所谓HAL层，Hardware Abstract Layer，即硬件抽象层。硬件抽象层主要是干嘛的呢？ &n
主要原理：安卓HAL层，简单的说是对Linux kernel的简单封装，向上提供接口，屏蔽底层的实现细节。把对硬件的支持分成两层：用户空间，内核空间。如果把对硬件支持的所有代码都放在内核层，就是开源，别人就能看到你的硬件的相关参数和实现，所以安卓把硬件的支持分成HAL和内核驱动层，内核驱动层只提供简单的访问硬件逻辑。例如读写硬件寄存器的通道，至于从硬件中读到了什么值或者写了什么值到硬件中的逻辑，都
作为一个搞android驱动或者说搞底层的人，我觉得对于hal那是必须要掌握的，而且必须达到一定深度，于是我总结了一下，将整个自己的分析思路写下来。主要是看android源代码，根据源代码得到的思路。(看源代码比看什么著作书籍都管用)android HAL是什么？为什么有它？硬件抽象层是介于android内核kernel和上层之间的抽象出来的一层结构。他是对linux驱动的一个封装，对上层提供统一
转载
2023-07-06 22:38:06
54阅读
一、前言“抽象与分层，是计算与程序世界里最根本的思想。逻辑之始。”宇宙的终极图景人类无法认知，愚蠢是人类理智的最后一道防线 ——《论克苏鲁世界观中的认知哲学》毋庸置疑，现实世界是无比复杂的，以人类有限的脑力来认识和解构世界，无疑是需要一定的方法论的。在编程领域中，系统可以是无比复杂的。而人类为了开发和持续维护复杂系统，必然要做好优秀的架构设计，才能有效降低开发者的心智负担因此，抽象和分层是人类应对
Flink四大基石Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 Checkpoint这是Flink最重要的一个特性。Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照，从而提供了一致性的语义。Chandy-Lamport算法实际上在1985年的时候已经被提出来，但并没有被很广泛的应用，而Flin
文章目录Flink流处理API1. environment 创建执行环境1.1 createLocalEnvironment1.2 createRemoteEnvironment1.3 getExecutionEnvironment2. source 获取数据源2.1 fromCollection从本地集合获取2.2 readTextFile从文件获取2.3 socketTextStream 从
由于工作需要最近学习flink 现记录下Flink介绍和实际使用过程 这是flink系列的第二篇文章 Flink DataStream API 介绍及使用Flink 中的 APIDataStream 介绍DataStream API 程序剖析获取一个执行环境加载/创建初始数据指定数据相关的转换指定计算结果的存储位置触发程序执行 Flink 中的 API 这里介绍我们常用的DataStream AP
目录一、Socket抽象层 一、Socket抽象层 我们知道两个进程如果需要进行通讯最基本的一个前提是能够唯一标示一个进程，在本地进程通讯中我们可以使用PID来唯一标示一个进程，但PID只在本地唯一，网络中的两个进程PID冲突几率很大，这时候我们需要另辟它径了，我们知道IP层的IP地址可以唯一标示主
转载
2019-11-22 18:30:00
203阅读
2评论
HAL，全称为Hardware Abstract Layer，即硬件抽象层，它是建立在Linux驱动之上的一套程序库，程序库并不属于Linux内核，而是属于Linux内核层之上的应用层。为Android增加HAL的目的除了尽量避免应用程序直接访问Linux驱动外，还会保护私人财产。一、在Android中加入HAL的原因如下： 在传统的Linux系统中Linux驱动一般有两种类型的代码：访问硬
第1章 需求分析和实现思路
1.1 实时数仓分层
在之前介绍实时数仓概念时讨论过，建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。我们这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回到kafka作为dwd层。1.2 每层职能
分层数据描述生成计算工具存储媒介ODS
一、什么是Flink?Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，提供支持流处理和批处理两种类型应用的功能。二、Flink特点1、现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型：流处理一般需要支持低延迟、Exactly-Once保证，而批处理一般要支持高吞吐、高效处理2、Flink是完全支持流处理，也就是说作为流处理看待时输入数据流是无界的；而批处
转载
2023-08-16 09:46:43
59阅读
