源算子Data Source概述内置Data Source基于集合构建基于文件构建基于Socket构建自定义Data SourceSourceFunctionRichSourceFunction常见连接器第三方系统连接器File Source连接器DataGen Source连接器Kafka Source连接器RabbitMQ Source连接器MongoDB Source连接器 概述Flink
转载
2024-09-11 13:04:11
50阅读
1 安装基于CDH6.2.0环境. hadoop版本3.0 spark版本2.4， 自带scala版本2.11.12 2 下载flink1.9 http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.0/flink-1.9.0-bin-sc
转载
2024-07-23 06:55:11
164阅读
一、 概述 MySQL从3.23.15版本以后提供数据库复制（replication）功能，利用该功能可以实现两个数据库同步、主从模式、互相备份模式的功能。本文档主要阐述了如何在linux系统中利用mysql的replication进行双机热备的配置。
二、 环境
转载
2024-01-20 21:56:57
47阅读
1、修改配置文件
MySQL 搭建主从需要配置 my.cnf ，在主库 my.cnf 的 [mysqld] 段落下添加如下内容：[mysqld]
# 设置server-id,唯一值，标识主机，必须与从库不一致
server-id=1
# 开启二进制日志，主库必须开启
log-bin=mysql-bin
# 自动删除2592000秒(30天)前的日志
# 8.0以前的版本中这个配置为expire_l
转载
2023-08-11 14:46:32
267阅读
文章目录checkpointing前提条件启用和配置`checkpoint`相关的配置选项选择检查点存储迭代作业中的状态检查点执行流程Barrier对齐EXACTLY_ONCE语义Savepoint与Checkpoint checkpointingFlink 中的每个函数和算子都可以是有状态的。有状态函数在单个元素/事件的处理过程中存储数据，使状态成为任何类型的更复杂操作的关键组成部分。为了使状
转载
2024-03-25 16:17:30
237阅读
Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。开发 编辑 Apache Flink是由Apache软件基金会内的Apache Flink社区基于Apache许可
转载
2024-03-30 17:52:33
40阅读
MySQL主从复制配置1：设置mysql主从配置的优点：1.1、解决web应用系统，数据库出现的性能瓶颈，采用数据库集群的方式来实现查询负载；一个系统中数据库的查询操作比更新操作要多得多，通过多台查询服务器将 数据库的查询分担到不同的查询服务器上从而提高查询效率。1.2、Mysql数据库支持数据库的主从复制功能，使用主数据库进行数据的插入、删除与更新操作，而从数据库则专门用来进行数据查询操作，这样
转载
2023-10-26 20:31:04
64阅读
centos7搭建完全分布式HDFS Hbase Flink一、安装环境操作系统： CentOS7.2.1511hadoop版本： 2.8.5 节点信息：Namenode 192.168.0.33
Datanode 192.138.0.185
Datanode 192.168.0.193二、安装jdk安装jdk8，注意：hadoop2.x，必须是jdk8 打开/etc/profile，在文件最后面
转载
2024-02-17 09:34:47
45阅读
作者：伍翀在本文中，我们将从零开始，教您如何构建第一个Apache Flink （以下简称Flink）应用程序。开发环境准备Flink 可以运行在 Linux, Max OS X, 或者是 Windows 上。为了开发 Flink 应用程序，在本地机器上需要有 Java 8.x 和 maven 环境。如果有 Java 8 环境，运行下面的命令会输出如下版本信息：$ java -version
ja
转载
2024-10-10 12:51:14
43阅读
pidfile /var/run/redis.pid port 6379 #设置该redis的固定IP,便于其他redis绑定该IP bind 192.168.16
转载
2022-12-08 09:15:09
123阅读
HDFS Namenode&DatanodeHDFS 机制粗略示意图客户端写入文件流程：NN && DNNamenode（NN）工作机制NN是整个文件系统的管理节点。维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表（管理元数据）。接收用户的操作请求。fsimage：元数据镜像文件。存储某一时段NN内存元数据信息
edits：操作日志文件
fsti
转载
2024-07-24 06:35:20
35阅读
1.State Vs CheckpointState:维护/存储的是某一个Operator的运行的状态/历史值,是维护在内存中!一般指一个具体的Operator的状态(operator的状态表示一些操作/算子在运行的过程中会产生的一些历史结果,如前面的maxBy底层会维护当前的最大值,也就是会维护一个keyedOperator,这个State里面存放就是maxBy这个Operator中的最大值)S
什么是网站的TDK写法？TDK在SEO术语中是个缩写，意思是在seo网站优化中的网页页面描述与关键词的设置。T指的是网页的title标题，当标题q确定好以后，就尽量避免去改它。当然你要改也可以，我曾经就改过很多自己的小站的标题，只不过需要付出一段时间让百度重新适应。D是代表页头中的description，即描述，这个描述可以是对整个网站的概述，也可以看做是对标题的补充，因为title中只能书写有限
关于linux系统密码策略的设置（转载）
由于工作需要最近需要将公司的多台linux服务器进行密码策略的设置，主要内容是增加密码复杂度。操作步骤如下，不会的同学可以参考：操作前需要掌握如下几个简单的知识点：（其实不掌握也行，不过学学没坏处）PAM（Pluggable Authentication Modules ）是由Sun提出的一种认证机制。它通过提供一些动态链接库和一套统
Flink写HDFS，目前常用的有 BucketingSink， StreamingFileSink . BucketingSink后续会被StreamingFileSink替代。不过功能实现都还是很强大的。 StreamingFileSink 支持一些Bucke
转载
2023-10-13 23:20:37
273阅读
一、重要问题点1.哪些配置影响着hdfs文件的关闭? 2.HDFS Sink中每次都会触发的事件是什么？ 3.HDFS Sink中参数的优先级是怎样的？二、HDFS Sink跟写文件相关配置hdfs.path -> hdfs目录路径hdfs.filePrefix -> 文件前缀。默认值FlumeDatahdfs.fileSuffix -> 文件后缀hdfs.rollInterva
转载
2023-11-24 09:53:09
97阅读
HDFS租约与Flink StreamingFileSink1 概述HDFS文件的特点是一次写多次读并且不支持客户端的并行写操作，hdfs采用租约机制来保证对文件的互斥操作。 某个DFSClient打开文件流时，该DFSClient即为租约持有者（LeaseHolder），租约由NameNode发放。租约就是在规定时间内拥有写文件权限的许可凭证，HDFS提供Lease机制来保证写入数据的一致性。也
转载
2024-04-24 21:31:58
125阅读
Flink通过org.apache.flink.core.fs.FileSystem类来抽象自己的文件系统，这个抽象提供了各类文件系统实现的通用操作和最低保证。此文件系统的可用操作非常有限，以支持广泛的其它文件系统，例如追加或者变更已有文件就不被支持。文件系统由其格式来区别，例如file://, hdfs://，等等。Implementations(实现)Flink使用以下文件系统方案直接实现其文
转载
2024-04-24 11:41:00
59阅读
一、准备工作在文件存储HDFS上使用Apache Flink，需要先完成以下准备工作。说明 本文档的操作步骤中涉及的安装包版本号、文件夹路径，请根据实际情况进行替换。开通文件存储HDFS服务并创建文件系统实例和挂载点，详情请参见HDFS快速入门。在计算节点上安装JDK。版本不能低于1.8。在计算节点上安装Scala。Scala下载地址：官方链接，其版本要与使用的Apache Flink版
转载
2023-10-08 19:21:48
1265阅读
Flink写HDFS，目前常用的有 BucketingSink， StreamingFileSink . BucketingSink后续会被StreamingFileSink替代。不过功能实现都还是很强大的。 StreamingFileSink 支持一些Bucke
转载
2023-10-13 23:20:36
143阅读
