一. 集群的基本架构Flink 整个系统主要由两个组件组成，分别为 JobManager 和 TaskManager，Flink 架构也遵循 Master-Slave 架构设计原则，JobManager 为 Master 节点，TaskManager 为 Worker （Slave）节点。所有组件之间的通信都是借助于 Akka Framework，包括任务的状态以及Checkpoint 触发等信息
转载
2024-01-22 20:22:00
54阅读
安全认证概述 MongoDB 默认是没有账号的，可以直接连接，无须身份验证。实际项目中肯定是要权限验证的，否则后果不堪设想。从2016年开始 发生了多起MongoDB黑客赎金事件，大部分MongoDB安全问题 暴露出了安全问题的短板其实是用户，首先用户对于数据库的安全不重视，其次用户在使用过程中可能没有养成定期备份的好习惯，最后是企业可能缺乏有经验和技术的专业人员。所以对MongoDB进行安全认
转载
2023-09-29 10:50:58
26阅读
作者：潘伟龙（豁朗）背景日志服务 SLS 是云原生观测与分析平台，为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务，基于日志服务的便捷的数据接入能力，可以将系统日志、业务日志等接入 SLS 进行存储、分析；阿里云 Flink 是阿里云基于 Apache Flink 构建的大数据分析平台，在实时数据分析、风控检测等场景应用广泛。阿里云 Flink 原生支持阿里云日志服
转载
2024-08-27 10:05:41
70阅读
一、超级管理员创建及开启登录验证如果MongoDB要开启登录验证，必须在开启登录验证之前先创建好超级管理员，否则无法登录数据库！例如，创建一个超级管理员admin，关联给admin数据库，角色设置为root（超级管理员）首先，进入到目标库admin，use admin然后，输入指令 db.createUser({user:"admin",pwd:"123456",roles:["root"]})创
转载
2023-09-13 23:01:11
649阅读
MongoDB认证 每个月都有考试， 考完之后，两周之后发证要用visa信用卡https://account.mongodb.com/MongoDB官方提供一个免费额度的集群 altas 应该是用来学习用的，512mb磁盘 下面文字从mongo认证金山文档截取https://www.kdocs.cn/l/so7Eu5Sl2I0C &n
转载
2023-08-02 22:00:08
229阅读
简介对MongoDB进行访问控制就是在访问之前先对用户校验，只有当用户有相关权限是才能根据角色执行相关操作。MongoDB支持各种认证机制，具体请查看Authentication Mechanisms。下面使用单独的mongod实例和默认的认证机制说明访问控制。复制集和集群当访问控制可用时，复制集和集群需要内部认证。详细介绍请查看Internal Authentication。管理员当访问控制可用
转载
2024-02-28 14:05:52
58阅读
备注: MongoDB 4.2 版本 文章目录一.身份认证二.用户权限介绍三.用户权限维护3.1 创建用户3.1.1 创建admin3.1.2 创建root3.1.3 创建普通用户3.2 查看用户3.3 删除用户2.4 修改用户4.通过认证登陆参考 一.身份认证MongoDB安装完成后，默认是没有权限验证的，默认是不需要输入用户名密码即可登录的，但是往往数据库方面我们会出于安全性的考虑而设置用户名
转载
2023-09-04 23:18:08
24阅读
Flink算子基本转换算子：将会作用在数据流中的每一条单独的数据上。KeyedStream转换算子：在数据有key的情况下，对数据应用转换算子。多流转换算子：合并多条流为一条流或者将一条流分割为多条流。分布式转换算子：将重新组织流里面的事件。基本转换算子基本转换算子可以将一个event中的内容转换.是一个流到另外一个流,包括Map,flatMap,filter三个转换算子.功能就不详谈了.键控流转
转载
2023-12-27 21:55:53
56阅读
Flink 的部署方式跟 Spark 一样，是非常灵活的，可以支持Local、Standalone、Yarn、Mesos、Docker、Kubernetes等现在常见的部署模式。这些部署模式是 Flink 计算时所需资源的管理的不同方式，所以可以理解为是资源管理方式。在具体的应用场景中，如何跟计算资源交互，对于集群资源分配和占用的方式，可能会有特定的需求。所以 Flink 为各种场景提
转载
2023-09-08 10:57:55
106阅读
文章目录第一部分：Flink State 状态01-Flink State之状态及存储结构02-Flink State之状态分类03-Flink State之KeyedState 案例04-Flink State之State TTL生命周期第二部分：Flink Checkpoint 检查点05-Flink Checkpoint之State与Checkpoint06-Flink Checkpoin
一、描述：通过flnk 连接带有用户名和密码 mongodb报错信息如下com.mongodb.MongoSecurityException: Exception authenticating MongoCredential{mechanism=SCRAM-SHA-1, userName='test01', source='test', password=<hidden>, mecha
转载
2023-07-27 16:42:23
196阅读
在大数据处理环境中，Apache Flink 和 Apache Hive 的结合为我们提供了出色的数据处理能力。然而，在使用 Flink 访问 Hive 时，尤其是在涉及认证的问题时，可能会遇到一些困难。在这篇博文中，我将通过详细的步骤和图示，介绍如何解决 Flink 和 Hive 之间的认证问题。接下来，让我们深入了解这一过程。
## 协议背景
Flink 和 Hive 之间的通讯一般遵循
# MongoDB认证实现步骤
## 概述
在MongoDB中实现认证可以提升数据库的安全性，保护数据免受未授权的访问。本文将介绍如何实现MongoDB的认证，包括创建管理员用户、启用访问控制和验证连接。
## 步骤
下面是实现MongoDB认证的步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1.创建管理员用户 | 创建一个具有管理员权限的用户，用于管理数据库的访问控制
原创
2023-11-16 10:29:49
147阅读
# Flink CDC MongoDB
## 什么是Flink CDC？
Flink CDC是Apache Flink的一个模块，用于连接和捕获外部数据源的变化，例如关系型数据库、消息队列等。CDC代表"Change Data Capture"，即变化数据捕获。Flink CDC通过捕获数据源的变化来实时地获取增量数据，并将其转化为流数据，使得我们可以在Flink中对这些数据进行实时处理和分析
原创
2023-11-03 05:10:27
212阅读
# MySQL, Flink, MongoDB: 科普与比较
## 引言
在现代的数据处理领域，有许多不同的数据库管理系统可供选择。其中三个受欢迎的选项是MySQL，Flink和MongoDB。MySQL是一个关系型数据库管理系统（RDBMS），Flink是一个流处理引擎，MongoDB是一个面向文档的NoSQL数据库。本文将介绍这三个系统的特点，以及它们在不同场景下的适用性和优势。
##
原创
2023-10-06 07:58:42
49阅读
# 如何将 Apache Flink 连接到 MongoDB
在大数据处理的领域，Apache Flink 是一种流行的框架，用于处理实时数据流。而 MongoDB 则是一个非常流行的文档数据库，因其灵活性和可扩展性而广受欢迎。连接 Flink 和 MongoDB，有助于实时处理和存储数据。本文将详细介绍如何实现这种连接。
## 流程概述
我们将整个过程分为以下步骤：
| 步骤 | 说明
泛型编程是框架的基础，Flink中可以传递POJO对象的get方法，来作为获取key的途径，这样给开发者足够大的灵活性。理解这个过程，对于加强对泛型编程的理解有很大的帮助。此外，对于传递方法，还用到了@FunctionInterface，注意这个注解并不是强制性的，但它减少了一些错误发生的可能。KeySelector本身就是一个函数接口，它提供了两个泛化参数：T代表当前处理数据的类型，K代表Key
转载
2023-08-18 16:33:22
73阅读
欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos本篇概览在《Flink SQL Client初探》一文中，我们体验了Flink SQL Client的基本功能，今天来通过实战更深入学习和体验Flink SQL；实战内容本次实战主要是通过Flink SQL Client消费kafka的实时消息，再用各种SQ
转载
2024-03-06 11:27:06
219阅读
业务需求：根据id将两个流中的数据匹配在一起组合成新的流数据，默认两个流的最大延迟时间为60s 超过60s还未匹配成功，意味着当前只有一个流来临，则任务流信息异常，需要将数据侧流输出 思路：先将两个流keyBy()，再connect，然后调用CoProcessFunction函数，在里面处理流1和流2，再设置一个60s的定时器，如果60s内另一个流没来，则把达到的流侧输出直接上代码：// 流1 要
转载
2023-11-13 10:19:43
34阅读
# Flink 同步 MongoDB 的实现指南
在实时数据处理的时代，Apache Flink 是一个强大的流处理框架，而 MongoDB 则是一个非常流行的 NoSQL 数据库。这篇文章将带你了解如何使用 Flink 同步数据到 MongoDB，并提供一份详细的实现步骤，帮助刚入行的小白快速上手。
## 1. 流程概述
实现 Flink 同步 MongoDB 的过程可以分为以下几个步骤：
