1 消息系统简介1.1 为什么要用消息系统 ？解耦 各位系统之间通过消息系统这个统一的接口交换数据，无须了解彼此的存在；冗余 部分消息系统具有消息持久化能力，可规避消息处理前丢失的风险；灵活性和消除峰值 在访问量剧增的情况下，应用仍然需要继续发挥作用，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃；（节省资源）可恢复性 系统中部分组件失效并不会影响整个系统，它
Kafka是一个高性能，高容错，多副本，可复制的分布式消息系统，是基于Raft算法来实现leader选举的。整个架构设计中涉及几处选举：控制器（Broker）选举分区多副本选举消费组选举1 控制器（Broker）选举 &n
目录一、适用及备注二、更新与优化三、数据采集流程四、“Receive data buffer”接收数据缓冲区定义（一）Resource.RcvBuffer”寄存器定义1.rowsPerFrame，行数：2.colsPerFrame，列数：3.帧数：（二）Receive Object：接收事件到帧内内存的映射1.Receive Object：（居然没了，可恶！）3.实际样本数（三）定义接收架构、获取
转载
2023-10-24 05:14:02
74阅读
Mysql-master-master &
原创
2013-07-31 09:00:17
711阅读
文章目录前言一、基础环境二、部署步骤1.定义hostname2.编辑 /etc/hosts3.修改其他配置等操作4.所有节点安装Docker/kubeadm/kubelet（1）安装Docker（2）添加yum软件源（3）yum安装kubeadm/kubelet/kubectl5.部署Kubernetes Master6.构建我们自己的 Docker 镜像(不怕被墙)7.初始化Master环境8
转载
2023-10-09 20:49:00
153阅读
Spark的运行模式
local，standalone，yarn，mesos。yarn还分为yarn-client 和 yarn-master学习过程中主要用到local和yarn
Spark名词
Standalone模式下：
Master：集群中含有Master进程的节点。Master是整个集群的控制器，负责整个集群的正常运行。Slave：集群中含有Worker进程的节点。W
对于MySQL数据库的Master-Slave架构设计，对于一般的对可用性要求不高的系统来说，是一个不错的设计方案，但是如果对可用性要求较高，就会存在一定的问题，我们先看看Master-Slave架构的特点：一个Master作为主数据库服务器，主要功能是负责处理应用客户端的写数据处理，还担当众多Slave数据库复制数据源的角色。多个master主要是负责应用客户端的读数据处理。但是我们的Maste
转载
2023-08-26 01:28:42
68阅读
SparkSession是在使用类型化数据集(或基于非类型化Row-基于DataFrame)数据抽象开发Spark SQL应用程序时创建的首批对象之一。在Spark 2.0中，SparkSession将SQLContext和HiveContext合并到一个对象中。使用SparkSession.builder方法来创建一个SparkSession实例，使用stop方法停止SparkSession实例
转载
2023-06-11 14:34:26
153阅读
20211403 2021-2022-2 《Python程序设计》 实验一报告课程：《Python程序设计》
班级： 2114
姓名： 左颖
学号：20211403
实验教师：王志强
实验日期：2022年3月21日
必修/选修： 公选课1.实验内容熟悉Python开发环境
练习Python运行、调试技能
编写程序，练习变量和类型、字符串、对象、缩进和注释等
掌握git技能2.实验过程及结果2.1熟
官方连接:https://redis.io/topics/sentinel-clients#step-1-connecting-to-the-first-sentinel
项目地址:https://github.com/TQ5911/C-_Redis
代码是自己按照redis官方文档的意思拟写的，可能有不当之处，但大致思路可以体现出来，从 1.连接sentinel,2.获取master,3.连接m
转载
2023-07-08 20:57:21
82阅读
## Hadoop Master和Zookeeper Master的实现流程
为了让这位刚入行的小白能够理解如何实现Hadoop Master和Zookeeper Master，我将按照以下步骤进行讲解：
1. 安装Hadoop和Zookeeper
2. 配置Hadoop Master
3. 配置Zookeeper Master
下面是整个流程的表格，展示了每个步骤所需做的事情：
| 步骤
CDP由多个不同类型的实例节点组成，包括主实例节点（Master）、工具实例节点（Utility）和核心实例节点（Core）。不同的实例节点上部署的服务进程不同，负责完成的任务也不同。以下为实例类型的具体说明。主实例节点（Master）Master节点主要用于部署HDFS NameNode，YARN ResourceManager以及Zookeeper Server等。工具实例节点（Utility
转载
2023-07-10 18:44:20
61阅读
ASP.NET 2.0 - 母版页（Master Pages）母版页（Master Pages）Master Page 使您有能力为 web 应用程序中的所有页面（或页面组）创建一致的外观和行为。Master Page 为其他页面提供了模版，带有共享的布局和功能。Master Page 为内容定义了可被内容页面覆盖的占位符。而输出结果就是 Master Page 和内容页面的组合。内容页包含您希望
一：master&slave的解释？master&slave就是主从复制，主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，master以写为主，slave以读为主二：作用 1：读写分离 2：容灾恢复三：怎么使用 1：配从（库）不配主（库）； 2：从库配置：
转载
2023-08-30 13:23:20
264阅读
Mysql主从热备（master-slave）
u 设备环境
Master:192.168.15.233
Slave
原创
2011-06-17 11:40:26
1577阅读
master1和master2公用一个VIP。当某个master宕机后，keepalived能自动将VIP漂移到另一个master上。只需要1~3秒即可切换完成，基本能保证服务不中断。 实验环境： CentOS6.7X86_64 MariaDB10.0.17 Keepalived1.2.21 各节点配
转载
2017-03-05 17:28:01
2304阅读
参数说明参数说明–master集群的master地址。如：spark://host:port，mesos://host:port，yarn-client，yarn-cluster，local[k]本地以k个worker线程执行，k一般为cpu的内核数，local[*]以尽可能多的线程数执行。那么这个参数该如何设定？首先我们需要知道spark有哪些部署方式。 我们要部署Spark这套计算框架，有多种
转载
2023-09-17 13:40:08
467阅读
分支说明： git分支常用的分为master、release、bugfix、develpo四种，以下为每个分支的释义。 master分支（线上分支）分支仅有一个，用于存储正式发布的历史，在版本库初始化时自动生成。master分支是所有开发活动的核心分支，所有的开发活动产生的输出物最终都会反映到主分支的代码中，master分支应该始终和生
文章目录1. 概述2. Spark应用程序执行流程简介3. Spark Submit任务提交流程详解3.1 第一步，编写用户脚本并用Spark-Submit提交3.1.1 用户脚本内容3.1.2 命令行日志3.1.3 Spark-Submit脚本分析4. SparkSubmit源码详解5. 提交网关 ：“RestSubmissionClient” && “Client”5.1 R
转载
2023-10-24 00:09:11
97阅读
一、Master、RegionServer的上下线以及Region的管理Master上线1) 从Zookeeper上获取唯一一个代表Active Master的锁，用来阻止其他Master成为真正的Master2) 扫描Zookeeper上的/hbase/rs节点，获取当前可用的Region server列表3) 和每个RegionServer通信，获得当前已分配的Region和RegionSer
转载
2023-09-11 21:04:09
75阅读
