cache是一种高速缓冲存储器，她的主要作用是提高CPU数据输入的速率，调和CPU速度与内存存储速度之间的巨大差异。通俗一点说就是CPU太快，内存速度相对比较慢，而cache的速度快，但是cache的价格比较昂贵。人们想到一个办法就是利用小容量的cache在CPU和内存中间当桥梁，也就是说把CPU在下一个时间段需要用到的数据提前存入cache中，当CPU需要的时候可以快速的从Cache中取得数据，
转载
2024-05-23 18:19:09
31阅读
通过VRRP技术实现网关的备份
原创
2018-06-11 23:40:55
4749阅读
一、概述 发布：发布者将MSG post到某一特定通道上，channel将信息缓存 在说明发布流程之前有必要说明下channel和msg的数据结构。 二、数据结构 2.1 MSG 发布时，模块先将消息转化为ngx_http_push_stream_msg_t的数据结构进行存
准备工作192.168.16.128192.168.16.129两台虚拟机。安装好Nginx安装Nginx更新yum源文件：rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
wget -O /etc/yum.repos.d/CentOS-Base.r
转载
2024-04-11 09:09:12
37阅读
部署了一下nginx+keepalived 负载均衡总结如下主负载均衡器负责转发，而备份负载均衡器则处于等待状态，只有主负载均衡器失效，备份负载均衡器才承担用户请求转发任务。在多负载均衡应用场景下，将两个负载均衡器都转发用户请求，其主要用意在于提高资源的利用率。nginx互为主备。 环境如下：nginx master 1:1
原创
2013-03-26 11:10:46
1614阅读
一、nginx框架1.1 多进程模型Nginx低资源消耗、高稳定、高性能的并发处理能力，来源于其优秀的代码架构。它采用了多进程模型，使自身具有低资源消耗的特性。以事件驱动的异步非阻塞多进程请求处理模型，使Nginx的工作进程通过异步非阻塞的事件处理机制，实现了高性能的并发处理能力，让每个连接的请求均可在Nginx进程中以工作流的方式得到快速处理。Nginx采用的是固定数量的多进程模型，由一个主进程
转载
2024-04-18 16:23:09
72阅读
核心功能示例配置指令accept_mutexaccept_mutex_delaydaemondebug_connectiondebug_pointserror_logenveventsincludeload_modulelock_filemaster_processmulti_acceptpcre_jitpidssl_enginethread_pooltimer_resolutionuseuser
转载
2024-04-26 20:01:08
60阅读
Bash脚本基础 BASH = GNU Bourne-Again Shell,BASH 是 GNU 组织开发和推广的一个项目。 Bash脚本类似批处理,简单来讲就是把许多的指令集合在一起,并提供循环、 条件、判断等重要功能,语法简单实用,用以编写程序,大大简化管理员的操 作,并可以完成图形工具所无法实现的功能。 1. 创建包含bash命令的文本文件。文件的第一行应为: #
参数说明参数说明–master集群的master地址。如：spark://host:port，mesos://host:port，yarn-client，yarn-cluster，local[k]本地以k个worker线程执行，k一般为cpu的内核数，local[*]以尽可能多的线程数执行。那么这个参数该如何设定？首先我们需要知道spark有哪些部署方式。 我们要部署Spark这套计算框架，有多种
转载
2023-09-17 13:40:08
510阅读
# Redisson Master 配置
在Redisson中，Master节点是一个主节点，负责管理和控制Redis集群中的从节点。Master节点拥有最高的权限，可以对从节点进行读写操作，并负责处理集群中的各种任务和指令。本文将介绍如何配置Redisson中的Master节点，并提供相应的代码示例。
## 安装和配置Redisson
在使用Redisson之前，首先需要安装和配置Redi
原创
2023-07-25 18:21:31
120阅读
# Spark Master 配置详解
Apache Spark 是一个快速、通用的分布式计算框架，广泛应用于大数据处理和分析。在使用 Spark 之前，了解如何配置 Spark Master 是至关重要的一步。本文将带您深入了解 Spark Master 的配置流程，包括相关的代码示例，帮助您更轻松地进行大数据处理。
## 什么是 Spark Master？
Spark Master 是
# 如何配置 Spark 的 Master 设置
在使用 Apache Spark 进行大规模数据处理时，配置 Spark 的 Master 是一个非常重要的环节。Spark 提供了多个选项来设置 Master，虽然开始接触时可能会让人摸不着头脑，但没关系，本文将详细讲解如何完成这一过程。
## 流程概述
为了帮助你更好地理解整个设置过程，我们可以将其分解为以下几个步骤：
| 步骤 | 描
##################
# spark 安装配置 #
###################解压重命名
cd /opt/download/
tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/software/
cd /opt/software/
mv spark-3.1.2-bin-hadoop3.2/ spark312#配置
转载
2024-09-19 10:40:32
112阅读
用yum安装的nginx的日志默认安装在路径：/var/log/nginxnginx配置文件：/etc/nginx/nginx.conf （总配置文件）/etc/nginx/conf.d/default.conf （网站级别的配置文件）如果要使用nginx默认配置的日志格式，并改变日志的存储位置，可以在/etc/nginx/conf.d/default.conf 的server中直接添加日志文件的
转载
2024-03-07 18:00:51
20阅读
# HBase Master配置
HBase是一个分布式的、可伸缩的、高性能的列式存储系统，它运行在Hadoop分布式文件系统（HDFS）之上。HBase的主节点（Master）是集群中的控制中心，负责管理集群的元数据和协调集群中的各个RegionServer节点。本文将介绍HBase Master的配置和相关代码示例。
## HBase Master的角色
HBase Master是一个单
原创
2023-09-30 09:34:14
468阅读
在数据科学和大数据处理领域，Apache Spark 已逐渐成为一项核心技术。而 `SparkSession` 是与 Spark 交互的入口点，其 `master` 配置决定了作业的运行模式。因此，理解并正确配置 `SparkSession` 的 `master` 参数对于任何一个数据工程师或数据科学家来说都是至关重要的。本文将详细阐述如何解决“`SparkSession master` 配置”问
安装配置php-fpm来搭建Nginx+PHP的生产环境 nginx本身不能处理PHP，它只是个web服务器，当接收到请求后，如果是php请求，则发给php解释器处理，并把结果返回给客户端。 nginx一般是把请求发fastcgi管理进程处理，fascgi管理进程选择cgi子进程处理结果并返回被nginx 本文以php-fpm为例介绍如何使nginx支持PHP 一、编译安装php-fpm 什么
WhatNginx是一款轻量级的Web服务器、反向代理服务器，由于它的内存占用少，启动极快，高并发能力强，在互联网项目中广泛应用。 反向代理当我们在外网访问百度的时候，其实会进行一个转发，代理到内网去，这就是所谓的反向代理，即反向代理“代理”的是服务器端，而且这一个过程对于客户端而言是透明的。 服务器根据客户端的请求，从其关联的一组或多组后端服务器（如Web服务器）上获取资源，
转载
2024-10-26 21:53:01
22阅读
文章目录Nginx进程模型解析Worker的抢占机制Nginx的事件处理机制小结 Nginx进程模型解析nginx包含了两种进程：worker进程：主进程master进程：工作进程通过下面的命令可以看出：[root@localhost html]# ps -ef|grep nginx
root 4443 1 0 07:10 ? 00:00:00 nginx:
前言上节我们讲到RDB和AOF的末尾有提到，这两种方式都是在同一台机器上进行读写操作，如果在高并发下对于服务器将是很大考验，所以一般都是实现读写分离，Master主机专门负责写，Slave负责读，并建议将让Slave实现RDB持久化，而通过让Master实现AOF持久化，这么一来就减少了同一台机器的压力，变相的提升了系统的性能。 因此本节会重点介绍Redis的Master/Slave主从复制，并结
转载
2023-06-13 15:47:08
291阅读
