Nginx 简介Nginx是一个高性能的HTTP和反向代理Web服务器,同时也提供IMAP/POP3/SMTP服务。Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/POP3/SMTP)代理服务器。Nginx的特点是:占有内存少,并发能力强。Nginx 是一个很强大的高性能Web和反向代理服务,它具有很多非常优越的特性:(1)在连接高并发的情况下,Nginx是Ap
1.下载安装包wget https://dlcdn.apache.org/tomcat/tomcat-10/v10.1.16/bin/apache-tomcat-10.1.16.tar.gzwget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz2.解压并修改目录tar -zxvf apache
1.vacuum 概念vacuum用于回收死元组占用的存储空间。这些死元组是由于通过更新过期或者删除的元组不会从表中进行物理移除,直到执行一个 vacuum操作完成后才会被从表对应的物理文件中移除。因此在频繁更新的表上需要定期执行 vacuum操作。 vacuum执行操作,正常情况下,对dead tuple 仅仅进行收并不释放空间,以便空间可以重新使用而不需要再重新分配空间,如果带有 FULL 参
它会为待重建的表创建一份副本。首先取一份全量快照,将所有活元组写入新表,并通过触发器将所有针对原表的变更同步至新表,最后通过重命名,使用新的紧实副本替换老表。而对于索引,则是通过PostgresQL的CREATE(DROP)INDEXCONCURRENTLY完成的。1.pg_repack 工作原理·创建一个记录表,用于记录原表中的记录的修改 ·在原表上创建一个触发器,记录插入、更新、和删除操作到日
1.什么是表膨胀 表膨胀是指表的数据和索引所占文件系统的空间,在有效数据量并未发生大的变化的情况下,不断增大。久而久之,关系文件被大量空洞填满,浪费了大量的磁盘空间。甚至某些特殊场景下。一个表中只有一条简单的数据,但是表对应的物理文件可能已经达到M级甚至G级。2.表膨胀危害 ·空间持续上涨,到达某一个点后,需要执行一个高额代价的vacuum full(或者custer等可以重组表的命令),但vac
1.MVCC 简介·MVCC(Multi-Version Concurrency Control)被称为多版本并发控制 ·MVCC是来处理数据库中并发访问的问题,提高并发的访问效率。 ·MVCC在维护数据的一致性和完整性的同时,尽量避免读写的阻塞。 传统数据库是通过lock 机制来保证数据的一致性和完整性,这样付出的代价是当锁请求无法响应时,待处理的请求必须进入等候队列,甚至等待超时不
1.环境主备X86 contos7 64位ulimit -adata seg size (kbytes, -d) unlimitedfile size  
1.逻辑备份pg_dump一般用于备份库表的结构或者数据,根据需要可选择具体的参数,常用参数如下 -h host,指定数据库主机名,或者IP -p port,指定端口号 -U user,指定连接使用的用户名 -W,按提示输入密码 -F, --format=c|d|t|p output file format (备份文件的格式是自定义,目录,tar包,纯文本,不使用该参数,将会是纯文本
1.postgresql 后台进程1.1 主进程postmaster:/data/postgresql/postgresdir/bin/postgres主进程postmaster 是整个数据库实例的总控进程,负责启动和关闭数据库实例。1.2 logger 系统日志进程只有在参数logging_cllect 设置为“on”时,主进程才会启动logger 辅助进程。其通过postmaster
1.逻辑结构postgresql 数据库系统中,数据的zuzhi-结构可以分为以下3层:1.1 数据库:一个pg 数据库服务可以管理多个数据库,当应用连接到数据库时,一般只能访问这个数据库中的数据,而不能访问其他数据库中的内容(除非使用DBLink或其他方法)1.2 表、索引:一个数据库中有很多表、索引,在pg 中表的术语为“Relation”,其他数据库中成为“Table”1.3 数据行:每张表
统计信息:优化器需要根据表、索引中的数据来选择查询方式,由于表的数据量很大,不可能每次执行查询时都实时的统计表中的数据量以及数据分布,所以需要定期分析数据,把表和索引的数据分布情况保存到数据字典里,以便优化器使用。 统计信息主要包括:表、表分区、索引、索引分区、列、列的直方图,主要关注表、索引上的统计信息,重点是数据量和数据块。 analyze 进行更新统计信息 PG _ STATISTICS 系
系统级:集群级别或节点级别指标 OS,instance time,memory,session,thread,events、utility 对象级:数据库对象指标 database、table、index,file、lock 应用级:表征应用负载性能 transaction、statement、active session profile、slow query、full sql trace 系统级
执行计划:主要显示1.sql 语句引用表的顺序,2.sql 中每个表的访问方法 3.sql 语句中连接操作相关表的连接方法 4.where 条件过滤、order 排序及count 聚合等操作 执行计划三要素:1.访问路劲:扫描表的数据路径 2.连接顺序:多表连接
备份: 逻辑备份:gs_dump:可以自定义导出一个数据库或其中的对象 -F 的参数 p 文本格式,c 自定义格式 d 目录归档格式,t tar归档格式 gs_dumpall:可以导出数据库的所有数据,包括数据库和所有数据库公共的全局对象 恢复:gsql 导入, gs_
数据库调优: 逻辑内存管理参数 参数名称: max _ process _ memory 用于控制数据库上可用内存的最大峰值。 执行作业最终可用内存为: max _ process _ memory - shared memory (包括 shared _ buffers )-cstore _ buffers 所以影响执行作业可用内存参数的主要两个参数为 shared _
内存缓冲:数据字典缓存,数据缓冲区,日志缓冲区内存上下文: 1.一次性分配的共享内存,沿用pg的进程间通用机制,改为线程间共享 2.动态内存分配机制 目的:基于数据库中作业执行逻辑,通过内存上下文管理机制,提升查询内存分配,释放的效率 主要类型: 通用内存上下文:STANDARD_CONTEXT 栈式内存上下文:STACK_CONTEXT 共享内存上下文:SHARED_CONTEXT 通用对齐内存
1.系统架构:OM:运维管理模块,日常运维,配置管理的管理接口,工具等, CM:集群管理模块:集群启停,主备切换,和状态查询等 客户端驱动:负责接收应用访问及返回结果,与gauss通信, gaussdb 主备:负责存储业务数据,执行查询等, storage :存储数据,持久化2.线程:系统监控线程,检查点线程,后台写线程,日志写线程,归档线程等 sql 执行:客户端-解析器-查询优化-查询执
1.事务的概念事务是访问并更新数据库中各种数据项的一个程序执行单元。在事务中的操作,要么都做修改,要么都不修改。2.事务和锁当执行事务操作时(dml语句),mysql 会在表上加锁,防止其他用户修改数据。3.事务的特性:a.原子性:事务是一个原子操作,它要么全部成功,要么全部失败回滚。b.一致性:事务的执行必须使数据库从一个一致状态转换到另一个一致状态。c.隔离性:并发事务的执行不能相互干扰。事务
下图是InnoDB 存储引擎体系结构的内存与磁盘结构1.后台线程1.1 Master Thread主要负责将缓存池中的数据异步刷新到磁盘,保证数据的一致性,包括脏页的刷新、合并插入缓冲、undo 页的回收等。1.2 IO Thread在InnoDB 存储引擎中大量使用了AIO(Async IO)来处理写IO请求,这样可以大大提高数据库的性能。而IO Thread 主要负责IO 请求的回调处理。1.
1.锁机制数据库使用锁是为了支持对共享资源进行并发访问,提供数据的一致性与完整性。2.锁的类型a.共享锁(S Lock):允许事务读一行数据b.排他锁(X Lock):允许事务删除或更新一行数据c.意向共享锁(IS Lock):事务想获得一张表中的某几行的共享锁d.意向排他锁(IX Lock):事务想获得一张表中的某几行的排他锁3.锁的算法record lock:单个行记录上的锁gap lock:
1.索引的概念索引是数据库管理系统中用于提高查询速度的一种数据结构。2.索引的结构类型a. B-Tree索引:B树索引是MySQL中最常见的索引类型,适用于大部分场景。它支持全值匹配、范围查询和前缀匹配。b. 哈希索引:哈希索引是一种基于哈希表实现的索引,它支持全值匹配,但不支持范围查询和前缀匹配。在MySQL中,哈希索引主要应用于MEMORY存储引擎。c. 全文索引:全文索引是一种用于文本数据模
1.优缺点优点:a.备份过程快速可靠b.支持增量备份c.备份过程不会打断正在执行的事务d.能够基于压缩等功能节约磁盘和空间e.自动实现备份验证f.还原速度快缺点:a.只能对innodb 表进行增备,myisam表备份是全备b.对myisam 表进行备份时要对全库加read lock,阻塞写操作,若备份在从库上进行会影响主从同步,造成延迟。对innodb 表备份不阻塞读写2.备份原理a.首先inno
1.异步:服务发起数据更新操作请求,主库执行更新操作完成后立即向服务发起响应,然后再向从库发起数据同步。主库执行更新操作不需要等待从库的响应,因此主库对于服务的响应较快,但是数据同步到从库并不是实时同步的,所以主从延迟情况下,主库发生故障可能会导致主从数据不一致。2.半同步:服务发起数据更新操作请求,主库执行更新操作完成后立即向从库复制数据,从库接受到数据写入rely log 后才向主库返回ack
mysql 数据库的体系结构如下图:1.连接器:主要负责客户端与数据库的连接a.连接后没有任何动作,那么连接就处于空闲状态,show full processlist 进行查看b.客户端连接数据库后会在一定时间范围内断开连接,具体时间可以进行查看show variables like '%timeout%'interactive_timeout:服务器关闭交互式连接前等待活动的秒数。w
Postgresql 安装部署
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号