简介在一些大容量得数据库应用中，采用全量备份得方式，会带来大量时间浪费和开销，此时定期的增量备份可以使得数据存储周期变长。本文讲解几个增量备份工具pg_basebackup + pg_receivewal（异地归档模式）使用pg_basebackup进行全量备份，并创建复制槽receivewal_slot，在使用pg_receivewal通过复制槽receivewal_slot对wal的定位进行
简介今天遇到了一个非常低级的错误，psql无法访问已知的数据库当我使用psql -h 的时候，会提示报错[postgres@vm107 ~]$ psql -h 10.0.0.107 Password for user postgres: psql: error: connection to server at "10.0.0.107", port 5432 failed: FATAL: no
简介在OS中使用cache机制，主要为了提高磁盘的读取效率，避免高频的IO交换。将频繁访问的数据存放在file cache中，下一次在获取的时候就可以直接读取，缓存高命中率对于数据高速检索十分有利。smemsmem 是一个可以显示 Linux 系统中进程内存使用情况的工具，它可以显示包括进程共享的内存部分，如文件缓存。你可以使用它来查看每个进程的内存使用情况（包括共享内存）。smem -k 会有
简介SQL优化中读懂执行计划尤其重要，以下举例说明在执行计划中常见的参数其所代表的含义。创建测试数据-- 创建测试表 drop table if exists customers ; drop table if exists orders ; drop table if exists order_items ; drop table if exists products ; CREATE TABL
简介僵尸进程（zombie process）是指一个已经终止但仍然在进程表中保留条目的进程。正常情况下，当一个进程完成执行并退出时，操作系统会通过父进程调用的wait()或waitpid()系统调用来收集该子进程的退出状态。如果父进程未及时调用这些函数，子进程的状态信息就无法从内核中移除，导致进程在内核中以“僵尸”状态存在。此状态下的子进程，使用kill -9 就是“鞭尸”，是无法移除僵尸进程
简介patroni+etcd,算是目前比较主流的PG高可用搭配了。 patroni都出4.0版本了,一直没时间，断断续续写了好久，最近有人问到，那就当作一个笔记发表吧，自行搭建一个测试库做测试吧。来来回回改了好几遍。文中可能不妨地方没有同步修改的遗漏点。集群规划hostname/ip部署软件备注配置etcd1/10.0.0.131etcddcs一致性保障2G 2Cetcd2/10.0.0.132e
简介 postgresql中逻辑复制槽常备用于表级别的数据同步，多用于PG->PG之间跨版本的数据同步。Debezium插件便是利用逻辑复制的功能，可以将数据应用到异构数据库之间的数据同步。在不借助外部插件的情况下也可以同步读取复复制槽数据，实现数据异构之间的实时同步。 本文讲解一下使用逻辑解码实现异构数据库之间数据实时同步的方法思路。 创建复制槽 需要创建逻辑复制槽，物理复制槽并不能作为逻
简介 生成列（虚拟列）：在实际开发中，相对一个历史数据的表增加一个字段，增加下游报表，数据分析的可用性。常见的方法就是删表重建，或者使用ADD column 语法。如果是一个历史表，删掉表数据是有风险的，历史的数据不一定还能再复现。第二中ADD COLUMN语法，随然你可以再存储中增加这个字段的处理，但是先
简介在数据库字符集中，由于数据质量的控制不够完善，每一个字符集都并不是所有字符的能看见，有些字符的展示可能会出现乱码，甚至出现不同字符展示成同样效果的可能，给开发人员造成分析错觉。 当数据库存入了控制符，类似制表符,展示的效果竟然和空格效果一样，而且还无法trim掉，对于开发人员可能会带来视觉错觉。错觉展示此时表中存入了一个制表符，展示看着是空格，而且长度为1，展示的效果与空格一样，常人根本无法一
简介在postgresql中，库级别的复制，通常使用主从复制，但是主从暂时不支持跨大版本复制，使用跨版本复制以及表级别的复制通常使用发布订阅。postgresql15在逻辑订阅上做了一些修改，对于使用者的便利性更高。1、 publication 发布创建发布，需要数据库的两个核心参数 1）wal_level wal_level 必须是logical，wal_level 有三个级别minimal,
简介 首先postgresql是支持python的，在安装postgresql数据库的时候需要执行python支持。可以使用python进行写fundcation 自然也就可以自定义funcation去读取HDFS文件，以此替换掉hive的，省去中间频繁切换服务器的麻烦。 安装postgresql useradd postgres --创建用户（此时会默认指定的用户组，这个用户名称建议保持
简介 在数据库字符集中，由于数据质量的控制不够完善，每一个字符集都并不是所有字符的能看见，有些字符的展示可能会出现乱码，甚至出现不同字符展示成同样效果的可能，给开发人员造成分析错觉。 当数据库存入了控制符，类似制表符,展示的效果竟然和空格效果一样，而且还无法trim掉，对于开发人员可能会带来视觉错觉。 错觉展示 此时表中存入了一个制表符，展示看着是空格，而且长度为1，展示的效果与空格一样，常人根本
简介今天看到白鳝老师的一篇文章说《你的PG数据安全准确吗》，主要讲postgresql数据库在数据文件丢失的情况下，对其增、删、改、查不会报错，但是数据会出现失真，所以今天想写一篇在开发人员使用数据库中使用in ,exists,any语法造成数据失真的情况。早前关于此类问题在我CSDN博客有过发表。本文以postgresql14.7\mysql8.0.26\oracle19C 三个数据库版本进行试
简介“今天发现一个比较奇怪的现象，因为博主不熟悉mysql，所以在安装hive的使用了postgresql作为hive的元数据库，在测试几个连接工具对hive进行链接，后面再测试的时候发现链接不上了，并且报错日志如下：”SLF4J: Failed toString() invocation on an object of type [org.apache.hadoop.hive.ql.sessio
简介Spark Streaming是Apache Spark生态系统中的一个组件，用于实时流式数据处理。它提供了类似于Spark的API，使开发者可以使用相似的编程模型来处理实时数据流。Spark Streaming的工作原理是将连续的数据流划分成小的批次，并将每个批次作为RDD（弹性分布式数据集）来处理。这样，开发者可以使用Spark的各种高级功能，如map、reduce、join等，来进行实时
01、简介“ 在我前两次的文章中，说到postgresql对于python的支持，其实很多功能也就可以封装进入的postgresql数据库中去。比如fdw、etl等，本文将以此为叙述点，进行演示展示”在postgresql数据库中fdw的支持，在创建和使用上都不上太方便，特别是fdw在用表级别关联的时候，性能会大大折扣，因为fdw的数据并不会落地到本地。所以我们可以利用postgresql对于py
“ Hadoop在大数据的应用可以说是非常广泛，国产大数据平台中很多也是引用了Hadoop大数据的技术框架。了解hadoop对于学习大数据技术是一个非常基础的要求和前提条件。"Hadoop简介Hadoop是一个开源的分布式存储和计算框架，最初由Apache软件基金会开发。它的发展背景可以追溯到Google的MapReduce和Google File System（GFS）的论文，这两篇论文启发了H
kafka在流数据、IO削峰上非常有用，以下对于这款程序，做一些常见指令介绍。下文使用–bootstrap-server 10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092需自行填写各自对应的集群IP和kafka的端口。该写法 等同–bootstrap-server localhost:9092kafka启动kafka-server-start.sh
“这是一篇理论文章，给大家讲一讲kafka”简介在大数据领域开发者常常会听到MQ这个术语，该术语便是消息队列的意思， Kafka是分布式的发布—订阅消息系统。它最初由LinkedIn(领英)公司发布，使用Scala语言编写，与2010年12月份开源，成为Apache的顶级项目。Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统。它主要用于处理活跃的数据(登录、浏览、点击、分享、喜欢等用户
“ 对于一个数据库来说，SQL大家肯定最熟悉不过了。但是作为数据库开发者，我认为数据库不应该只是支持SQL语言。应该支持更多编程语言。比如python、java、c++等更多编程语言，让数据库在多种语言之间的管理、功能上实现最大便捷，这才是未来数据库最大的发展趋势。也是国产数据库在实现崛起的弯道之一。就像手机不仅能打电话，还要能拍照。汽车不仅需要发动机，也需要冰箱、彩电、大沙发。”01—
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
