背景 在实际工作中，我们总会限制goroutine数量——worker pool模式，控制goroutine数量，避免goroutine泄露与膨胀 示例 package main import ( "fmt" "time" ) func worker(w int, jobs <-chan int,
原创
2022-08-21 00:19:41
77阅读
hi,大家好，我是haohongfan。sync.Pool应该是Go里面明星级别的数据结构，有很多优秀的文章都在介绍这个结构，本篇文章简单剖析下sync.Pool。不过说实话sync.Pool并不是我们日常开发中使用频率很高的的并发原语。尽管用的频率很低，但是不可否认的是sync.Pool确实是Go的杀手锏，合理使用sync.Pool会让我们的程序性能飙升。本篇文章会从使用方式，源码剖析，运用场景
推荐
原创
2021-05-18 10:33:48
1007阅读
sync.Pool 应该是 Go 里面明星级别的数据结构，有很多优秀的文章都在介绍这个结构，本篇文章简单剖析下 sync.Pool。不过说实话 sync.Pool 并不是我们日常开发中使用频率很高的的并发原语。 尽管用的频率很低，但是不可否认的是 sync.Pool 确实是 Go 的杀手锏，合理使用
转载
2021-06-11 10:34:00
212阅读
2评论
1. 缓存穿透1.1 问题描述key 对应的数据在数据源并不存在，每次针对此 key 的请求从缓存获取不到，请求都会压到数据源，从而可能压垮数据源. 比如用一个不存在的用户 id 获取用户信息，不论缓存还是数据库都没有，若黑客利用此漏洞进行攻击可能压垮数据库.1.2 解决方案一个一定不存在缓存及查询不到的数据，由于缓存是不命中时被动写的，并且出于容错考虑，如果从存储层查不到数据则不写入缓存，这将导
转载
2024-08-14 13:14:52
56阅读
hi, 大家好，我是 haohongfan。sync.Pool 应该是 Go 里面明星级别的数据结构，有很多优秀的文章都在介绍这个结构，本篇文章简单剖析下 sync.Pool。不过说实话 sync.Pool 并不是我们日常开发中使用频率很高的的并发原语。尽管用的频率很低，但是不可否认的是 sync.Pool 确实是 Go 的杀手锏，合理使用 sync.Pool 会让我们的程序性能飙升。本篇文章会从
原创
2021-05-20 18:36:41
324阅读
一、orm原生sql之Exec方法Exec方法只能执行 “插入、删除、更新数据” 的sql操作，不能执行查询操作，具体看下面示例： 1.1、原生sql插入数据操作ret, err := o.Raw(`INSERT into article(title, author, read_count) VALUE(?, ?, ?)`, "beego详解", "优选出品", 99999).Exec(
转载
2023-07-12 14:18:56
85阅读
----------------------- I encountered a problem in Go Garbage Collection inside a project of mine recently. A massive amount of object were allocated repeatedly and caused a huge workload of GC. Usin
转载
2021-09-30 23:00:00
154阅读
安装 go-redis 库安装go get github.com/go-redis/redis/v8连接普通连接模式 go-redis 库中使用 redis.NewClient 函数连接 Redis 服务器。redis连接池func myPool(addr, password string)*redis.Pool {
return &redis.Pool{
MaxIdle:64,
转载
2024-02-09 23:06:33
359阅读
什么是buffer pool？缓冲池，缓存表数据与索引数据，把磁盘上的数据加载到缓冲池，避免每次访问都进行磁盘IO，起到加速访问的作用。磁盘是按页读取，一次至少读取一页数据(一般是4K)。数据访问通常都遵循“集中读写”的原则，使用一些数据，大概率会使用附近的数据，这就是所谓的“局部性原理”，它表明提前加载是有效的，确实能够减少磁盘IO。InnoDB的缓冲池一般也是按页读取数据，存储结构如下：新老生
转载
2023-10-12 14:01:12
125阅读
刚刚经历了淘宝的双11，真实感受到了紧张的氛围。尽管DB淡定的度过，但是历程中的波折，可谓惊心动魄。其中MySQL在大量连接（万级）的场景下，表现出性能远远低于预期，并且出现明显的波动，成为一个非常重要的问题。问题虽然解决，但是后续的思考和方法的探索，仍然继续。以下是在MySQL层增加Thread pool方式，解决大量连接问题。1、《MySQL Thread Po
转载
2022-06-15 17:04:21
288阅读
文章目录系列文章目录前言一、Buffer Pool是什么？二、Buffer Pool是如何工作的？1. free链2. flush链根据脏页的情况(阈值)和相关配置刷新自适应刷脏3. Lru升级链总结参数：innodb_buffer_pool_size参数：innodb_buffer_pool_instances参数：innodb_change_buffer_max_size 系列文章目录1.
转载
2023-07-04 16:54:03
189阅读
本发明涉及一种动态数据库连接池实现DB监控的方法。背景技术：目前主流数据库性能指标监控，主要由工具如zabbix、nagios、cacti等通过自身丰富插件或自开发脚本来实现特定指标监控或由Agent方式监控目标。Agent方式对目标入侵性高，占用目标机资源，且Agent方式不便于监控目标的动态扩展。Agent在目标机中进程，可能会受到用户或其它操作影响。工具如Zabbix、Nagios等配置繁琐
转载
2023-09-06 15:33:26
70阅读
为什么要有缓存？我们知道每次获取数据我们都需要从磁盘获取，磁盘的运行速度又慢的不行，对于这一个问题我们要怎么解决呢？我们把查询结果存储起来不就行了，因为当需要访问某个页的数据时，就会把完整的页的数据全部加载到内存中，也就是说即使我们只需要访问一个页的一条记录，那也需要先把整个页的数据加载到内存中。所以在进行完这些页对应的操作之后，不释放，而是将他们存储起来，下次再访问这个页的时候，就可以直接从缓存
转载
2024-04-02 11:47:11
21阅读
Buffer Pool在MySQL服务器启动的时候就向操作系统申请了⼀⽚连续的内存，他们给这⽚内存起了个名，叫做Buffer Pool（中⽂名 是缓冲池）。 默认情况下Buffer Pool只有128M⼤⼩，最⼩值为5M，通过修改配置文件设置其大小（256M）： [server] innodb_buffer_pool_size = 268435456Buffer Pool内部组成Buffer Po
转载
2023-08-22 21:50:50
331阅读
Buffer Pool的并发性与动态扩容一、MySQL是如何提高并发性的 经过前面文章的学习，现在我们都知道了MySQL在内存中主要是围绕Buffer Pool操作的，当请求比较多的时候，单靠一个线程是肯定不够的，因此，这个一定是多线程的！就向下面这样： 以上面这个图为例，多个线程同时来处理请求并对Buffer Pool进行操作，每当一个线程来对Buffer Pool进行操作的时候，必定会对fre
转载
2023-12-15 20:20:19
44阅读
实例目标：展示如何实现一个简单的goroutine池，限制并发运行的goroutines数量。代码示例：package main
import (
"fmt"
"sync"
"time"
)
const poolSize = 3
// 模拟任务
func task(id int, wg *sync.WaitGroup) {
defer wg.Done()
