mb5ff980b461ced的博客_原创

按发布时间
按阅读量
时间轴

全部2557篇
2021年995篇 11月3篇 10月120篇 09月91篇 08月97篇 07月69篇 06月16篇 05月2篇 04月12篇 03月117篇 02月27篇 01月441篇 2020年128篇 12月7篇 11月5篇 10月8篇 09月21篇 08月5篇 07月7篇 06月27篇 05月19篇 04月8篇 03月9篇 02月4篇 01月8篇 2019年208篇 12月10篇 11月7篇 09月19篇 08月16篇 07月56篇 06月19篇 05月7篇 04月14篇 03月41篇 02月11篇 01月8篇 2018年209篇 12月14篇 11月28篇 10月7篇 09月12篇 08月40篇 07月13篇 06月18篇 05月19篇 04月35篇 03月12篇 02月6篇 01月5篇 2017年291篇 12月8篇 11月8篇 10月42篇 09月5篇 08月43篇 07月7篇 06月22篇 05月37篇 04月88篇 03月7篇 02月7篇 01月17篇 2016年167篇 12月7篇 11月39篇 10月7篇 09月5篇 08月11篇 07月26篇 06月10篇 05月7篇 04月21篇 03月8篇 02月5篇 01月21篇 2015年122篇 12月16篇 11月17篇 10月6篇 09月21篇 08月9篇 07月13篇 06月4篇 05月7篇 04月4篇 03月6篇 02月1篇 01月18篇 2014年60篇 12月4篇 11月7篇 10月17篇 09月8篇 08月5篇 07月6篇 06月2篇 05月2篇 04月2篇 03月5篇 02月1篇 01月1篇 2013年81篇 12月3篇 11月3篇 10月18篇 09月7篇 08月6篇 07月9篇 06月9篇 05月8篇 04月8篇 03月3篇 02月4篇 01月3篇 2012年94篇 12月2篇 11月2篇 10月1篇 09月4篇 08月1篇 07月12篇 06月2篇 05月10篇 04月7篇 03月24篇 02月22篇 01月7篇 2011年55篇 12月9篇 11月9篇 10月5篇 09月1篇 08月6篇 07月3篇 06月1篇 05月4篇 04月3篇 03月8篇 01月6篇 2010年50篇 12月1篇 10月1篇 08月5篇 07月10篇 06月17篇 05月2篇 04月3篇 03月3篇 02月8篇 2009年29篇 12月10篇 11月3篇 10月1篇 09月4篇 08月2篇 07月3篇 06月2篇 05月1篇 04月1篇 03月1篇 01月1篇 2008年31篇 12月1篇 10月1篇 09月1篇 08月12篇 07月4篇 06月2篇 05月2篇 04月4篇 03月3篇 01月1篇 2007年17篇 12月4篇 10月2篇 09月3篇 08月2篇 07月5篇 03月1篇 2006年17篇 12月2篇 10月2篇 09月1篇 08月6篇 07月6篇 2004年3篇 07月3篇
推荐/精选
原创

全部原创转载翻译

比ls快8倍？百万级文件遍历的奇技淫巧

1.问题背景在Linux下当我们操作一个文件数较少的目录时，例如执行ls列出当前目录下所有的文件，这个命令可能会瞬间执行完毕，但是当一个目录下有上百万个文件时，执行ls命令会发生什么呢，带着疑问，我们做了如下实验(实验中使用的存储设备为NVMe接口的SSD)：[root@localhost /data1/test_ls]# for i in {1..1000000}; do echo 'AAAAA

java

原创 2021-03-11 11:04:16 2280 阅读

玩转MyRocks/RocksDB--STATISTICS与后台线程篇

0. Intro在facebook的MySQL版本(以下称为MyRocks)中，RocksDB是可选的存储引擎。相比于InnoDB引擎，RocksDB的一个重要的优势是它使用更少的磁盘空间。在生产系统中，特别是用户数在亿级以上的互联网应用，磁盘空间是其中比较大的成本之一，而能够使用更少的磁盘空间的RocksDB无疑是具有吸引力的。然而在生产系统中使用新的存储引擎自然有它的潜在风险，除了通过外部的各

java

原创 2021-03-11 11:01:43 774 阅读

MySQL Binlog实用攻略

1.概述binlog是Mysql sever层维护的一种二进制日志，与innodb引擎中的redo/undo log是完全不同的日志；其主要是用来记录对mysql数据更新或潜在发生更新的SQL语句，并以”事务”的形式保存在磁盘中；作用主要有：[x] 复制：MySQL Replication在Master端开启binlog，Master把它的二进制日志传递给slaves并回放来达到maste

java

原创 2021-03-11 11:01:13 293 阅读

详解RocksDB如何通过组提交提升性能

0. Intro从维基百科的ACID词条，我们可以看到：ACID，是指数据库管理系统（DBMS）在写入或更新资料的过程中，为保证事务（transaction）是正确可靠的，所必须具备的四个特性：原子性（atomicity，或称不可分割性）、一致性（consistency）、隔离性（isolation，又称独立性）、持久性（durability）。特别地，为了保证事务的原子性和持久性，在对数据库内存

java

原创 2021-03-11 11:00:14 1241 阅读

如何让xtrabackup恢复速度提升20倍？

简介 Xtrabackup是由percona开源的免费数据库热备份软件，它能对InnoDB数据库和XtraDB存储引擎数据库进行非阻塞的备份，其具备以下一些优点： 1）备份速度快，物理备份可靠 2）备份过程不会打断正在执行的事务 3）能够基于压缩等功能节约磁盘空间和流量 4）自动备份校验 5）还原速度快 6）可以流传将备份传输到另外一台机器上 7）在不增加服务器负载的情况备份数据

java

原创 2021-03-11 10:59:49 357 阅读

一个MySQL主从切换不成功故障引发的思考

近日接到一个故障，主从异步方式，主 crash后，从不可用，检查发现从机Read_Master_Log_Pos与Exec_Master_Log_Pos不一致，似乎还有binlog在回放中，HA在等回放结束，一直保持这个状态。难道从机也出故障了？根本原因是什么？且看下文。MySQL binlog简介首先简单了解要下binlog日志，Binary Log是在MySQL3.23.14中引

java

原创 2021-03-11 10:59:23 373 阅读

一个ext4的Bug分析过程

1. 问题背景日前，某客户反映他们的实例有一段时间内慢查询突增，监控页面上也显示那段时间内监控数据也没有上报，经查看系统日志，以下内容引起了我们的注意：Mar 15 23:06:30 TENCENT64 kernel: BUG: soft lockup - CPU#2 stuck for 22s! [jbd2/md0-8:3661] ... Mar 15 23:06:30 TENCENT64 ke

java

原创 2021-03-11 10:58:53 1129 阅读

腾讯新一代企业级云数据库CynosDB(NewCDB)

CynosDB产品简介。CynosDB，又称NewCDB，是由腾讯云和TEG基础架构部数据库技术团队联合打造的面向云计算2.0时代的新一代企业级分布式云数据库。在兼容开源数据库MySQL的生态体系下，它重新定义了MySQL分布式架构，从而在单实例极致性能、事务响应延时、存储扩展性以及可用性等关键技术指标上，达到商用级数据库级别；与此同时，它是面向通用硬件进行的软件极致优化，相比商用级数据库，它的性

java

原创 2021-03-11 10:58:19 486 阅读

MySQL在删除表时I/O错误原因分析

问题现象最近使用sysbench测试MySQL，由于测试时间较长，写了一个脚本按prepare->run->cleanup的顺序在后台跑着。跑完后察看日志发现一个问题，MySQL服务的错误日志中出现多条类似以下信息的报错：[ERROR] InnoDB: Trying to do I/O to a tablespace which does not exist. I/O type: re

java

原创 2021-03-11 10:57:44 193 阅读

如何在数据库中高效实现订座功能？

第一部分：SKIP LOCKED/NOWAIT订座功能实现订座在现实生活中是一种很常见的场景，比较常见的有火车票席位选择，电影院席位选择等等。那么如何实现订座功能呢？应用程序可能有很多种不同的实现方式，当然，肯定离不开数据库。这里将介绍一种纯数据库的实现方式。设想我们有一张座位表如下：CREATE TABLE seats ( seat_no INT PRIMARY KEY, booked

java

原创 2021-03-11 10:57:13 208 阅读

Linux调度原理介绍和应用（前篇）

摘要本文（有码慎入）主要介绍Linux任务调度相关的发展历史和基本原理。多年以来，内核界的黑客们一直着力于寻找既能满足高负载后台任务资源充分利用，又能满足桌面系统良好交互性的调度方法，尽管截至到目前为止仍然没有一个完美的解决方案。本文希望通过介绍调度算法的发展历程，因为任务调度本身不是一个局限于操作系统的话题，包括数据库，程序语言实现等，都会与调度相关。本文在介绍过程中，会引用Linux的代码实现

java

原创 2021-03-11 10:56:33 907 阅读

OpenSSL与yaSSL性能对比

摘要MySQL可以使用OpenSSL或yaSSL/wolfSSL进行编译，这两者都支持基于OpenSSL API的加密连接。在5.7版本，我们知道默认情况下MySQL Community Edition用的SSL库是yaSSL，而在8.0版本，MySQL Community Edition用的是OpenSSL。那么SSL加密对性能有什么影响呢？这两个SSL库在性能上又到底有多大差别呢？我们接下来进

java

原创 2021-03-11 10:56:10 1081 阅读

时间精度引起MySQL主从不一致问题剖析

主从数据不一致近日接报某实例一个datetime字段主从数据不一致，其它数据暂未发现异常。第一反应可能是人为修改，如果用户有高权限帐号，是可以做到的，但检查所有帐号权限排除了这种可能。难道有黑客入侵？神经一下绷紧，仔细排查各种系统状态，很快也排除了这种可能。同时分析业务类型，有问题的值都是从机都是比主机少一秒，时间戳被改小一秒不能带来任何收益，被非法篡改的可能性基本排除。2.

java

原创 2021-03-11 10:55:45 512 阅读

线上IO问题跟踪-剖析MySQL IO路径

、问题描述某业务CDB实例，每天在特地时间段内（ 00:07:00 - 00:08:00左右）机器对应IO监控出现写入尖刺，且主从实例都有类似现象，从机器监控可以看到，问题确实存在。不仅master，进行同步的slave上有相同的现象，业务方希望找到导致该IO尖刺问题稳定出现的原因。二、问题分析首先确定问题来源，上图所示监控为机器级别，机器IO写入负载是否来源于mysqld进程？如果来源于mysq

java

原创 2021-03-11 10:55:05 385 阅读

一个编译参数引发的血案

问题描述前几天进行测试,发现一个神奇的现象:不加任何优化的版本与加了-O2参数的版本测试结果不一致!主要代码类似以下例子：#include <stdio.h> #include <stdint.h> class Foo { public: Foo() { printf("%s\n", "ctor"); } ~Foo() { printf("%s\n", "dto

java

原创 2021-03-11 10:54:43 451 阅读

TX-Rocks Sum性能调优之旅

1. 问题剖析1.1 perf 火焰图部分火焰图如下：通过火焰图发现CPU时间大部份花在三个地方:(1) myrocks::ha_rocksdb:: convert_record_from_storage_format(2) rocksdb::DBIter::Next(3) sub_select到rnd_next_with_direction的函数调用开销。 1.2 topTop命令查看Mysq

java

原创 2021-03-11 10:54:14 215 阅读

CKV+之进化历程

一、引言 CKV是腾讯自主研发的分布式内存KV存储系统，具备高性能、高可用，低成本等特性。从2009年上线至今，先后服务了空间、游戏、QQ、视频、音乐、微信、支付等诸多业务，与此同时，也为云上的用户提供高效、稳定的服务。 CKV在近一段时间，进行了一次较大规模的重构优化，本文将从新老系统以及自研与开源等角度进行对比，呈现系统的一些设计理念与解决方案。二、背景在

java

原创 2021-03-11 10:53:46 584 阅读

Elasticsearch 最佳实践系列之分片恢复并发故障

大家好，今天为大家分享一次 ES 的填坑经验。主要是关于集群恢复过程中，分片恢复并发数调整过大导致集群 hang 住的问题。一、场景描述废话不多说，先来描述场景。某日，腾讯云某 ES 集群，15个节点，2700+ 索引，15000+ 分片，数十 TB 数据。由于机器故障，某个节点被重启，此时集群有大量的 unassigned 分片，集群处于 yellow 状态。为了加快集群恢复的速度，调整分片恢复

java

原创 2021-03-11 10:53:16 923 阅读

详解MySQL-8.0数据字典

1. 引言数据字典(Data Dictionary)中存储了诸多数据库的元数据信息如图1所示，包括基本Database, table, index, column, function, trigger, procedure，privilege等；以及与存储引擎相关的元数据，如InnoDB的tablespace, table_id, index_id等。MySQL-8.0在数据字典上进行了诸多优化，

java

原创 2021-03-11 10:52:49 1363 阅读

MySQL-8.0 redo优化剖析

前言redo_log的作用设计初衷为了提高写入性能同时解决ACID中Duration。MySQL 8.0对redo_log进行了无锁化设计，去除了redo_log性能的瓶颈，从而在数据库整体性能上有了较大提升。本文将结合已有资料和最新MySQL release代码，介绍MySQL redo log优化，主要设计模块包括redo_log、mtr和一部分buffer/flush lists。1 MyS

java

原创 2021-03-11 10:50:48 411 阅读

详解Early Lock Release

Early Lock Release 的原理数据库领域存在很多优化措施（例如 group commit），它们很早就被提出来了，ELR 也不例外[1]。在多核处理器的时代，ELR 又被人发掘出来评估对系统性能的影响，例如[2]和[3]评估了包括 ELR 在内的多种性能优化措施。在数据库中，典型的一个事务 t1 操作流程如下： 0. begin transaction; 1. searc

java

原创 2021-03-11 10:50:23 326 阅读

SQL标准简介

Table of ContentsSQL 的起源SQL 的标准化SQL 标准的历史学习 SQL 标准SQL 标准的符合性SQL 的起源通常认为，SQL 是 Structured Query Language 的缩写，规范的发音是 “ˌɛsˌkjuːˈɛl”。但是它的前身是著名的关系数据库原型系统 System R 所采用的 SEQUEL 语言，这也是为什么有很多人将其读作 “ˈsiːkwəl” 的

java

原创 2021-03-11 10:49:11 501 阅读

深度剖析MySQL慢更新问题

问题现象最近，腾讯云某内部系统不定期出现数据库访问行更新慢，数据库用户线程大量堆积的现象。从slow log中观察，大量update执行时间超过10秒，甚至个别update执行时间超过百秒，这已经严重影响该系统的正常运行。运维同学不得不采取杀死运行session的方式解决该问题，由于访问数据库的任务是离线后台批处理任务，因此会选择业务压力小的时候运行该任务，比如半夜12点，因此，运维同学必须半夜

java

原创 2021-03-11 10:48:39 464 阅读

MySQL-8.0执行器及其改进

数据库管理系统中，最重要的模块包括SQL优化器、SQL执行器、事务管理器等。SQL语句处理流程为：SQL输入->语法分析->语义检查->逻辑优化->物理优化->执行。其中SQL执行器就是按照SQL优化器生成的执行计划，有机的调用存储、索引、并发等模块，实现各种计划结点算法来完成数据的读取或者修改过程。在MySQL8.0中执行器部分代码发生了较大改变，新的执行器向经典的

java

原创 2021-03-11 10:47:35 591 阅读

浅析InnoDB文件结构

1 综述innodb的物理文件包括系统表空间文件ibdata，用户表空间文件ibd，日志文件ib_logfile，临时表空间文件ibtmp，undo独立表空间等。系统表空间是innodb最重要的文件，它记录包括元数据信息，事务系统信息，ibuf信息，double write等关键信息。用户表空间文件通常分为两类，一类是当innodb_file_per_table打开时，一个用户表空间对应一个文件，

java

原创 2021-03-11 10:47:05 336 阅读

InnoDB MVCC 详解

概述InnoDB支持MVCC（Multi-Version Concurrency Control), undo日志中保存了多版本的记录，undo支持事务回滚的同时，也支持数据的一致性读。undo日志保存在回滚段中，undo日志的回收由purge操作进行。InnoDB行记录中保存了事务相关信息如事务id，roll_ptr。id用于可见性判断，roll_ptr用于从undo中回溯历史版本。一致性读会

java

原创 2021-03-11 10:46:38 474 阅读

腾讯云MongoDB多机房部署场景下就近访问原理详解

背景介绍为了保证服务可用性和数据可靠性，一些重要业务会将存储系统部署在多地域多机房。比如在北京，上海，深圳每个地域的机房各存储一份数据副本，保证即使某个地域的机房无法提供访问，也不会影响业务的正常使用。在多机房部署时，需要考虑多机房之间的网络延迟问题。以作者的ping测试结果为例，上海<-->深圳的网络延迟约为30ms，而在一个机房内部，网络延迟仅在0.1ms左右。腾讯云MongoD

java

原创 2021-03-11 10:46:02 754 阅读

腾讯云MongoDB多机房部署场景下就近访问原理详解

java

原创 2021-03-11 10:45:57 753 阅读

深入浅出InnoDB MLOG CHECKPOINT

1 MLOG CHECKPOINT是什么在MySQL 5.7存储引擎InnoDB崩溃恢复中，我们一定看到过MLOG_CHECKPOIN的身影。从上一个检查点(LOG CHECKPOINT)开始，进行第一次redo日志扫描(参考函数recv_group_scan_log_recs() )，就是要找到MLOG_CHECKPOINT。那么MLOG_CHECKPOINT是用来做什么的？大家都知道在Inno

java

原创 2021-03-11 10:45:21 340 阅读

深入浅出InnoDB MLOG CHECKPOINT

java

原创 2021-03-11 10:45:14 245 阅读

欢迎

首页
1
2
3
4
5
6
7
8
共567条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

mb5ff980b461ced的博客