51CTO首页
资讯
博客
学堂
精培
企业培训
CTO训练营
开源基础软件社区
WOT技术大会
元宇宙大会
收藏本站
移动端
公众号矩阵
博客
免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2022年软考 PMP项目管理
在线学习 企业服务
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 开源课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙技术社区视频号

DBA亲，你们的RAID5阵列有保障吗？

    该文章主要整理论坛内容。（论坛地址：http://bbs.et8.net/bbs/showthread.php?t=1026112）     很多人遇到过服务器RAID5挂掉，往往掉一个盘后，第二个盘也立刻挂掉。     引用：RAID 5也是以数据的校验位来保证数据的安全，但它不是以单独硬盘来存

数据库
RAID5
DB
置顶 原创 推荐 点赞7 阅读4884 收藏0 评论7 2012-09-25
MySQL 过滤规则-误解处理

MySQL 过滤规则-误解处理

   案例：Slave启用了复制过滤-replicate-do-db=db1（ROW复制模式），具体过滤注意事项可以参考我之前的blogMySQL复制过滤注意事项,在Master上执行 alter table db1.tb1 add xxx,Slave 相关tb1 表没有生效；   Slave复制正常，errorlog 没啥信息，我印象当中 DML（inse

MySQL
FILTER
Replication
原创 推荐 点赞1 阅读3053 收藏0 评论3 2014-10-20

恢复Innodb损坏的表

    运行着Innodb 引擎的MySQL 在遇到硬件故障，内核bug 或者是突然断电，MySQL本身的bug，可能会造成Innodb表空间的损坏，提示的信息大致如下：InnoDB: Database page corruption on disk or a failed InnoDB: 

innodb recovery
翻译 点赞0 阅读4968 收藏0 评论0 2014-10-17

Innodb恢复--innodb_force_recovery

    Innodb事务型存储引擎，通过redo，undo，double write这些特性保证数据的完整，针对硬件故障，内核bug，突然断电的事件，需要手动对Innodb进行恢复；    可以将Innodb page 损坏分为几类，data page 损坏，secondary_index page 损坏， root index 损坏,data dictio

Innodb
recovery
原创 点赞0 阅读4014 收藏0 评论0 2014-10-15

Python创建daemon

    参考《Linux/Unix 系统编程手册》    变成daemon，一个程序需要完成以下步骤：    1、执行一个fork(),父进程退出，子进程继续执行。（daemon成为了init进程的子进程）      --假设daemon是从命令行启动，父进程的终止会被shell发现，之后shell会显示出另

Linux
程序
python
后台运行
原创 推荐 点赞0 阅读1770 收藏0 评论0 2014-10-08

mysql 锁问题处理

   错误信息如下# Time: 140122 16:34:23 # User@Host: xxxxxxx # Thread_id: 19904440 Schema: xxxx Last_errno: 1205 Killed: 0 # Query_time: 200.911931 Lock_time: 0.000041 Rows_sent: 0 Rows_exam

mysql
异常处理
锁
原创 点赞0 阅读876 收藏0 评论0 2014-02-17

升级centos内核

   升级CentOS内核大部分是采用编译安装的方式，我偷个懒采用yum的方式进行升级(前提是备份好重要数据)!    yum源分两种内核版本：mainline 和long-term  ，由于long-term更稳定，会长期更新，所以考虑使用long-term(LT)系列;    yum源和详细操作步骤，可以参考官方文档htt

centos
升级内核
yum源
原创 点赞1 阅读880 收藏0 评论1 2014-02-17
slave 延迟案例处理

slave 延迟案例处理

   先说下大体架构： Master下面挂着3个slave，读写分离，3个slave是一个读集群（版本均为Percona 5.1）    故障现象：其中一台机器（暂且称之为C）slave延迟偶尔瞬间为22秒！    可能的情况是：    1、瞬间可能有大量的更新；    2、有些SQL语句耗费太多

处理
延迟
slave
原创 点赞1 阅读781 收藏0 评论4 2014-02-16

MySQL RBR问题

   MySQL 版本5.5.33 (Percona)    BinlogFormat：ROW    Replicate_Ignore_DB：mysql    OS: CentOS 6.3    前提假设各位对MySQL的复制过滤规则已很清楚；具体可参考本人之前blog 复制过滤注意事项 &nbs

mysql rbr
原创 点赞0 阅读870 收藏0 评论0 2014-01-20
加快xtrabackup备份速度

加快xtrabackup备份速度

   xtrabackup已家喻户晓，如果面临xtrabackup进行远程备份，时间大多花在网络传输中，受orzhou 大师 tar+lz4/pigz+ssh更快的数据传输 的启发，可以采用边压缩边传输的方式：    线上xtrabackup采用stream备份方式，传送到远端机器；    原先的流程是：磁盘读取-->打包--&g

xtrabackup
原创 点赞2 阅读2242 收藏0 评论3 2014-01-10

压榨SCP传输速度

   对于千兆网来说，带宽大致为125M/s，scp的速度约为40M/s,对于需要全量恢复数据库的时候（300G 左右的量），需要2个小时左右，很不能接受这种情况；        加快SCP传输速度需要考虑以下几点：        1、ssh加密算法的改变；（加密算法越弱速度越快在IDC内网间可以

ssh
scp
传输速度
压榨
原创 点赞1 阅读10000+ 收藏0 评论1 2014-01-10

Xtrabackup bug记录

   xtrabackup 2.1.2  2.1.3 均出现以下问题：    xtrabackup: warning: Log block checksum mismatch (block no 191401143 at lsn 3946288081920): expected 800836998, calculated checksum 800

bug
xtrabackup
原创 点赞1 阅读5280 收藏0 评论5 2014-01-03

Select count(*) & Select count(1) & Select count(col)

   历史问题啦，今天拿出来翻翻；    MyISAM引擎，记录数是结构的一部分，已存cache在内存中;    InnoDB引擎，需要重新计算，id是主键的话，会加快扫描速度；    所以select count(*)  MyISAM完胜！    MyISAM 在有where 条件存在

select
原创 点赞1 阅读823 收藏0 评论2 2014-01-02

Python管理工具

   未完待续！curl -0 http://python-distribute.org/distribute_setup.py | python

管理工具
python
原创 点赞0 阅读948 收藏0 评论0 2013-12-29

MySQLDUMP注意事项&使用技巧

   MySQLDUMP大家并不陌生，这里简单说其备份流程，及注意事项等等；    常用参数：    -single-transaction :    只针对事务存储引擎（Innodb）生成一致性快照，其他引擎不能保证导     出是一致的；备份期间禁止使用ALTER,DROP,RENAME,T

数据库
注意事项
mysqldump
原创 点赞0 阅读1223 收藏0 评论0 2013-12-29

MySQL 丢失密码问题

   重置MySQL密码:    停止MySQL服务,使用skip-grant-tables参数启动    service mysqld stop; mysqld_safe --skip-grant-tables --user=mysql&    此时无需授权就可以进入到MySQL命令行   &nb

MySQL
密码丢失
原创 点赞0 阅读393 收藏0 评论0 2013-12-28

Shell 使用技巧

   1、搜索曾经用过的命令         Ctrl + r 会提示：(reverse-i-search)`': 进行模式匹配即可       History | grep 进行过滤    2、查看某端口ip连接情况，比如3306netstat -ano | grep 3306 | a

shell
使用技巧
原创 点赞3 阅读1105 收藏0 评论6 2013-12-14
linux的IO调度算法和回写机制

linux的IO调度算法和回写机制

   Linux IO调度程序是块设备I/O子系统的主要组件，它介于通用块层和块设备驱动程序之间，如下图所示。当Linux内核组件要读写数据时，并非一有请求便立即执行，而是将请求放入请求(输入)队列，并推迟执行。为什么如此设计？原因在于Linux需要应对的最核心的块设备是磁盘。磁盘的寻道时间严重制约磁盘性能，若想提高磁盘IO性能必须想尽办法减少磁盘寻道次数。   &

Linux
io调度算法
回写机制
转载 点赞1 阅读617 收藏0 评论0 2013-12-08
zabbix 错误报警

zabbix 错误报警

   zabbix 突然间报：Zabbix agent on {HOST.NAME} is unreachable for 5 minutes    N多机器都有这样的报警；    登陆查看被监控机，一切正常，网络一切正常；    查看zabbix agent 日志，没有异常；    查看zabb

zabbix
错误报警
原创 点赞3 阅读4451 收藏0 评论3 2013-12-03

磁盘IOPS计算与测量

   IOPS 是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的I/O请求数量为单位，I/O请求通常为读或写数据操作请求。随机读写频繁的应用，如OLTP，IOPS是关键衡量指标。    数据吞吐量(Throughput)，指单位时间内可以成功传输的数据数量。对于大量顺序读写的应用，如VOD(Video On Demand)，则更关注吞吐量指标。

iops
计算域测量
原创 点赞2 阅读786 收藏0 评论1 2013-12-02

drbd-优化性能

  测试吞吐量：  测试系统吞吐量不是关键，最重要的是在使用DRBD性能前后的影响；该测试使用一个512M的块到drbd设备，进行对比测试 #!/bin/bash resource=r0 test_device=`drbdadm sh-dev $resource` test_ll_device=`drbdadm sh-ll-dev&nbs

性能
drbd
原创 推荐 点赞2 阅读1424 收藏0 评论4 2013-12-01
Linux--工具集--fuser

Linux--工具集--fuser

   从他的名字就能看书这个工具的用途：查询给定文件或目录的用户或进程信息；lsof也具备类似的功能，它也能够找出正在对指定文件访问的进程，两者的区别是fuser在于它可以一次杀死那些正在访问指定文件的进程。fuser常用的场合是：fuser可用于查询文件、目录、socket端口和文件系统的使用进程，并且可以使用fuser关闭进程。当文件系统umount报device bus

shell
fuser
原创 点赞1 阅读950 收藏0 评论2 2013-12-01

分库分表产生的问题，及注意事项

1.   分库分表维度的问题假如用户评论了某个视频,需要将评论记录保存取来，如果按照用户的纬度分表，则每个用户的评论记录都保存在同一表中，所以很快很方便的查找到某用户的评论情况，但是某视频被评论的情况则很有可能分布在多张表中，查找起来比较麻烦。反之，按照视频ID维度分表，可以很方便的查找到此视频的评论情况，但要查找到某人的评论记录比较麻烦。所以常见的解决方式有：    

分库分表
原创 点赞2 阅读1843 收藏0 评论2 2013-11-29

DRBD 管理、故障处理部分

   1、DRBD开机自自动(chkconfig --add drbd)，需要注意一下wait time out选项：、       wfc-timeout 120;  如果为0的话，它会无限的等待下去；       在配置高可用如keepalived时候，要注意 先保证drbd数据的一致性；然后在启动ke

故障处理
drbd管理
原创 点赞0 阅读1219 收藏0 评论0 2013-11-28

关于MySQL分库分表--简单想法

   为提高业务响应时间，避免OS处理过大的文件，修改MySQL表结构应用更顺畅，分库分表是最好的选择；大致的两个思路是：    1、数据表容量一定，表的个数不限；    2、数据表的个数一定，容量递增；    针对表容量一定，有以下思路：称之为step方式：        

mysql
hash
分库分表
原创 点赞0 阅读1102 收藏0 评论0 2013-11-28

关于MySQL分库分表缘由

   关于分库分表,要关心硬件,业务,分布式,和数据库选型.    基本指标:库物理文件大小<100G    表<100    字段<200    单表记录数<500W    分库分表直接目的是要控制表的数量，控制数据的容量，最终的目的是降低响应延迟，更

MySQL分库分表指导思想
转载 点赞0 阅读1007 收藏0 评论0 2013-11-27

DRBD--监控篇

[root@drbd-master ~]# cat /proc/drbd version: 8.3.15 (api:88/proto:86-97) GIT-hash: 0ce4d235fc02b5c53c1c52c53433d11a694eab8c build by root@localhost.localdomain, 2013-09-15 17:06:03 0: cs:Connected r

监控
drbd
原创 点赞0 阅读1305 收藏0 评论0 2013-11-25

DRBD--配置注意事项

 1、在线调整参数：   对现有资源的配置文件进行修改，两个对等节点要保持一致，然后执行 drbdadm adjust <resource> 在两个节点上都要执行； 2、在线校验数据完整性；（这个对性能还是有很大影响的）   它通过验证源对每个底层的设备某一资源的块存储设备一次计算出加密摘要，传输到对等节点，对摘要对应的本地副

配置
Mysql
drbd
原创 点赞1 阅读988 收藏0 评论0 2013-11-22
数据库短连接容易出现的问题

数据库短连接容易出现的问题

   对于MySQL来说返回的错误代码为99：    perror  99    Cannot assign requested address (在出现这样的问题的时候，可以先ulimit -a 看看哪些参数设置的过于严格)    这个是程序端容易出现的问题，由于每次连接都在很短的时间内结束，导致很多的T

mysql
tcpip
connection
assign
原创 推荐 点赞2 阅读1561 收藏0 评论2 2013-11-21

MySQL BlackHole 存储引擎使用

   BlackHole “黑洞”，高大上的样子，但它 No transaction，no xa，no savepoint，这些都没有阻挡他的应用；show engines 中会显示 blackhole  的comment 为：/dev/null storage engine (anything you write to it disappears)  

MySQL BLACKHOLE
存储引擎使用
原创 点赞1 阅读2414 收藏0 评论1 2013-11-21
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

Copyright © 2005-2022 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 意见反馈 了解我们 全部文章
在线客服 网站地图 热门标签
友情链接
开源基础软件社区 51CTO学堂
51CTO