百度技术的博客_运维与系统架构

Linux下常用SVN命令

1、将文件checkout到本地目录 svn checkout path（path是服务器上的目录）例如：svn checkout svn://192.168.1.1/pro/domain --username qinxiaohui 简写：svn co 2、往版本库中添加新的文件 svn add file 例如：svn add test.php(添加tes

Linux

服务器

linux系统

checkout

原创推荐 2012-04-02 11:46:00 10000+阅读 6点赞 1收藏 4评论

浅谈架构

今天@Laruence 挖了个坑，我试着来灌点水。纯粹个人观点，不准确也不周密。架构 (architecture) 这个概念确实不好定义。首先，它很虚，不像代码可以用源文件“自证”。其次，它很泛，好像跟什么都相关，开发、测试、部署甚至运营等各阶段都有其影子。然后，它好像还在变，在计算机发展的各个阶段（Mainframe/PC/Cloud）都感觉不太一样。而且，在不同的领域也都有不同的反映。

架构

休闲

architecture

工艺

林仕鼎

原创推荐 2012-02-02 10:54:27 10000+阅读 12点赞 9评论

再谈谈火车票系统

昨天那篇weibo发后，收到很多反馈。有很多朋友给了正面评价，非常感谢。也有些亲给了差评，这本无可厚非，只是其中有些人我感觉都没仔细看文章，时有露怯。也有人怀疑我只会说，没写过程序。我不想自吹，在十几年的程序和研究生涯里，几乎所有名字中含system字样的系统我都亲手做过。到百度做了几个实际系统后，负责了更多事情，这才转为设计规划，不再事必躬亲。令人反感的是，有人说我拿了黑钱，

职场

休闲

火车票

原创推荐 2012-01-12 23:00:00 9226 阅读 10点赞 12评论

简单讨论火车票系统后面的架构设计

简单说，在线服务scalability有两种方式，scale-up和scale-out。Scale-up追求单机性能，如高级硬件、异步架构等，而scale-out则用加机器的方法。Scale-out也是最简单的方法，在规模不是非常大时很好用，也很容易解决问题，普通工程师就足以胜任。有很多现成的方法或模块可以使用。

职场

架构

休闲

火车票

原创推荐 2012-01-12 12:00:00 10000+阅读 16点赞 13评论

环境为王-论贴吧环境解决方案

摘要本文列举了当前贴吧线下环境在使用过程中遇到的几个典型问题场景，针对这些问题，从如何维护环境稳定性以及如何提供更好的环境更新体验两个维度，给出了对应的解决方案。通过环境稳定性解决方案，降低了人力的投入，保证了环境的最新，减少了人为因素引入问题，通过技术的手段，保证整个过程自动化、可视化。通过更新方案，给予用户更好地更新体验，提升更新效率和速度，降低了执行机与基准环境之间的耦合性

监控

自动化

稳定性

更新

基准环境

原创 2011-11-24 06:11:50 845 阅读

linux shell下转换unix时间

下面分享一个在 Shell 下转换 Unix 时间显示格式的小方法，对date命令熟悉的同学会立刻给出解决方法

linux

unix

转换

linux shell

unix时间

原创 2011-09-30 00:22:00 1923 阅读

shell文件锁

锁机制是解决资源独享问题的常见方法，那么在shell中是如何解决的呢？我们可以尝试使用flock命令（没有此命令，更新一下util-linux包），它与shell可以较好的结合；而且与C/PERL/PHP等语言的flock函数用法很相似，使用起来也很简单。

职场

shell

休闲

文件锁

原创 2011-09-15 20:12:00 2703 阅读

MySQL对分隔符的处理（二）

问题就出在find_command函数这里，让我们find_command干了什么事。它并没有像我们想像的那样在长格式的系统命令的行尾添加分号不会影响命令的正常执行。

MySQL

数据库

休闲

分隔符

处理（二）

原创 2011-09-07 22:32:00 2439 阅读

MySQL对分隔符的处理（一）

MySQL的语法与标准SQL语法相同，默认使用分号“;”作为一条SQL语句结束的标志。且可以使用delimiter命令将其修改成其他符号，如：“delimiter |”。在MySQL看来所有的语句可以分为两类，一类是SQL Statement（SQL语句），一类是Command Statement（系统命令）。

MySQL

数据库

休闲

分隔符

处理（一）

原创 2011-09-07 22:24:00 9529 阅读

MySQL解析器源码分析--对select语句中子查询处理逻辑的分析（二）

下面以一个简单的SQL作为例子来讲解。例如： Select * from tt where tt.id in (select id from tt1) union select * from tt1;

mysql

分析

源码

MySQ

L解析器

原创 2011-09-06 07:32:10 3587 阅读

MySQL解析器源码分析--对select语句中子查询处理逻辑的分析（一）

一个最简单的select语句包含select子句、from子句、where子句等，这些子句都不包含子查询（subselect），也没有union操作。而复杂的select语句包含select子句、from子句、where子句（这些子查询可以y是最简单的select语句也可以y是复杂的select语句），同时select语句中可能包含union，即将数个select子句联合在一起。

MySQL

数据库

分析

源码

解析器

原创 2011-09-05 23:29:10 4248 阅读

Windows下资源泄漏检测

内存泄露和资源泄露是C\C++程序员不得不面对的一个问题，随着程序越来越大，稍不留神就可能在程序中留下了内存泄露的隐患，这个问题很多人可能觉得没什么，就泄露点内存而已，只要程序逻辑没问题，但是如果程序运行时间很长或者泄露的内存很大的话，会导致系统资源占用过多，严重的也可能使得程序崩溃。

Windows

检测

休闲

资源

泄漏

原创 2011-08-31 13:30:00 858 阅读

我们离DevOps有多远--持续集成思想的延伸

　　DevOps是软件开发、运维和质量保证三个部门之间的沟通、协作和集成所采用的流程、方法和体系的一个集合。它是人们为了及时生产软件产品或服务，以满足某个业务目标，对开发与运维之间相互依存关系的一种新的理解。 ...... DevOps并不仅仅关注软件部署，它是部门间沟通协作的一组流程和方法。

休闲

我们

持续集成

DevOps

思想的延伸

原创 2011-07-08 19:56:20 1269 阅读

一种在网络层清理机器假死时TCP连接的方案介绍

　　假如应用服务器A上有若干模块连接某数据库服务机器B，当B异常假死，需要将B的请求切换到备份系统，这样已经建立的连接就遗留了下来。如果A上hang住的连接占用的服务线程较多，就可能造成业务系统受到影响，因此需要即时清理掉hang住的连接。

休闲

网络层

假死

清理机器

TCP连接

原创 2011-07-08 13:41:10 5093 阅读

存储方式与介质对性能的影响

摘要数据的存储方式对应用程序的整体性能有着极大的影响。对数据的存取，是顺利读写还是随机读写？将数据放磁盘上还将数据放flash卡上？多线程读写对性能影响？面对着多种数据存储方式，我们如何选择？本文给大家提供了一份不同存储模式下的性能测试数据，方便大家在今后的程序开发过程中可以利用这份数据选择合适的数据存储模式。

性能

存储方式

休闲

介质

影响

原创 2011-06-10 07:06:58 3174 阅读

超级负载均衡

摘要超级负载均衡旨在为解决服务不断扩展、机器不断增多、机器性能差异等问题，以增强系统的稳定性，自动分配请求压力。算法实现了多个模型和均衡策略，能通过配置实现随机、轮询、一致hash等。同时也能实现跨机房的相关分配。现已经在多个系统中使用。

职场

休闲

负载

均衡

超级

原创 2011-06-10 07:06:46 977 阅读

分布式数据访问调研

1 背景当前，使用业务和逻辑隔离的部署已经成为主流，但是对具体存储部署和接口的依赖，一直成为存储对业务逻辑完全透明的一个障碍。为达到达到业务逻辑不必真正关心具体的存储逻辑，方便快速开发，便于日常维护，简化迁移等目的。对数据存储需要有一下的问题需要解决：

数据

访问

休闲

分布式

调研

原创 2011-06-02 03:06:31 2290 阅读

MySQL 5.1 分区技术初探（二）

MySQL分区技术是用来减轻海量数据带来的负担，解决数据库性能下降问题的一种方式，其他的方式还有建立索引，大表拆小表等等。

MySQL

技术

数据库

分区

初探

原创 2011-05-12 22:20:53 974 阅读

MySQL 5.1 分区技术初探（一）

MySQL分区技术是用来减轻海量数据带来的负担，解决数据库性能下降问题的一种方式，其他的方式还有建立索引，大表拆小表等等。　　MySQL分区按照分区的参考方式来分有RANGE分区、LIST分区、HASH分区、KEY分区。本文对这几种分区方式进行了详细的介绍，并且给出了简单的示例，文章简洁明了，对于想要初步了解MySQL分区技术的同学来说是很不错的参考材料。

MySQL

数据库

休闲

分区技

术初探

原创 2011-05-12 22:12:19 845 阅读

Icc编译MySQL性能调研（二）

本节将数据库中一些表的存储引擎改成了MyISAM，测试使用的SQL依然来自使用的SQL。本节希望获得在MyISAM引擎基础上，基于某数据库数据，icc编译的mysql对一些典型SQL的优化效果。

职场

mysql

数据库

休闲

Icc

原创 2011-01-28 19:39:10 638 阅读

Icc编译MySQL性能调研（一）

传统的c/c++编译器为GNU的gcc/g++，当然我们也通常使用gcc/g++来编译MySQL。但是有研究指出gcc/g++编译器对c/c++优化在某些方面做的并不好。Intel针对自己的处理器特点发布了编译器icc。本文希望使用icc编译得到MySQL，然后通过测试得到icc编译出的MySQL在性能等方面的特点。

MySQL

数据库

编译

Icc

性能调研

原创 2011-01-28 19:31:10 742 阅读

再识ProFTPD

roFTPD对大家来说是非常熟悉的，它对我们来说是FTP服务器，提供文件传输服务。之所以取名为“再识”，就是想向大家介绍它鲜为人知的一面。在介绍之前我们先来看一些事实：任意登录到一台机器进入proftpd的程序目录执行./proftpd --help，可以发现它带-l参数，可以列出所有编译进程序的模块。

职场

ftp

休闲

ProFTPD

再识

原创 2011-01-28 19:11:10 581 阅读

运维自动化浅谈

一个互联网产品由许多服务组成，而服务内包含多个模块，这些模块部署在成千上万的服务器上。由于互联网产品的特点，产品更新速度非常快，运维人员每天都要进行大量的模块维护操作。模块的运维操作涉及程序更新、配置修改、数据传输以及各种自定义的命令执行。在运维的早期，运维人员大多是通过手工操作或编写脚本的方式，将模块更新到生产环境中，我们称这个阶段为石器时代。

职场

运维

休闲

自动化

浅谈

原创 2011-01-28 19:03:20 991 阅读 1收藏

文件空洞产生的原因分析

在文件拷贝时候，scp一个占磁盘空间300G大小（du命令的结果）左右的目录到另外一台机器上，du命令发现该目录占用的磁盘空间变大了，约330多G。为什么会多出来这30G呢？

文件

原因分析

产生

休闲

空洞

原创 2011-01-28 18:56:10 5566 阅读

轻量级分布式系统-moosefs介绍

MooseFS是一种分布式文件系统，MooseFS文件系统结构包括以下四种角色： 1 管理服务器(master) 2 元数据日志服务器（Metalogger） 3 数据存储服务器 (chunkservers) 4 客户机挂载使用

系统

休闲

分布式

轻量级

moosefs介绍

原创 2011-01-28 18:53:20 737 阅读

基于三方架构的网络容灾备份和恢复系统构建

基于备份服务器，客户端和存储设备端三方架构的网络备份系统，三方架构使得备份服务器不用参与数据备份与恢复的数据传输过程，平衡了系统的负载并提高了系统的并发度。并说明网络备份系统的总体架构，备份服务器、备份代理和存储服务器子系统功能，以及通信接口，基于三方架构的网络备份系统可以很好的完成异地冷备份与恢复工作。

备份

网络

容灾

基于

恢复系

原创 2011-01-28 18:41:10 986 阅读

基于流式的md5计算-多线程下载工具Lwget介绍

在数据传输的时候，我们希望实现以下目标： 1. 使用多线程传输，加速下载速度 2. 数据在传输过程中,进行流式md5计算，避免在传输完毕之后校验大文件 3. 支持断点续传 4. 支持http协议和ftp协议 5. 代码尽可能的简单，利于维护

多线程

md5计算

休闲

基于

流式

原创 2011-01-28 18:30:10 2772 阅读

Varnish+Xcache构建高性能WEB构架初探

本文主要讲述web优化方案和缓存工具的调研及使用。根据目前的测试结果来看，采用varnish+xcache作为 apache和php缓存这种架构具有高并发、高稳定性，易扩展等优点，服务器的动态请求处理能力是之前的7倍之多。通过分析发现，目前对服务器的负载主要是在cpu使用方面，随着流量的增加瓶颈也将出现在cpu方面，而内存和IO方面都不是问题。针对这样的情况，我们就要研究怎么去降低cpu的负载，消除或降低系统的瓶颈。

构建

休闲

Varnish

Xcache

高性能

原创 2011-01-28 18:17:10 694 阅读

hadoop状态分析系统chukwa

Apache 的开源项目 hadoop，作为一个分布式存储和计算系统，已经被业界广泛应用。很多大型企业都有了各自基于 hadoop 的应用和相关扩展。当 1000+ 以上个节点的 hadoop 集群变得常见时，集群自身的相关信息如何收集和分析呢？针对这个问题， Apache 同样提出了相应的解决方案，那就是 chukwa。

系统

分析

休闲

状态

hadoop

原创推荐 2011-01-28 17:47:10 3258 阅读 1点赞 1评论

Chukwa在百度的应用实践

从上一篇 chukwa 的简介中,我们知道 chukwa 为日志分析系统提供了一整套的解决方案,其中包含了数据的生成、收集、排序、去重、分析和展示所需要的几乎所有事情,要扩展 chukwa 以实现自己特殊的需求,是很方便的.本文以 chukwa-0.3.0 为例,阐述在分布式小组内如何以 chukwa 为基础实现"资源状态图"。

百度

应用

休闲

实践

Chukwa

原创 2011-01-28 17:31:10 9072 阅读 2点赞 1评论

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

百度技术博客

Linux下常用SVN命令

浅谈架构

再谈谈火车票系统

简单讨论火车票系统后面的架构设计

环境为王-论贴吧环境解决方案

linux shell下转换unix时间

shell文件锁

MySQL对分隔符的处理（二）

MySQL对分隔符的处理（一）

MySQL解析器源码分析--对select语句中子查询处理逻辑的分析（二）

MySQL解析器源码分析--对select语句中子查询处理逻辑的分析（一）

Windows下资源泄漏检测

我们离DevOps有多远--持续集成思想的延伸

一种在网络层清理机器假死时TCP连接的方案介绍

存储方式与介质对性能的影响

超级负载均衡

分布式数据访问调研

MySQL 5.1 分区技术初探（二）

MySQL 5.1 分区技术初探（一）

Icc编译MySQL性能调研（二）

Icc编译MySQL性能调研（一）

再识ProFTPD

运维自动化浅谈

文件空洞产生的原因分析

轻量级分布式系统-moosefs介绍

基于三方架构的网络容灾备份和恢复系统构建

基于流式的md5计算-多线程下载工具Lwget介绍

Varnish+Xcache构建高性能WEB构架初探

hadoop状态分析系统chukwa

Chukwa在百度的应用实践