党志强的博客_大数据,集群,云计算,操作系统,Solaris,存储,Red Hat,文件系统,Linux,Linux,kernel,存储转载

按发布时间
按阅读量
时间轴

全部244篇
2021年2篇 08月1篇 03月1篇 2020年1篇 02月1篇 2019年2篇 10月1篇 09月1篇 2018年21篇 11月4篇 10月3篇 09月5篇 08月1篇 07月1篇 05月2篇 04月5篇 2017年15篇 12月1篇 09月2篇 08月6篇 07月1篇 05月1篇 03月1篇 02月1篇 01月2篇 2016年44篇 12月3篇 10月1篇 08月6篇 07月3篇 06月3篇 05月11篇 04月2篇 03月7篇 02月7篇 01月1篇 2015年47篇 12月9篇 11月7篇 10月6篇 08月1篇 07月3篇 06月3篇 05月9篇 04月1篇 03月2篇 02月1篇 01月5篇 2014年112篇 12月16篇 11月2篇 10月5篇 09月5篇 08月2篇 07月2篇 06月1篇 05月5篇 04月26篇 03月33篇 02月9篇 01月6篇
推荐/精选
转载

全部原创转载翻译

kvm常见故障及解决方案

一、启动虚拟机Connection reset by peer# virsh start vmhost1error: Failed to start domain vmhost1error: Unable to read from monitor: Connection reset by peer在虚拟机运行过程中关闭宿主服务器就有可能导致这种情况出现，由于宿主服务器中的kvm虚拟机控制器与安装在

故障处理

kvm

转载精选 2016-05-25 15:58:29 10000+阅读 1收藏

强制重启Linux系统的几种方法

实际生产环境中某些情况下 Linux 服务器系统在出现致命错误需要远程进行重启，通过常规的 reboot、init 6 等方法无法正常重启（例如重启时卡在驱动程序里等情况），这时就需要通过下面介绍的几种特殊的方法进行强制重启。注意这些强制重启的方法都是直接跳过 umount 文件系统及 sync 等操作，可能导致数据损坏，不在特殊情况下请勿使用，当然

linux

强制重启系统

转载精选 2016-05-19 16:48:47 4646 阅读

如何分析系统MCE异常？

Machine Check Exception (MCE) 是CPU发现硬件错误时触发的异常(exception)，中断号是18，异常的类型是abort：导致MCE的原因主要有：总线故障、内存ECC校验错、cache错误、TLB错误、内部时钟错误，等等。不仅硬件故障会引起MCE，不恰当的BIOS配置、firmware bug、软件bug也有可能引起MCE。在 Linux 系统上，如果发生的MCE错

mcelog

mce

转载精选 2016-05-05 18:13:09 10000+阅读 1收藏

Linux用户进程内存空间分析

经常使用 top 命令了解进程信息，其中包括内存方面的信息。命令top帮助文档是这么解释各个字段的。VIRT , Virtual Image (kb)RES, Resident size (kb)SHR, Shared Mem size (kb)%MEM, Memory usage(kb)SWAP, Swapped size (kb)CODE, Code size (kb)DATA, Data+S

linux

内存空间

用户进程

转载精选 2016-04-14 14:29:38 2213 阅读

x86 spinlock实现分析

1. TAS lock (test-and-set)这是最简单的spinlock，CPU会在硬件上提供一些指令来帮助OS实现spinlock，比如x86就有xchg, LOCK指令前缀等指令。。。test_and_set()可以利用这些指令对某个memory地址，来原子地完成：写入true到这个地址，同时返回这个地址储存的旧的值。void spin_lock(lock){

分析

原理

spinlock

自旋锁

转载精选 2016-03-12 12:54:50 3009 阅读

给进程设置实时优先级

linux内核有五种调度方法：SCHED_FIFO 实时调度策略，first in first outSCHED_RR 实时调度策略，robin round SCHED_OTHER 分时调度策略SCHED_BATCH 批处理SCHED_IDLE 优先级最低的策略实时进程和分时进程的调度算法不同，分别在rt.c和fair.c中实现。实时进程的优先级总是高于普通进程。实时进程根据

Linux

进程优先级

转载精选 2016-02-18 10:08:13 10000+阅读

Linux的ulimit各种限制之深入分析

一般可以通过ulimit命令或编辑/etc/security/limits.conf重新加载的方式使之生效通过ulimit比较直接,但只在当前的session有效,limits.conf中可以根据用户和限制项使用户在下次登录中生效.对于limits.conf的设定是通过pam_limits.so的加载生效的,比如/etc/pam.d/sshd,这样通过ssh登录时会加载limit.又或者在/etc

Linux

ulimit

转载精选 2016-02-18 10:06:24 8450 阅读

剖析2015四大合并案：滴滴快的、58赶集、美团大众点评、携程去哪儿 1+1>2？

滴滴快的实现了大吃小，58赶集联合发展、美图大众点评以及去哪儿携程由于交易刚宣布，整合还需要时间，不过从目前了解的状况看，依然会有一方管理层出局的状况将非常可能出现。

2015

四大并购

转载精选 2015-12-14 15:41:50 1349 阅读

2015科技公司收购大盘点

　　IBM收购人工智能公司AlchemyAPI　　本周，IBM收购了初创公司AlchemyAPI，旨在利用其工具加强Watson人工智能。AlchemyAPI能够利用深度学习人工智能，搜集企业、网站、广告主发行的图片、文字等信息，并做出相应的文本、数据分析。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。Fa

2015

科技公司收购

转载精选 2015-12-14 15:34:01 775 阅读

Linux进程的Uninterruptible sleep（D）状态

Linux系统进程状态PROCESS STATE CODESHere are the different values that the s, stat and state output specifiers (header "STAT" or "S") will display to describe the state of a process.D Uninterru

linux

僵尸进程

Uninterruptible slee

d状态

转载精选 2015-12-10 10:18:33 4057 阅读

分布式系统的事务处理

当我们在生产线上用一台服务器来提供数据服务的时候，我会遇到如下的两个问题：1）一台服务器的性能不足以提供足够的能力服务于所有的网络请求。2）我们总是害怕我们的这台服务器停机，造成服务不可用或是数据丢失。于是我们不得不对我们的服务器进行扩展，加入更多的机器来分担性能上的问题，以及来解决单点故障问题。通常，我们会通过两种手段来扩展我们的数据服务：1）数据分区：就是把数据分块放在不同的服务器上（如：u

分布式文件系统

事务处理

转载精选 2015-11-24 15:33:06 748 阅读

Ceph vs Swift - 架构剖析

【编者的话】Ceph和Swift，哪种更好？这个问题上大家争论不休，本文从两者的架构角度分析两种方式各自的优缺点，并且给出如何选择的建议。当工程师们讨论存储，谈到Ceph和Swift时，他们通常都一致认为其中一个非常棒，另外一个却很糟糕。但问题时，他们在哪个好哪个不好上却意见不一。经常会有客户问我相同的问题，“我们听说Ceph可以代替其他所有类型的存储。为什么不能用它做所有事情呢？”我会在Vanc

对比

Swift

Ceph

转载精选 2015-11-11 09:55:48 1411 阅读

Erasure code（纠删码）原理

1. 什么是erasure code? erasure code可以认为是RAID的通式，任何RAID都可以转换为特定的erasure code。在传统的RAID中，仅支持少量的磁盘分布，当系统中存在多个分发点和多节点时，RAID将无法满足需求。比如RAID5只支持一个盘失效，即使是RAID6也仅支持两个盘失效，所以支持多个盘失效的算法也就是erasure code是解决这一问题的办法。定义：e

原理

详解

纠删码

erasure code

转载精选 2015-10-16 15:31:46 8003 阅读 1收藏

tornado实现https访问功能

原标题：使用 Tornado 跟 SSL 建立安全链接记录一下过程。首先，我们需要的当然就是 Tornado、Python、OpenSSL, 这里只是记录建立 ssl ，需要其他 linux 下知识的暂时不讲，需要的话以后另开主题。其实 Tornado 本身已经支持了 SSL ，所以我们这里主要的只是生成可用的证书。到 OpenSSL 的安装目录的 bin 文件夹下，参考

https

ssl

python

tornado

转载精选 2015-07-10 12:54:26 6605 阅读

Easy Basic HTTP authentication with Tornado

I recently got a chance to play around with Tornado, which is pretty neat (although that certainly isn’t news). One thing that I tried to do pretty quickly and had a hard time with was Basic

用户认证

tornado

转载精选 2015-07-01 14:57:52 1646 阅读

修改git全部已提交的用户名和邮箱

即：修改git所有commit中的用户名和email作为一名 Git 苦手，我一直使用的是傻瓜级的 Github 客户端，去年九月迁移到 OS X 后也是如此。好几个月后我发现自己的 contribution graph 有一大片空白，才意识到迁移之后 commit 的作者信息都错误了…Before没计入 contribution 简直不能忍啊！身为打卡强迫症觉得这几个月相当于白干了啊！查看 gi

git

github

修改用户名和邮箱

转载精选 2015-06-03 14:44:03 10000+阅读

苹果OS X系统常用键盘快捷键和触控板使用技巧总结

前两天刚刚买了一台MacBook Air，系统是OS X 10.8（Mountain Lion）。对于用惯了Windows GUI的我来说，很多命令找不到了，很不习惯。经过这几天的摸索，越来越感觉苹果系统的好用了。尤其是触控板，完全替代了鼠标，并且可用性远超鼠标。现在基本不用鼠标了，连触控板下方的左右键也基本不用了。看网上很多帮助文档都是以快捷键为中心组织的，实际上我更想做某个操作时查找一个快捷键

苹果系统快捷方式

苹果触摸板使用技巧

转载精选 2015-05-24 16:15:23 3758 阅读

GlusterFS基础知识

一、什么是GlusterFS glusterfs是一个横向扩展的分布式文件系统，就是把多台异构的存储服务器的存储空间整合起来给用户提供统一的命名空间。用户访问存储资源的方式有很多，可以通过NFS，SMB，HTTP协议等访问，还可以通过gluster本身提供的客户端访问。二、典型部署拓扑图三、概念和算法1、Trusted Storage Pool 一堆存储节点的集

glusterfs

转载精选 2015-05-22 11:26:57 3203 阅读

分布式存储的元数据设计

虽然分布式存储的存储层和上传下载这一层很重要，但在元数据方面有哪些选择，这些选择有什么优缺点则更为重要。鉴于此，七牛首席架构师李道兵结合自己多年的实践和思考，分享了存储设计的几大方法，并详细分析了各种方法的利弊。常规的存储设计方法主要有以下几类。无中心的存储设计，如GlusterFS。有中心的存储设计，如Hadoop。基于数据库的存储设计，如GridFS和HBase。绕过元

分布式存储

元数据设计

转载精选 2015-05-22 10:39:14 1024 阅读

GlusterFS的分布式锁

“Glusterfs锁，并没有中央锁服务器的概念。它可以使用一个或多个节点作为锁管理节点，而底层直接使用系统上的锁机制，所以本身并不需要作过多的工作。它需要保证的是，锁的事务性，即要么锁成功，要么不锁。对于多个锁节点，这个尤其重要，必须所有节点都锁上，才是加锁成功。不能一个节点加锁成功，而其他节点不成功，这样容易引起死锁。”GlusterFS锁由记录锁构成，即通过fcntl实现，可对文件的某一区域

转载精选 2015-02-04 14:53:42 1945 阅读

Glusterfs hacker guide（三）

1 GlusterFS Translator API 21.1 Introduction Before we dive into the specifics of the API, it's important to understandtwo things about the context in which it exists. The f

api

lesson

guide

Glusterfs

translator

转载精选 2015-01-07 16:05:30 1786 阅读

Glusterfs hacker guide（二）

1 GlusterFS Translator API Translators are one of the core concepts of GlusterFS, and are consideredby some to be the feature most clearly differentiating it from otherwisesimilar

api

lesson

guide

Glusterfs

translator

转载精选 2015-01-07 16:03:58 1111 阅读

Glusterfs hacker guide（一）

1 Translator 101 Lesson1.1 Translator 101 Lesson 1: Setting the Stage This is the first postin a series that will explain some of the details of writing a GlusterFStranslat

api

lesson

guide

Glusterfs

translator

转载精选 2015-01-07 16:02:00 1759 阅读

expect中\t和\n区别

spawn后 send 最后都追加一个回车符\r。因为这是程序之间的交互，用的是回车。但是没有spawn的情况下，send后面追加的是\n。这是方便输出到终端的操作。参考：expect "hi\n"send "hello there!\n"I typed the string hi and then pressed return. My input matched t

区别

expect

转载精选 2014-12-30 16:25:42 2934 阅读

GlusterFS初始化过程分析

其实整个glusterfs的初始化过程就是这4个进程（gluster、glusterd、glusterfs和glusterfsd）的初始化过程，下面就详细说明下这4个进程的初始化过程。整个glusterfs的代码目录结构截图如下：图3：一、gluster进程的初始化过程：gluster作为一个cli命令执行工具，初始化代码位于glusterfs/cli/Src/cli.c的main函数里面，具体初

分析

glusterfs

初始化过程

转载精选 2014-12-24 18:35:00 4515 阅读

GlusterFS整体分析

首先，熟悉整个业务流程前先了解下glusterfs的几个程序功能以及相互之间的关系！gluster ：cli的命令执行工具，负责将glusterfs的请求传递给glusterd进程来执行；大家安装后glusterfs后，执行gluster就会进入到该命令执行工具了；glusterd：管理daemon进程，同时负责接收gluster发送过来的请求并执行相应的操作，比如：调用glusterf

glusterfs

整体架构

转载精选 2014-12-24 18:33:23 1416 阅读

Gluster术语表

Xlator=translator: glusterfs模块的代名词Brick :存储目录是Glusterfs的基本存储单元，由可信存储池中服务器上对外输出的目录表示。存储目录的格式由服务器和目录的绝对路径构成，具体如下：SERVER:EXPORT.例如：myhostname:/exports/myexportdir/Volume :卷是存储目录的逻辑组合。大部分gluster

术语表

glusterfs

转载精选 2014-12-24 18:31:42 1379 阅读

glusterd中的状态机浅析

当RPC请求到达Glusterd守护进程后，它会根据rpcsvc_actor_t gd_svc_cli_actors[] 数组来选择相应的处理函数。一般函数名为glusterd_handle_XXX 。这类函数一般负责从xdr中提取出请求数据，比如卷名，主机名等等。然后调用glusterd_op_begin 或者其他函数向请求队列里面注入事件(inject event)。gluste

状态机

glusterfs

转载精选 2014-12-24 18:28:54 1644 阅读

图说DHT

dht-diskusage.c 它包含dht中关于磁盘空间的获取与控制相关函数。图片中箭头代表数据流，其他是调用流。图片中的核心数据是conf->du_stats, 图片左半部分的函数负责获取数据存入du_stats结构体，而右半部分函数使用du_stats判断subvol是否可以再存放文件。 dht-rename.c&nb

dht

glusterfs

转载精选 2014-12-24 18:27:50 1078 阅读

GlusterFS社区开发流程

Glusterfs开源社区使用 Git + Gerrit + Jenkins的开发流程。 RegisterSign up for an account at http://review.gluster.org by clicking 'Register' on the right-hand top. You can use yourgmail login a

glusterfs

社区开发

转载精选 2014-12-24 18:25:28 1230 阅读

欢迎

首页
1
2
3
共61条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

敏而好学

kvm常见故障及解决方案

强制重启Linux系统的几种方法

如何分析系统MCE异常？

Linux用户进程内存空间分析

x86 spinlock实现分析

给进程设置实时优先级

Linux的ulimit各种限制之深入分析

剖析2015四大合并案：滴滴快的、58赶集、美团大众点评、携程去哪儿 1+1>2？

2015科技公司收购大盘点

Linux进程的Uninterruptible sleep（D）状态

分布式系统的事务处理

Ceph vs Swift - 架构剖析

Erasure code（纠删码）原理

tornado实现https访问功能

Easy Basic HTTP authentication with Tornado

修改git全部已提交的用户名和邮箱

苹果OS X系统常用键盘快捷键和触控板使用技巧总结

GlusterFS基础知识

分布式存储的元数据设计

GlusterFS的分布式锁

Glusterfs hacker guide（三）

Glusterfs hacker guide（二）

Glusterfs hacker guide（一）

expect中\t和\n区别

GlusterFS初始化过程分析

GlusterFS整体分析

Gluster术语表

glusterd中的状态机浅析

图说DHT

GlusterFS社区开发流程

欢迎