li_qinshan的博客_云计算/虚拟化学习

puppet 2.7安装配置与扩展

服务器：10.1.20.154 ~ 155，RHEL 5.4 puppet服务器端：10.1.20.154 test_1.com puppet客户端：10.1.20.155 test_2.com 一、概况 Puppet基于C/S架构，服务器端保存着客户端的所有配置代码，称为manifest，客户端下载manifest后，根据其内容对本机进行配置，如软件的安装、文件的管理、用户的管理等。

puppet

原创 2012-12-26 09:22:15 2460 阅读 3点赞 2评论

Hadoop机架感知与balancer

版本：Apache Hadoop 1.0.3 Hadoop集群节点通常会跨很多个机架，增加节点的情况时有发生，而且很多时候节点的磁盘容量还不统一，有大有小，所以集群节点非常容易出现磁盘利用不平衡的情况，一些节点的磁盘快用光了，另外一些节点磁盘容量还剩余很多。这会导致一些问题，首先是一些机器磁盘读写很频繁，另外一些机器很闲；MR任务分配到一个没有相应数据块的节点上时，需要从其它机器上拿数据，占用大

balancer

机架感知

原创推荐 2012-11-13 22:49:09 3755 阅读 1评论

Hadoop Backup Node

要了解Hadoop Backup Node，要从Namenode的元数据说起。我们都知道Namenode的元数据非常重要，如果元数据损坏，所有存储在datanode中的数据都读不出来了。另外，如果Namenode的元数据比较大，那么集群的启动速度非常慢。为了解决这两个问题，Hadoop弄了一个Secondary Namenode。 Namenode的元数据： Hadoop Namenode

backupnode

原创 2012-10-22 20:19:01 3744 阅读

内部Xen普及文档

上周我给公司内部员工做了一次Xen普及报告，在这儿把PPT转换成了PDF共享出来，觉得不错的话，就支持一下。希望和大家共同学习Xen虚拟化，也希望大家把自己的知识共享出来。

职场

休闲

xen

原创 2011-12-12 12:25:13 1254 阅读 2点赞 1评论

CentOS 5.6安装Xen

操作系统：CentOS 5.6 安装Xen： yum install xen kernel-xen xen-libs virt-manager 配置Xen：修改grub.conf： vi /boot/grub/grub.conf： 1) 注释掉hiddenmenu 2) 把default改为0

职场

休闲

centos

xen

原创 2011-12-02 13:48:22 1186 阅读

使用Convirt 2.0.1管理虚拟机环境

安装convirt环境包括如下三个部分： 1、准备一台物理机或虚拟机，安装Convirt Management Server (CMS) 2、准备需要被Convirt管理的服务器。（注意操作系统版本和Xen版本） 3、使用浏览器访问CMS并管理你的服务器

职场

休闲

convirt

原创 2011-12-01 18:38:12 9104 阅读 3点赞 3评论

Xen4.1源码安装

操作系统：CentOS 6.0 CR 安装前的准备： 1、网络设置：设置NM_CONTROLLE为no。 2、GRUB设置：取消hiddenmenu。将来要引导xen用的。 3、SELINUX设置：禁用SELINUX。目前xen尚不支持SELINUX。 4、软件依赖包的安装：可以参考两个官方文档： http://wiki.xen.org/wiki/RHEL6Xen4Tu

职场

休闲

xen安装

原创 2011-11-24 18:28:51 2614 阅读

Xen基础学习

整个Xen虚拟环境逻辑上分成四个部分： Control Interface； Domain 0； Domai U； Xen Hypervisor；

职场

休闲

xen

原创 2011-11-24 18:13:11 1454 阅读

使用webdav从windows上传日志到hdfs

在讨论如何从windows上传日志到hdfs时，除cygwin外，我们还测试了另外一种手段：webdav。下载及参考文档： http://code.google.com/p/hdfs-webdav/downloads/list http://badqiu.iteye.com/blo

职场

日志

休闲

webdav

hdfs

原创 2011-09-29 17:15:02 2626 阅读

使用cygwin从windows上传日志到hdfs

windows操作系统：windows server2003 对cygwin不熟，所幸我只是需要进行很简单的应用，在同事的帮助下完成了这个工作。这里大致说一下，给大家提供一个思路。 1、安装JDK，并配置环境变量。要注意安装路径不要空格，不要安装到类似于program files这种目录，否则cygwin会出问题。

职场

休闲

cygwin

windows上传hdfs

原创 2011-09-15 18:20:51 2512 阅读 1点赞 2评论

hadoop集群对机器名大小写敏感

昨天在关闭Hbase的时候遇到了一个问题，输入$HBASE_HOME/bin/stop-hbase.sh后，迟迟无法关闭集群中的hbase进程，tail -f hbase的日志，发现类似如下错误：org.apache.hadoop.hbase.master.ServerManager: Waiting on regionserver(s) to go down dn1。最

职场

休闲

hadoop

机器名大小写

原创 2011-09-15 18:10:12 1381 阅读

lzo文件的并行map处理

Hadoop集群中启用了lzo后，还需要一些配置，才能使集群能够对单个的lzo文件进行并行的map操作，以提升job的执行速度。首先，要为lzo文件创建index。下面的命令对某个目录里的lzo文件创建index： $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.

职场

休闲

lzo

并行map

原创 2011-09-13 18:28:40 2458 阅读

配置pacemaker时用到的一些CRM CLI命令

官方网站：http://www.clusterlabs.org/doc/crm_cli.html CRM CLI是分层设计，常见层级如下： node：主要用于节点的各种操作 resource：主要用于资源的各种操作 ra：查看RA的各种属性 configure：配置资源的多数操作，都是在该层级 cib：类似于configure，只是操作的是cib shadow &nb

职场

休闲

pacemaker

crm cli

原创 2011-09-02 11:52:53 10000+阅读 1点赞 1收藏

Namenode双机热备之Pacemaker

Pacemaker官网：http://clusterlabs.org/wiki/Pacemaker Pacemaker官方安装文档：http://clusterlabs.org/wiki/Install#Binary_Packages Drbd与Pacemaker参考：http://www.dbanotes.net/opensource/drbd-pacemaker.html HA配置实例：

职场

热备份

休闲

pacemaker

原创推荐 2011-08-18 18:28:34 6298 阅读 5点赞 7评论

Namenode的双机热备之drbd

介绍DRBD的不错的网文： http://blogold.chinaunix.net/u/24866/showart_2549042.html http://arch.huatai.me/?p=600 一、DRBD原理二、DRBD的安装与配置 DRBD的安装 DRBD的配置

职场

休闲

双机热备

drbd

原创推荐 2011-07-29 19:34:17 3429 阅读 1点赞 2评论

drbd配置参数

用户手册： http://www.drbd.org/users-guide 语法及详解参数： http://www.drbd.org/users-guide-emb/re-drbdconf.html 官方示例： http://www.drbd.org/users-guide drbd及其配置文件中的相关名词： failover：失效转移。通俗地说，即当A无法为客户

职场

休闲

drbd

翻译精选 2011-07-29 18:21:17 3130 阅读 1点赞 1评论

使用Ganglia监控Hadoop

Hadoop本身提供了很多监控工具的接口，如JMX、Nagios、Ganglia等。使用Ganglia监控hadoop，配置起来非常简单，只需要修改$HADOOP_HOME/conf/hadoop-metrics.properties文件，把相关的配置段修改为下面的示例： # Configuration of the "d

职场

休闲

Ganglia

hadoop监控

监控Hadoop

原创 2011-06-01 14:49:40 3429 阅读 1收藏

hadoop集群内lzo的安装与配置

最近我们部门在测试云计算平台hadoop，我被lzo折腾了三四天，累了个够呛。在此总结一下，也给大家做个参考。操作系统：CentOS 5.5，Hadoop版本：hadoop-0.20.2-CDH3B4 安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器，另外，还需要lzo-devel依赖配置

职场

休闲