li_qinshan的博客_Win & Linux应用,CentOS运维,linux监控原创(2)

使用cygwin从windows上传日志到hdfs

windows操作系统：windows server2003 对cygwin不熟，所幸我只是需要进行很简单的应用，在同事的帮助下完成了这个工作。这里大致说一下，给大家提供一个思路。 1、安装JDK，并配置环境变量。要注意安装路径不要空格，不要安装到类似于program files这种目录，否则cygwin会出问题。

职场

休闲

cygwin

windows上传hdfs

原创 2011-09-15 18:20:51 2512 阅读 1点赞 2评论

hadoop集群对机器名大小写敏感

昨天在关闭Hbase的时候遇到了一个问题，输入$HBASE_HOME/bin/stop-hbase.sh后，迟迟无法关闭集群中的hbase进程，tail -f hbase的日志，发现类似如下错误：org.apache.hadoop.hbase.master.ServerManager: Waiting on regionserver(s) to go down dn1。最

职场

休闲

hadoop

机器名大小写

原创 2011-09-15 18:10:12 1381 阅读

lzo文件的并行map处理

Hadoop集群中启用了lzo后，还需要一些配置，才能使集群能够对单个的lzo文件进行并行的map操作，以提升job的执行速度。首先，要为lzo文件创建index。下面的命令对某个目录里的lzo文件创建index： $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.

职场

休闲

lzo

并行map

原创 2011-09-13 18:28:40 2458 阅读

配置pacemaker时用到的一些CRM CLI命令

官方网站：http://www.clusterlabs.org/doc/crm_cli.html CRM CLI是分层设计，常见层级如下： node：主要用于节点的各种操作 resource：主要用于资源的各种操作 ra：查看RA的各种属性 configure：配置资源的多数操作，都是在该层级 cib：类似于configure，只是操作的是cib shadow &nb

职场

休闲

pacemaker

crm cli

原创 2011-09-02 11:52:53 10000+阅读 1点赞 1收藏

CentOS 5远程SSH连接超时设定

操作系统：CentOS 5.6 SSH版本：OpenSSH_4.3p2 网上很多文章都说，远程SSH连接的超时设定是在/etc/ssh/sshd_config里，使用ClientAliveInterval和ClientAliveCountMax选项，我原来也这么认为的，不过一直没配置过超时。今天配置了一下，发现这个是不对的，正确的配置是在/etc/pr

职场

休闲

CentOS

ssh超时

原创 2011-09-01 13:32:15 2522 阅读 1点赞 1评论

无题

今天看了下自己的博客，发现已经开通好几个年头了。不知道大家怎么看待你自己的博客，我一直把它当成一种记录或备忘看的。刚开始的时候并不注重排版啊，外观啊什么的，后来自己看都觉得不爽，这才注意把文章排版搞的舒服一些，方便别人，也方便自己。博客注册是在2007年，那个时候我还在读书，主要是为了方便下载资源而注册了个帐号，顺便开

职场

51cto博客

休闲

原创 2011-08-20 14:35:15 1063 阅读 1评论

Namenode双机热备之Pacemaker

Pacemaker官网：http://clusterlabs.org/wiki/Pacemaker Pacemaker官方安装文档：http://clusterlabs.org/wiki/Install#Binary_Packages Drbd与Pacemaker参考：http://www.dbanotes.net/opensource/drbd-pacemaker.html HA配置实例：

职场

热备份

休闲

pacemaker

原创推荐 2011-08-18 18:28:34 6298 阅读 5点赞 7评论

Namenode的双机热备之drbd

介绍DRBD的不错的网文： http://blogold.chinaunix.net/u/24866/showart_2549042.html http://arch.huatai.me/?p=600 一、DRBD原理二、DRBD的安装与配置 DRBD的安装 DRBD的配置

职场

休闲

双机热备

drbd

原创推荐 2011-07-29 19:34:17 3429 阅读 1点赞 2评论

Ganglia分组监控

官方文档：http://sourceforge.net/apps/trac/ganglia/wiki/ganglia_quick_start 行文之前，表达一下小郁闷。Ganglia官方把分组监控的帮助文档放到了Quick Start Guide，而不是Configuration，让我一番好找。。。 Ganglia的分组监控，实施起来其

职场

监控

分组

休闲

ganglia

原创 2011-07-26 17:53:21 2655 阅读 1点赞

linux集群分布式SSH并行管理工具

当手里有多台服务器时，常常会有一些相同的命令、相同的工作在这些服务器中重复地执行，这时候，登陆每台服务器重复执行相同的操作显然笨拙了点，而且容易漏掉某台服务器，或某些操作。我们需要一些工具，来对服务器集群进行集中式管理，pssh和mussh就是这样的两个工具。 pssh和mussh这两个出色的并行shell工具，允许我们一次性向多台服务器发

linux

职场

休闲

pssh

mussh

原创 2011-07-09 14:25:20 2839 阅读 1点赞

bash shell退格键乱码

我写了一个非常简单的脚本，用于上传某个文件到hadoop中hdfs的某个目录。在输入文件名称或目录名称时，有时候会输错，需要删除错误输入，但在敲退格键时时出现乱码^H，每按一下退格键就会出现一个^H。搜索网上资料，参考了如下网页，得到解决办法：http://hi.baidu.com/moonlight_bupt/blog/item/1b6

职场

shell

休闲

退格键

原创 2011-06-08 12:12:21 6698 阅读 1点赞

samba mv命令出错

我建了一个samba服务器，每天备份linux里的数据库，然后把它移动到windows里。但是昨天遇到了错误：命令为： mv db-backup/cmsimocha.sql-110601.bz2 /media/win/38_database_backup 错误信息为： mv: preserving times for

职场

samba

休闲

mv

原创 2011-06-03 10:51:39 2031 阅读

使用Ganglia监控Hadoop

Hadoop本身提供了很多监控工具的接口，如JMX、Nagios、Ganglia等。使用Ganglia监控hadoop，配置起来非常简单，只需要修改$HADOOP_HOME/conf/hadoop-metrics.properties文件，把相关的配置段修改为下面的示例： # Configuration of the "d

职场

休闲

Ganglia

hadoop监控

监控Hadoop

原创 2011-06-01 14:49:40 3429 阅读 1收藏

Ganglia3.1.7安装与配置

一、所需要软件二、安装过程 1、Ganglia运行平台的安装 2、Ganglia依赖库的安装 3、RRDTool的安装 4、Ganglia的安装 (包括使用yum方式安装) 三、简单配置四、启动与访问五、被监控节点上安装Ganglia (包括使用yum方式安

职场

休闲

rrdtool

ganglia

ganglia3.1.7

原创推荐 2011-05-30 14:28:44 10000+阅读 4点赞 5评论

awk算术运算一例：统计hdfs上某段时间内的文件大小

计算hdfs指定目录中所有文件名中包含2011-04-24的文件大小，并换算成GB： $HADOOP_HOME/bin/hadoop fs -du /user/hdfs/s3/ifocus/*2011-04-24* |awk '{sum += $1}END{print sum}' |awk

职场

休闲

awk

awk算术运算脚本

原创 2011-04-27 16:54:31 2183 阅读

hdfs日志上传脚本（二）

写了一个从服务器上拉日志的脚本，从多台服务器上拉日志，日志名称是相同的，且每天有两个日志文件生成，如每台服务器上都有如下两个文件：ok_2011-04-24_24H.rar，ok_2011-04-24_12H.rar。显然不能把所有日志放到同一目录中进行处理，而且要同时解压两个文件后才能进行下一步处理，我想到了使用awk打印出相应命令，然后再执行。 #!/bin/bas

职场

脚本

shell

休闲

原创 2011-04-26 18:05:12 1006 阅读

hadoop集群内lzo的安装与配置

最近我们部门在测试云计算平台hadoop，我被lzo折腾了三四天，累了个够呛。在此总结一下，也给大家做个参考。操作系统：CentOS 5.5，Hadoop版本：hadoop-0.20.2-CDH3B4 安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器，另外，还需要lzo-devel依赖配置

职场

休闲

hadoop

lzo

原创推荐 2011-04-20 10:13:27 10000+阅读 4点赞 7评论

整合apache和JBoss，配置虚拟主机

大致步骤：一、安装apache 二、安装JDK，作为JBOSS的运行环境三、安装JBOSS 四、安装及配置mod_jk，用以apache和JBOSS之间的通信五、配置虚拟主机，把动态资源交给JBOSS处理安装apache： 1、安装：yum 2、配置：自行配置！对于虚拟主机，后面会提到。安装JDK： 1、&nb

职场

apache

虚拟主机

jboss

休闲

原创推荐 2011-04-07 19:23:58 4310 阅读 4点赞 2评论

MySQL导入表及执行外部脚本

OS：CentOS 5，MySQL版本：5.0 一、向MySQL的数据库中导入表：登陆MySQL后，执行命令：use DATABASE_NAMEsource /var/www/m_point.sql; 二、MySQL执行外部脚本：把脚本写入到某个以.sql为后缀的文件，然后在Linux She

mysql

数据库

休闲

外部脚本

导入表

原创 2011-03-30 15:36:05 1608 阅读

CentOS 5遇到Partition table entries are not in disk order

我有一台CentOS的机器，装有三块硬盘，有两块没有使用，今天把它们拿出来，放到需要的机器上去。但是在重新开机时出现了一个提示：Partition table entries are not in disk order. 它不影响开机，机器的运行也是正常的，但总归是个问题。搜索了一下资料，说是分区的位置顺序出了乱子，通常发生于删除分区，再重新分区时。解决方案

职场

休闲

centos

修复GRUB

Partition table entr

原创 2011-03-19 00:01:17 2616 阅读 1点赞

CentOS 5设置千兆网卡

今天为CentOS 5.5设置千兆网卡，遇到了一个问题，记录一下。 ethtool是linux系统中一个查看及设置网卡参数的工具，我们用它来设置千兆网卡。命令格式请自行查看。设置千兆网卡： ethtool -s eth1 speed 1000 duplex full autoneg off 遇到错误提示：Cannot set n

职场

休闲

centos

千兆网卡

ethtool

原创 2011-03-18 22:02:19 6569 阅读 1评论

rar for linux缺少GLIBC_2.7

今天安装rar4.0 for linux，遇到了一个缺少GLIBC_2.7的问题，弄了好久才成功，记录一下，以备不时之需。系统版本为CentOS 5.5。下载了rar4.0 for linux源码包，解压后，按照makfile文件的提示，进行安装。安装完毕后，在执行rar命令时，遇到错误提示：rar:/lib/libc.so.6:version 'GLIB

linux

职场

休闲

rar for linux

glibc_2.7

原创 2011-03-18 21:33:27 3420 阅读 1点赞

查看linux服务器信息

昨天公司要求摸底各服务器的CPU、内存、硬盘等情况，我对自己所管理的linux服务器也做了排查，在此梳理一下查看Linux服务器信息常用的命令，做个总结。一、操作系统： 1、查看linux发行版名称：lsb_release -a 若系统中没有这个命令，作为一种替代，可

linux

职场

休闲

服务器情况

原创 2011-03-05 13:03:18 1880 阅读 1点赞

grub引导win7失败

曾经写过一篇“双硬盘三系统的安装与引导”方面的文章，文章里提到过grub引导win7的问题，结果昨天又遇到了这个问题。前天我重装了win7，系统安装完成后，当天运行良好，重启后再使用grub引导也正常。但是昨天突然间就不行了，使用grub引导时进不了win7，提示bootmbr is missing！只能修改BIOS里的硬盘顺序，把win7所在的盘设

linux

windows

grub

win7

bootmbr

原创 2011-02-23 08:38:23 4030 阅读 1点赞 1评论

JBoss的安装与配置

昨天领导交待下任务，要求搭建一个JBoss应用服务器。关于web服务器和应用服务器，网上可以搜索一些资料看一下。其实现在人们在说web服务器或web平台时，一般是指这两种服务器的整合，很少只部署一个单纯的web服务器（例如apache）或一个单纯的应用服务器（例如tomcat）。不过我这次只部署应用服务器。扯了一点题外

职场

web服务器

jboss

休闲

原创推荐 2011-02-22 19:06:04 10000+阅读 6点赞 3评论

我遇到的mysql问题（连续更新）

OS版本：CentOS 5.5，MySQL版本：5.0 一、今天安装openQRM,但是失败了，这导致了一个问题：无法使用root账户登陆mysql了！错误代码： ERROR 1044 (42000):ccess denied for user 'root'@'localhost' 按照网上的

mysql

数据库

Access

休闲

denied

原创 2011-02-17 18:49:22 9765 阅读

linux里的CPU负载

昨天查看Nagios警报信息，发现其中一台服务器CPU负载过重，机器为CentOS系统。信息如下： 2011-2-15 (星期二) 17:50WARNING - load average: 9.73, 10.67, 10.49 还有前两个小时发出的警报信息： 2011-2-15 (星期二) 16:50WARNING - load average: 10.52, 10.10, 10.06 2

linux

CentOS

load

average

CPU负载

原创推荐 2011-02-16 19:32:41 10000+阅读 14点赞 5评论

CentOS里查看内存的使用

Linux里一般使用free命令查看内存的使用情况，加参数-m表示以Mb为单位来显示内容。这个内容其实是有一些讲究的。如下图：显示内容分三行N列，第一行表示内存总体的使用情况，第二行表示内存-/+ buffers/cache后的使用情况，第三行表示交换分区的使用情况；各列又显示了内存在每个类别上的使用情况，total列表示

职场

内存

休闲

CentOS

free

原创 2011-02-15 12:25:14 10000+阅读 1点赞

CentOS 5下samba的安装与配置（修订）

一、目标设想二、samba源码安装三、创建配置文件四、添加用户及创建相关目录五、启动samba及双向访问六、其它一、目标：用户组：cloud 组中用户：william，lqs 组中每个用户，对各自的目录有读写权限； william对lqs目录有可读权限，但lqs不可访问william目录。二、安装： wge

职场

samba

休闲

centos

原创 2011-01-27 19:46:34 3846 阅读 1点赞

confluence的备份与迁移

上次我写了一篇confluence的安装与配置，今天写一下如何备份与迁移。 OS：Centos 5.5，confluence版本：3.2，mysql：5.0 官方文档：http://confluence.atlassian.com/display/CONF32/Migrating+Confluence+Between+Servers 迁移实录：在服务器192.168.9.45上做备

备份

职场

迁移

休闲

confluence

原创 2011-01-25 19:32:03 10000+阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

可苦可乐

使用cygwin从windows上传日志到hdfs

hadoop集群对机器名大小写敏感

lzo文件的并行map处理

配置pacemaker时用到的一些CRM CLI命令

CentOS 5远程SSH连接超时设定

无题

Namenode双机热备之Pacemaker

Namenode的双机热备之drbd

Ganglia分组监控

linux集群分布式SSH并行管理工具

bash shell退格键乱码

samba mv命令出错

使用Ganglia监控Hadoop

Ganglia3.1.7安装与配置

awk算术运算一例：统计hdfs上某段时间内的文件大小

hdfs日志上传脚本（二）

hadoop集群内lzo的安装与配置

整合apache和JBoss，配置虚拟主机

MySQL导入表及执行外部脚本

CentOS 5遇到Partition table entries are not in disk order

CentOS 5设置千兆网卡

rar for linux缺少GLIBC_2.7

查看linux服务器信息

grub引导win7失败

JBoss的安装与配置

我遇到的mysql问题（连续更新）

linux里的CPU负载

CentOS里查看内存的使用

CentOS 5下samba的安装与配置（修订）

confluence的备份与迁移

欢迎