上官战的博客_PHP,Mysql,Linux,虚拟化,黑客攻防,网络监控,集群,Red Hat,Shell脚本,Linux命令,Linux服务原创

欢迎

我的友情链接

老广杨静静马哥抚琴煮酒卫岩fenghao.cn's Softzone!我的soft空间改变从现在开始张宴斩月每天进步一点点Linux、虚拟化烟雨楼台程默yahoon的小屋贾芸斐LEWIS的51CTO技术之家Gone with the wind夜的博客宋兄itnihao的运维技术博客TNT、运维之路向阳草王伟marion刘爱贵-存储阎伟存储实验室改造人百度空间小明明s窝大卫张存储之道丁丁历

原创 2017-11-22 23:10:57 533 阅读

使用docker部署一个直接可用的puppet服务端

提供一个可以直接拿来使用的foreman/puppet

activemq

puppet

mcollective

docker

foreman

原创 2015-09-30 13:38:07 2635 阅读

puppet的hash合并函数

puppet官方提供的create_resources函数的参数生成版

函数

puppet

create_resources

原创 2015-09-30 13:23:00 1221 阅读

puppet函数多层路径转换数组

puppet中，将多层路径转换成一个有效数组的函数

array

file

dir

puppet

原创精选 2015-09-04 12:30:33 742 阅读 1点赞 1评论

使用shell并发上传文件到hdfs

从本地到hdfs的并发脚本相关说明及代码实现。

shell

put

hadoop

hdfs

原创推荐 2014-12-14 16:09:08 10000+阅读 1点赞 3评论

在hadoop集群部署hbase并开启kerberos

kerberos

hbase

cloudera

hortonworks

原创推荐 2014-09-04 18:51:07 7569 阅读 1点赞 1评论

记一次nagios故障及解决

nagios,pnp4nagios

nagios

nagiosql

pnp4nagios

原创推荐 2014-02-13 18:53:59 1567 阅读

在win7命令行使用ssh通过秘钥登录linux

1、下载： openssh for winodws: http://pan.baidu.com/s/1rDAOg2、安装：下一步>>>...完成..3、windows环境变量：右键计算机-->属性-->高级系统设置-->环境变量-->系统变量：编辑Path，在行尾追加 ;C:\Program Files (x86)\OpenSSH for Window

ssh

win7

秘钥登录linux

原创 2013-10-10 16:42:09 9395 阅读 2点赞 1评论

大文件或目录复制时的信息统计脚本

昨天在机房等待复制数据(332G)时，实在等待的无聊，就写了这么个东西；主要用于当开始一个复制操作时，如果量比较大，我们又必须等待其完成，每次通过du查看的数据，自己要算一下才知道大概有多久；这个很麻烦，于是想，这应该是个很简单的脚本；先说操作前提，首先得有正在复制的东东，文件或目录皆可，然后要给脚本一个间隔时间，脚本通过间隔时间来计算平均每秒复制速度，然后还要告诉脚本源文件和目标文件，当然目

shell

copy

rsync

原创推荐 2013-10-10 11:05:45 1604 阅读 6点赞 5评论

tmux简单使用笔记

安装方法：# yum install tmux -y #centos，需配置epel源 # aptitude install tmux -y #ubuntu，配置任意网络源即可# tmux # 直接打开一个控制台# tmux ls # 等同于 screen -ls# tmux attach # 快速进入上次使用的控制台# tmux attach -t 2 #进入ID为2的控制台:screen -

shell

screen

tmux

原创 2013-10-09 11:18:13 1264 阅读

检查指定进程内存使用情况的nagios脚本

由于近来线上环境的某些进程总是内存溢出，所以需要添加一下对于某些进程的内存使用情况监控，搜到的别人的脚本大都不太满意，于是自己写了个，代码如下：#!/bin/bash HELP(){ echo " Usage: $0 -p /var/run/pidfile -w used% -c used%" echo " Exam: $0 -p /var/run/pidfile -w 85 -

进程

内存

shell

nagios

原创推荐 2013-09-29 11:51:11 2292 阅读 2点赞 3评论

rsync同步故障处理脚本

rsync同步故障（win08--->ubuntu12.04）源数据服务器为windows2008，安装cwRsyncServer，经常性同步过程卡死不退出，一下脚本用以解决此问题#!/bin/bashPRI=/root/rsync.pwdIST=/root/ign.listSF=root@223.*.*.*::testDT=/var/wwwLOG=/var/log/cdhome_rsync

rsync

cwRsyncServer

原创 2013-09-26 15:55:59 1740 阅读

datanode单块盘故障导致节点失效之脚本解决

问题：在hadoop的1.2.0中由于单个磁盘故障导致datanode节点失效，生产环境中datanode节点大多都有多块磁盘，我们现在需要一种方法，让datanode不会被单块磁盘的故障导致整个节点失效。解决方法及适用场景： 1、修改hadoop源代码(介个在作者能力之外)2、修改hdfs-site.xml中的dfs.data.dir的值，将故障盘的挂载点删除并重启(推荐在手动部署的hadoop

datanode

hadoop.shell

原创推荐 2013-08-29 11:59:16 2541 阅读

rhcs做HA时的资源释放脚本实现

场景： CentOS6.3的二次封装版本，安装hortonworks的hadoop发行版，并按照其官方文档实现高可用，但无fence设备支持，因此导致断网和断电测试时，备用HA节点无法得到资源释放的通知。因此，笔者简单写了一个脚本，让HA的备节点在主节点断网和断电时能够通过简单测试得知并获取资源，以实现真正意义的HA。思考： &n

vip

fence

rhcs

原创推荐 2013-08-21 09:57:32 1703 阅读

RHCS做hadoop的nn和jt的HA时，资源书写格式

<?xml version="1.0"?> <cluster config_version="10" name="HDP_NN_Cluster"> <clusternodes> <clusternode name="lab5.mos.com" nodeid="1"> <fence>

hadoop

rhcs

namenode

centos6.3

jobtracker

rgmanager

原创 2013-08-21 09:32:04 1229 阅读

通过screen实现近乎并发的shell远程调用思考和部分实现

假设一种场景，需要在多个节点需要执行相同命令(考虑命令的不确定性)，一般使用for 循环，ssh直接调用。例：需要查看每个节点的根目录使用情况：实际上，仅仅需将上述几行命令写成一个脚本，将要执行的命令设为位置参数，即可在一个互信的集群内满足这些要求了，看似问题得到了解决，笔者此前也的确是这么做的，但是问题出现了，有些命令的执行过程漫长，而这种

shell

ssh

centos

screen

concurrency

原创推荐 2013-07-24 09:44:50 2658 阅读 6点赞 8评论

大数据环境下的磁盘脚本思考和实现

disk

shell

centos

hdfs

原创推荐 2013-07-09 12:09:50 1650 阅读 8点赞 6评论

在已知IP的基础上，批量管理cluster IP脚本思考

由于近期时间颇紧，代码实现及测试暂时无暇顾及了，此处仅作思考记录：依赖条件：1、得知所有dhcp分配的IP（下文简称dip），以及要修改为的静态IP(sip)2、有一个脚本，通过其配置文件，可修改本机的主机名，ip等信息(已完成)3、两组ip以数组的形式，写入脚本配置文件4、未修改状态下，dip online，sip必须offline.5、未修改状态下，如果sip online，记录日志并跳过6、

ip

shell

cluster

原创 2013-06-20 12:53:02 765 阅读 1点赞

nfs客户端无法chown

nfs,chown,invalid,argumen

nfs

invalid

chown

argumen

原创 2013-05-13 12:19:50 3948 阅读

fedora18更新后，卸载原有内核后grub无恢复选项解决

重新以当前系统情况生成grub配置文件即可 # grub2-mkconfig -o /boot/grub2/grub.cfg

fedora

Advanced

grub2

原创 2013-02-07 12:48:43 1124 阅读

vsftpd+MySQL虚拟用户无法登陆解决

系统和软件版本： CentOS release 5.5 x86_64 vsftpd-2.0.5-28.el5 mysql-server-5.0.95-3.el5 pam_mysql-0.7RC1.tar.gz 编译安装以此前写过的 vsftpd+TLS+MySQL 的解决方案，始终无法正常登陆ftp服务器，折腾了两个小时后，无意间查到修改mysql的

mysql

ftp

pam

原创 2013-01-22 22:16:07 1052 阅读

nagios+cacti+nrpe+nconf整合最后报错解决

yum安装的 http和php，但是mysql却是编译安装的最新版，因此nconf的脚本使用的perl无法和mysql交互导致，因此安装 perl-DBD-MySQL 即可解决： # yum install perl-DBD-MySQL -y

nagios

cacti

nrpe

nconf

原创 2013-01-10 18:36:34 1088 阅读 1点赞

pxe安装centos6.3和fedora17报错解决

pxe

centos6.3

fedora17

原创 2013-01-10 18:19:01 1067 阅读

使用Shell自动构建OpenSSL的CA等

1、自动创建CA私有机构和测试证书一套 2、在已有的CA自签发证书或测试证书的基础上，进行几项调整或重新创建或给其他申请签发等

linux

shell

openssl

rhel

原创推荐 2013-01-08 16:06:04 3319 阅读 10点赞 8评论

使用Openswan构建企业级×××

本篇主要涉及实验及其注解，关于Openswan，IPSec，VPN这些理论神马的，暂时放一边吧，太多了，若是笔者细说，非一时半会儿可以说的清楚，而网上相关的文章亦不少，有兴趣的，自行搜索便是。实验目标： 1、在两个局域网的网关上构建VPN，使两个局域网内的客户端可以加密通信，并通过各自的网关联网； 2、在笔记本(laptop)到两个网关之间构建VPN，实现跟俩局域网的客户端加

linux

vpn

network

ipsec

openswan

原创推荐 2013-01-06 11:58:25 10000+阅读 9点赞 2收藏 7评论

使用shell脚本调试时间

公司近来服务器测试，需要经常调整系统时间，一两台还好半，稍微多点，就各种纠结了，笔者这几台都把笔者快弄疯了。老大一句话：全部调快3分钟...过会又全部调慢5分钟......然后咱们干活的，各种date 01021511....你懂的.于是为了解放生产力--代码如下: #!/bin/bash # Author: MOS #&nbs

linux

shell

date

原创推荐 2013-01-02 16:39:03 2986 阅读 19点赞 18评论

经典日志分析-AWStats

最初对awstats仅是听说过，这阵子要用到，网上搜了搜，相关的介绍，不得不说，真少，索性便自己写个，对于自己是个记录，以后能看，或许还能帮助到别人，哈哈。不废话了。切入正题。这是一个用起来很爽的日志分析工具，几乎完全满足一些中小型网站的需求分析，当然，这是笔者认为；主页为： http://awstats.sourceforg

linux

apache

log

access

awstats

原创推荐 2012-12-28 23:23:37 3008 阅读 6点赞 4评论

xcache2.0.1编译报错

系统CentOS5.8，rhel5.8和CentOS5.6 php5.1.6为yum安装 xcache2.0.1源码包报错忘了截图了，然后在google找到如下，这个差不多，但是笔者的报错比这个多两行； /usr/include/php/ext/date/lib/timelib_structs.h:24:28: error: timelib_config.h: No such file

php

linux

make

xcache

原创 2012-12-28 00:57:21 793 阅读

玩转awk

简单介绍一下，awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大，这是我们玩linux的必备基本功，若要对其身世有更详尽的了解，自行搜索即可。对于工具的知识，笔者尽量将每个知识点的简要说明，并给出实例。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。用法

linux

shell

rhel

awk

原创推荐 2012-12-27 19:54:53 10000+阅读 10点赞 3收藏 8评论

轻松构建分布式Hadoop

随着互联网的发展，大数据运算需求日益剧增，开源的hadoop出现至今，几乎已成为了业界的默认标准，下面，笔者就开始构建一个简单的hadoop并行运算集群。一、环境介绍模拟环境使用三台rhel5.8 32bit，各自IP和主机名如下： IP &n

java

linux

jdk

hadoop

原创推荐 2012-12-12 18:20:01 2032 阅读 3点赞 1评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

自强不息

欢迎

我的友情链接

使用docker部署一个直接可用的puppet服务端

puppet的hash合并函数

puppet函数多层路径转换数组

使用shell并发上传文件到hdfs

在hadoop集群部署hbase并开启kerberos

记一次nagios故障及解决

在win7命令行使用ssh通过秘钥登录linux

大文件或目录复制时的信息统计脚本

tmux简单使用笔记

检查指定进程内存使用情况的nagios脚本

rsync同步故障处理脚本

datanode单块盘故障导致节点失效之脚本解决

rhcs做HA时的资源释放脚本实现

RHCS做hadoop的nn和jt的HA时，资源书写格式

通过screen实现近乎并发的shell远程调用思考和部分实现

大数据环境下的磁盘脚本思考和实现

在已知IP的基础上，批量管理cluster IP脚本思考

nfs客户端无法chown

fedora18更新后，卸载原有内核后grub无恢复选项解决

vsftpd+MySQL虚拟用户无法登陆解决

nagios+cacti+nrpe+nconf整合最后报错解决

pxe安装centos6.3和fedora17报错解决

使用Shell自动构建OpenSSL的CA等

使用Openswan构建企业级×××

使用shell脚本调试时间

经典日志分析-AWStats

xcache2.0.1编译报错

玩转awk

轻松构建分布式Hadoop