上官战的博客_Shell脚本

使用shell并发上传文件到hdfs

shell

put

hadoop

hdfs

原创推荐 2014-12-14 16:09:08 10000+阅读 1点赞 3评论

大文件或目录复制时的信息统计脚本

昨天在机房等待复制数据(332G)时，实在等待的无聊，就写了这么个东西；主要用于当开始一个复制操作时，如果量比较大，我们又必须等待其完成，每次通过du查看的数据，自己要算一下才知道大概有多久；这个很麻烦，于是想，这应该是个很简单的脚本；先说操作前提，首先得有正在复制的东东，文件或目录皆可，然后要给脚本一个间隔时间，脚本通过间隔时间来计算平均每秒复制速度，然后还要告诉脚本源文件和目标文件，当然目

shell

copy

rsync

原创推荐 2013-10-10 11:05:45 1600 阅读 6点赞 5评论

检查指定进程内存使用情况的nagios脚本

由于近来线上环境的某些进程总是内存溢出，所以需要添加一下对于某些进程的内存使用情况监控，搜到的别人的脚本大都不太满意，于是自己写了个，代码如下：#!/bin/bash HELP(){ echo " Usage: $0 -p /var/run/pidfile -w used% -c used%" echo " Exam: $0 -p /var/run/pidfile -w 85 -

进程

内存

shell

nagios

原创推荐 2013-09-29 11:51:11 2279 阅读 2点赞 3评论

rsync同步故障处理脚本

rsync同步故障（win08--->ubuntu12.04）源数据服务器为windows2008，安装cwRsyncServer，经常性同步过程卡死不退出，一下脚本用以解决此问题#!/bin/bashPRI=/root/rsync.pwdIST=/root/ign.listSF=root@223.*.*.*::testDT=/var/wwwLOG=/var/log/cdhome_rsync

rsync

cwRsyncServer

原创 2013-09-26 15:55:59 1738 阅读

datanode单块盘故障导致节点失效之脚本解决

问题：在hadoop的1.2.0中由于单个磁盘故障导致datanode节点失效，生产环境中datanode节点大多都有多块磁盘，我们现在需要一种方法，让datanode不会被单块磁盘的故障导致整个节点失效。解决方法及适用场景： 1、修改hadoop源代码(介个在作者能力之外)2、修改hdfs-site.xml中的dfs.data.dir的值，将故障盘的挂载点删除并重启(推荐在手动部署的hadoop

datanode

hadoop.shell

原创推荐 2013-08-29 11:59:16 2535 阅读

rhcs做HA时的资源释放脚本实现

场景： CentOS6.3的二次封装版本，安装hortonworks的hadoop发行版，并按照其官方文档实现高可用，但无fence设备支持，因此导致断网和断电测试时，备用HA节点无法得到资源释放的通知。因此，笔者简单写了一个脚本，让HA的备节点在主节点断网和断电时能够通过简单测试得知并获取资源，以实现真正意义的HA。思考： &n

vip

fence

rhcs

原创推荐 2013-08-21 09:57:32 1700 阅读

通过screen实现近乎并发的shell远程调用思考和部分实现

假设一种场景，需要在多个节点需要执行相同命令(考虑命令的不确定性)，一般使用for 循环，ssh直接调用。例：需要查看每个节点的根目录使用情况：实际上，仅仅需将上述几行命令写成一个脚本，将要执行的命令设为位置参数，即可在一个互信的集群内满足这些要求了，看似问题得到了解决，笔者此前也的确是这么做的，但是问题出现了，有些命令的执行过程漫长，而这种

shell

ssh

centos

screen

concurrency

原创推荐 2013-07-24 09:44:50 2657 阅读 6点赞 8评论

大数据环境下的磁盘脚本思考和实现

disk

shell

centos

hdfs

原创推荐 2013-07-09 12:09:50 1648 阅读 8点赞 6评论

nfs故障后，客户端使用df命令无法退出解决，用于脚本方案

使用read超时参数即可解决：ex:read -t5 DIR < <(df) if [ -n "$DIR" ];then echo $DIR else echo "read error" fi感谢谷歌，方法出自：http://dbaspot.com/shell/404467-check-nfs-mount-script.html

shell

nfs

df

timeout

翻译精选 2013-07-09 10:16:43 1494 阅读 1评论

使用Shell自动构建OpenSSL的CA等

1、自动创建CA私有机构和测试证书一套 2、在已有的CA自签发证书或测试证书的基础上，进行几项调整或重新创建或给其他申请签发等

linux

shell

openssl

rhel

原创推荐 2013-01-08 16:06:04 3312 阅读 10点赞 8评论

使用shell脚本调试时间

公司近来服务器测试，需要经常调整系统时间，一两台还好半，稍微多点，就各种纠结了，笔者这几台都把笔者快弄疯了。老大一句话：全部调快3分钟...过会又全部调慢5分钟......然后咱们干活的，各种date 01021511....你懂的.于是为了解放生产力--代码如下: #!/bin/bash # Author: MOS #&nbs

linux

shell

date

原创推荐 2013-01-02 16:39:03 2978 阅读 19点赞 18评论

玩转awk

简单介绍一下，awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大，这是我们玩linux的必备基本功，若要对其身世有更详尽的了解，自行搜索即可。对于工具的知识，笔者尽量将每个知识点的简要说明，并给出实例。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。用法

linux

shell

rhel

awk

原创推荐 2012-12-27 19:54:53 10000+阅读 10点赞 3收藏 8评论

续上篇LVS脚本

其中除了lvs.sh脚本为笔者原创，其它脚本仅作小部分修改而已。昨天又想了想，将director中的RIP可以定义为数组，放置指定配置文件，及其他相关变量，都以配置文件的形势分离，然后将start和stop及status加上笔者的lvs脚本，各自内容做成一个函数，然后才是一个完整的SysV风格的服务脚本，无奈于近来时间问题，暂时搁置，得熬过这阵子，再做折腾。下面给出RIP部分的实现方式，有

RIP

shell

lvs

原创 2012-11-28 17:14:27 577 阅读

LVS之偷懒脚本

实验环境：rhel5.8 Director DIP：192.168.88.132 VIP：192.168.88.120 RealServer RIP1：192.168.88.129 VIP：192.168.88.120 RI

LVS

原创 2012-11-26 20:17:03 1494 阅读 2点赞 3评论

shell自动清空创建并格式化硬盘

作业3：要求如下：写一个脚本： 1、创建一个函数，可以接受一个磁盘设备路径（如/dev/sdb）作为参数;在真正开始后面步骤之前提醒用户有危险，并让用户选择是否继续；而后将此磁盘设备上的所有分区清空（提示，使用命令dd if=/dev/zero of=/dev/sdb bs=512 count=1实现，注意其中的设备路径不要写错了）；如果此步骤失败，返回67

函数

硬盘

shell

分区

原创推荐 2012-10-10 15:52:59 6896 阅读 1点赞 3评论

shell 编程文件内关键字定位文件

今天晚上回来，写第四题的时候，正好要匹配IP，那个正则表达式太恶心了... 笔者记得之前写过...但是，忘记放哪了..... 笔者的脚本测试文件都扔到一个目录内的，由于练习量偏大，所以一个目录内，各种时间命名的目录，而且各个目录里面的文件名字都是test1.sh，test2.sh....test10.sh....最少也几百个了.... 而笔者要的，是某一天，写的某个脚本，笔者只记得那个脚本里

名字

过滤

find

查找

文件内容

原创 2012-10-10 01:50:50 1005 阅读

shell 检测网段在线主机

作业四：写一个脚本：实现ping C类网段，B类网段和A类网段内的所有主机；网段地址让用户输入，而且通过脚本判断网段类型； #!/bin/bash #Author: MOS #Script name: funPing.sh #Date & Time: 2012-10

函数

ping

shell

网段

原创 2012-10-10 01:41:06 1482 阅读

shell编程函数简单应用

写一个脚本： 1、创建一个函数，可以接受inode或block两个参数，如果用户传递其它参数，则返回错误信息53给主程序；如果传递的参数为inode，则显示当前系统上所有文件系统inode节点的使用情况；如果传递的参数为block，则显示当前系统上所有文件系统block的使用情况； 2、调用此函数；代码如下： #!/bin/bash &

函数

shell

原创 2012-10-10 01:30:51 527 阅读

shell编程之函数简单使用

写一个脚本： 1、使用函数实现：判断一个用户是否存在，用户名通过参数传递而来；如果存在，就显示此用户的shell和UID 如果不存在，就说此用户不存在； 2、提示用户输入用户名，而后将其传递给上面的函数； 3、判断结束后不退出，而是提示用户可继续输入其它用户名，或输入（quit）退出；不废话，代码如下

函数

shell

原创 2012-10-10 01:26:30 662 阅读

10月7号，shell脚本完善版

不废话，代码如下 #!/bin/bash #Author: MOS #Script name: demo1.sh #Date & Time: 2012-10-08/18:59:09 #Version: 1.0.2

命令

linux

复制

库文件

原创 2012-10-08 20:48:47 893 阅读 1点赞 2评论

shell编程自动创建测试文件

学shell编程的时候，每次做测试，总要创建一个文件，给予权限，文件每次编辑还要写个#!/bin/bash，当测试文件多了的时候，还得整理，或移动，或删除...亲，烦不烦... 以下是脚本实现的一些功能：(假设脚本在当前目录，且名字为test.sh) 1 ./test.sh 不加任何参数->自动在当前目录创建一个名字为test.sh，且权限为700的文件，多次执行会

shell编程

测试文件

原创推荐 2012-09-27 21:21:56 1223 阅读 2评论

shell编程基础总结

正式学习shell编程近1周，趁着明天休息，这会也懒得写作业...做一下基础知识总结..给各位也给自己做个笔记..废话结束，下面切入正题：测试运算符 -z 字符串长度为空 -n 字符串长度不为空 &

shell

shell基础

原创 2012-09-26 23:14:03 733 阅读 1点赞 1评论

shell编程自动创建分区

昨天中午的作业，用shell脚本自动添加分区，已实现功能如下： 1.检查扩展分区是否，且是否可以添加，如果可以则把所有的剩余空间设置为扩展分区 2.当扩展分区存在，则输入要添加的分区大小，仅接受大于1的正整数代码如下： #!/bin/bash Hard='/dev/sda' Exten=`fdisk -l $Hard|grep Extended` Maxnum=`fdisk -l

shell编程

自动分区

原创 2012-09-26 21:58:46 902 阅读

shell编程测试单个主机或网段主机存活

今天中午的作业，写shell脚本，使用ping判断指定IP或者IP端内的主机存活。只接受规定的IP格式输入和IP段输入(例如：192.168.2.88 或 192.168.2.)注意，写IP段的时候后面有个点...脚本简陋...看官将就一下吧；上代码： #!/bin/bash read -p "Please input ip:(192.168.0.22) or (192.168.

shell

检查主机

主机存在

原创 2012-09-26 21:44:04 925 阅读

shell 编程批量添加用户

废话不多，直接上代码，呃，声明一下，仅供测试，如果雷同，不胜荣幸保存为任意文件名：给x权限不加任何参数，则为添加user1.user2.user3....user10，密码=用户名加参数例：command -a test 20 命令 -a添加 test是用户头 20是添加数量(一次添加最多不得大于100个，下面代码可以自己改) &nbs

linux

shell

添加多个用户

原创 2012-09-23 00:50:38 611 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

自强不息

使用shell并发上传文件到hdfs

大文件或目录复制时的信息统计脚本

检查指定进程内存使用情况的nagios脚本

rsync同步故障处理脚本

datanode单块盘故障导致节点失效之脚本解决

rhcs做HA时的资源释放脚本实现

通过screen实现近乎并发的shell远程调用思考和部分实现

大数据环境下的磁盘脚本思考和实现

nfs故障后，客户端使用df命令无法退出解决，用于脚本方案

使用Shell自动构建OpenSSL的CA等

使用shell脚本调试时间

玩转awk

续上篇LVS脚本

LVS之偷懒脚本

shell自动清空创建并格式化硬盘

shell 编程文件内关键字定位文件

shell 检测网段在线主机

shell编程函数简单应用

shell编程之函数简单使用

10月7号，shell脚本完善版

shell编程自动创建测试文件

shell编程基础总结

shell编程自动创建分区

shell编程测试单个主机或网段主机存活

shell 编程批量添加用户