计算hdfs指定目录中所有文件名中包含2011-04-24的文件大小，并换算成GB： $HADOOP_HOME/bin/hadoop fs -du /user/hdfs/s3/ifocus/*2011-04-24* |awk '{sum += $1}END{print sum}' |awk
写了一个从服务器上拉日志的脚本，从多台服务器上拉日志，日志名称是相同的，且每天有两个日志文件生成，如每台服务器上都有如下两个文件：ok_2011-04-24_24H.rar，ok_2011-04-24_12H.rar。显然不能把所有日志放到同一目录中进行处理，而且要同时解压两个文件后才能进行下一步处理，我想到了使用awk打印出相应命令，然后再执行。 #!/bin/bas
最近我们部门在测试云计算平台hadoop，我被lzo折腾了三四天，累了个够呛。在此总结一下，也给大家做个参考。 操作系统：CentOS 5.5，Hadoop版本：hadoop-0.20.2-CDH3B4 安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器，另外，还需要lzo-devel依赖 配置
大致步骤： 一、安装apache 二、安装JDK，作为JBOSS的运行环境 三、安装JBOSS 四、安装及配置mod_jk，用以apache和JBOSS之间的通信 五、配置虚拟主机，把动态资源交给JBOSS处理 安装apache： 1、 安装：yum 2、 配置：自行配置！对于虚拟主机，后面会提到。 安装JDK： 1、&nb
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
