flume sinke 至hdfs 收集的一些资料

收集的一些资料加上自己的一些理解:sink hdfs 可以通过根据时间、文件大小,还有events的数量来生成文件Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。channeltypehdfspath写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表

转载 点赞0 阅读663 收藏0 评论0 2016-09-21

一次生产环境服务器内存不足的排查经过

   今天发现有一台线上的服务器内存报警,最近报警发现有好几次了,慎是恼火,想一探究竟,看了一下是一台16G内存的服务器,free 了一下看了一下确实是没有多少内存可用了,再看了一下都跑了一些什么应用,结果发现只跑了一个数据库跟一个跨服,当时心里就感觉16G内存不可能用完,[root@hqg-222-99. logs]#ps aux|awk '{s

原创 推荐 点赞10 阅读9728 收藏14 评论10 2016-09-06

磁盘 io 测试

磁盘io性能测试一般都用dd 和fio  记录一下过程:[root@yunwei-system-89 data]# dd bs=16k count=138000 if=/dev/zero of=test oflag=dsync 138000+0 records in 138000+0 re

原创 点赞0 阅读842 收藏0 评论0 2016-03-31

dell raid 卡信息查看

/opt/MegaCli  -LDInfo -Lall -aALL 查raid级别 /opt/MegaCli -AdpAllInfo -aALL 查raid卡信息 /opt/MegaCli -PDList -aALL 查看硬盘信息 /opt/MegaCli -AdpBbuCmd&

原创 点赞0 阅读1098 收藏0 评论0 2016-01-22