51CTO博客开发
收集的一些资料加上自己的一些理解：sink hdfs 可以通过根据时间、文件大小，还有events的数量来生成文件Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。channeltypehdfspath写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表
今天发现有一台线上的服务器内存报警，最近报警发现有好几次了，慎是恼火，想一探究竟，看了一下是一台16G内存的服务器，free 了一下看了一下确实是没有多少内存可用了，再看了一下都跑了一些什么应用，结果发现只跑了一个数据库跟一个跨服，当时心里就感觉16G内存不可能用完，[root@hqg-222-99. logs]#ps aux|awk '{s
磁盘io性能测试一般都用dd 和fio 记录一下过程：[root@yunwei-system-89 data]# dd bs=16k count=138000 if=/dev/zero of=test oflag=dsync 138000+0 records in 138000+0 re
/opt/MegaCli -LDInfo -Lall -aALL 查raid级别 /opt/MegaCli -AdpAllInfo -aALL 查raid卡信息 /opt/MegaCli -PDList -aALL 查看硬盘信息 /opt/MegaCli -AdpBbuCmd&
1、 cloudstack 只会桥接默认路由的网卡，如果你的内网管理需要手动桥接，网络配置里需要填写具体桥接的名字，因为这个折腾了好久，具体桥接命令是，和网卡配置文件如下：brctl addbr cloudbr0 brctl addif cloudbr0 em2 [root@lssy-s001-229 data]#
关于FIN_WAIT1 发表于2014-11-06 前些天，一堆人在 TCPCopy 社区里闲扯蛋，有人提了一个问题：FIN_WAIT1 能持续多久？引发了一场讨论，期间我得到斌哥和多位朋友的点化，受益良多。让我们热热身，通过一张旧图来回忆一下 TCP 关闭连接时的情况：TCP Close看图可知，主动关闭的一方发出 FIN，同时进入 FIN_WAIT1 状
做个标记记录下：想要通过普通的静态策略路由来实现电信网通双线基本上是不可能的，因为那将需要维护相当大的一个IP段的数据库，而且还需要随时更新才能保证效果。后来听前辈们说，可以采用基于源地址路由的方式来处理，让进来的数据，从哪个IP进来就从哪个IP返回。下面就是一个在生产中得到了实际应用的脚本：=====================================================
今天查询线上数据库时生成的csv文件，由于CSV文件在windows上不支持utf8，需要转换成GB2312enca -L zh_CN file #查询文件编码 enca -L zh_CN -x GB2312 *.csv #转移目录下的所有CSV文件为GB2312
tcpdump的命令格式如下：tcpdump [ -AdDeflLnNOpqRStuUvxX ] [ -c count ][ -C file_size ] [ -F file ][ -i interface ] [ -m module ] [ -M secret ][ -r file ] [ -s snaplen ] [ -T type ] [ -w file ][ -W filecount ][
转自：http://rhomobi.com/topics/47TCP需要三次握手才能建立，而断开连接则需要四次握手。整个过程如下图所示：未优化前服务器的状态 [root@ngx32 ~]# netstat -na |awk '{print $6}'| sort |uniq -c |sort
一、 使用openldap集中身份认证，可以集中登录服务器，这样root 密码就可以腾出来了，最主要是方便帐号管理。server 172.168.10.23client 172.168.10.141、在server端部署：[root@ddd-s-21 ]# yum install openldap-* &nbs
堆大小设置JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统 下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。典型设置：java -Xmx3550m -Xms3550m -X
如果需要做联通电信的智能DNS，必然需要知道这两个ISP分配到的IP段。我们可以通过apnic下载完整的IP段，再查询IP的whois，再根据各运营商的关键词（如联通的netname是unicom，电信是chinanet或telecom）筛选出IP段。下面是实现这一功能的脚本：在执行脚本之前先安装jwhois,bcyum install jwhois bc #!
一、esx 下的linux 虚拟主机迁移到kvm,需要注意的事项1、安装virt-v2v 迁移工具yum install virt-v2v -y2、配置kvm 的虚拟化存储池，此处略3、在kvm宿主机上，创建esxi认证文件，内容如下[root@ddd-s-8 ~]# cat ~/.netrc machine&nb
Convirt 是一个虚拟化管理平台，使用无代理模式工作。当需要管理的目标节点提供SSH登录方式时，ConVirt通过SSH登陆到计算节点，在计算节点上直接运行相对应的虚拟化管 理命令。当需要管理的目标节点提供HTTP/HTTPS/XML－RPC远程调用接口时，ConVirt插件通过目标节点所提供的远程调用接口实现对目标平台的管理，目前最新版本为2.0.1。C
定义存储池目录[root@ddd-s-8 kvmimg]# virsh pool-define-as vmdisk --type dir --target /data/kvmimg/ Pool vmdisk defined 2.创建已定义的存储池 [root@ddd-s-8 kvmimg
raw相比qcow2就缺乏的三个功能，但都能通过别的方式解决：1、加密功能：把raw本身就当普通文件加密之搞定2、快照功能：把raw加入版本管理目录中，具体需要的设置可能稍微有点多。3、宿主机不支持按需打孔模式（hole）：这个可以自己根据使用情况来扩展raw的最大值4、硬盘压缩：就当普通电脑文件压缩之即可而raw有qcow2所无法媲美的功能：1、效率高于qcow22、直接读写虚拟机硬盘里面的文件
一、在宿主机上用virt-clone直接克隆1、查看源虚拟机配置文件[root@ddd-s-8 qemu]# more /etc/libvirt/qemu/test01.xml <!-- WARNING: THIS IS AN AUTO-GENERATED FILE. CHANGES&nbs
kernel-based Virtual Machine的简称，是一个开源的系统虚拟化模块，自Linux 2.6.20之后集成在Linux的各个主要发行版本中。它使用Linux自身的调度器进行管理，所以相对于Xen，其核心源码很少。KVM目前已成为学 术界的主流VMM之一。KVM的虚拟化需要硬件支持（如Intel VT技术或者AMD V技术)。是基于硬件的完全虚拟化。
一、RunDeck介绍RunDeck是用Java/Grails写的开源工具，帮助用户在数据中心或者云环境中自动化各种操作和流程。通过命令行或者web界面，用户可以对任意数量的服务器进行操作，大大降低了对服务器自动化的门槛。RunDeck提供如下功能：1.1 提供web界面和命令行来执行shell命令和job1.2 自定义job步骤1.3 设置shell命令/job运行周期（类似cron table
Enterprise Audit Shell安装（EAS - linux审计工具） EAS是一个CS架构的审计软件，可以对用户的登录SESSION进行监控，并replay用户执行过的命令。，资料实在太少了，06年就停止更新的东西，不过还有很多公司在用，不支持sz rs，如果有这个需求的，要有二次开发的准备，或者放弃使用。EAS分为EASD服务端和EASH客户端。
172.168.10.11 master172.168.10.12 master172.168.10.24 slave两台mysql 互为主,一台充当slave，做好同步功能，这里主要介绍一下mysql-mmm的用法三台mysql 数据库服务器需要安装：mysql-mmm-agent*，perl-Time-HiRes*在172.168.10.24 s
master my.cnf部份配置:log-bin = /data/mysqllog/binlog/mysql-bin log_slave_updates #让slave 也可以充当master角色，写binlog replicate-do-db = dingmh #需要复制的库 server-id = 20 #服务器的
安装、配置Semi-sync Replication在两台主机上安装好MySQL5.5，编译好的插件在目录CMAKE_INSTALL_PREFIX/lib/plugin下（默认是/usr/local/mysql/lib/plugin）。例如这里编译是指定CMAKE_INSTALL_PREFIX为/home/mysql/mysql，则有：semisync_master.so semisy
keepalived lvs 的配置先贴一下，给自己做一个记号master 的配置：global_defs { notification_email { 125698756@qq.com } notification_email_from admin@qq.com smtp_server 127.0.0.1 smtp_connect_timeout 30
好久没用过keepalived 以前用的时候也没有做过笔记，基本上都忘的差不多了，今天整理的时候记录一下.master配置：global_defs { notification_email { 125698756@qq.com } notification_email_from admin@qq.com smtp_server 127.0.0.1 smtp_
sql导出csv 文件语句如下：select a.positionId,c.serverId,c.name from position_info a, hero_base_info b, hero_info c where a.officalId=b.heroId and b.heroId=c.id into outfile'/tmp/db.csv' fields terminated by '
java启动参数共分为三类；其一是标准参数（-），所有的JVM实现都必须实现这些参数的功能，而且向后兼容；其二是非标准参数（-X），默认jvm实现这些参数的功能，但是并不保证所有jvm实现都满足，且不保证向后兼容；其三是非Stable参数（-XX），此类参数各个jvm实现会有所不同，将来可能会随时取消，需要慎重使用；一．标准参数-client 设置jvm使用client模式，特点是启动速度比较快
一、Xtrabackup介绍 A、Xtrabackup是什么 Xtrabackup是一个对InnoDB做数据备份的工具，支持在线热备份(备份时不影响数据读写)，是商业备份工具InnoDB Hotbackup的一个很好的替代品。 Xtrabackup有两个主要的工具：xtrabackup、innobackupex 1、xtrabackup只能备份InnoDB和XtraDB两种数据表，而不能备
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号
