flume sinke 至hdfs 收集的一些资料

收集的一些资料加上自己的一些理解:sink hdfs 可以通过根据时间、文件大小,还有events的数量来生成文件Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。channeltypehdfspath写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表

转载 点赞0 阅读651 收藏0 评论0 2016-09-21

关于FIN_WAIT1

关于FIN_WAIT1 发表于2014-11-06 前些天,一堆人在 TCPCopy 社区里闲扯蛋,有人提了一个问题:FIN_WAIT1 能持续多久?引发了一场讨论,期间我得到斌哥和多位朋友的点化,受益良多。让我们热热身,通过一张旧图来回忆一下 TCP 关闭连接时的情况:TCP Close看图可知,主动关闭的一方发出 FIN,同时进入 FIN_WAIT1 状

转载 点赞0 阅读364 收藏0 评论0 2015-05-05

在Linux上基于源地址路由实现电信网通双线

做个标记记录下:想要通过普通的静态策略路由来实现电信网通双线基本上是不可能的,因为那将需要维护相当大的一个IP段的数据库,而且还需要随时更新才能保证效果。后来听前辈们说,可以采用基于源地址路由的方式来处理,让进来的数据,从哪个IP进来就从哪个IP返回。下面就是一个在生产中得到了实际应用的脚本:=====================================================

转载 点赞0 阅读619 收藏0 评论0 2015-04-01

tcpdump 一个比较详细的用法

tcpdump的命令格式如下:tcpdump [ -AdDeflLnNOpqRStuUvxX ] [ -c count ][ -C file_size ] [ -F file ][ -i interface ] [ -m module ] [ -M secret ][ -r file ] [ -s snaplen ] [ -T type ] [ -w file ][ -W filecount ][

转载 点赞0 阅读10000+ 收藏0 评论0 2014-12-26

Nginx调优 | 解决timewait | 解决SYN_RECV | LAST_ACK

转自:http://rhomobi.com/topics/47TCP需要三次握手才能建立,而断开连接则需要四次握手。整个过程如下图所示:未优化前服务器的状态 [root@ngx32 ~]# netstat -na |awk '{print $6}'| sort |uniq -c |sort 

转载 点赞1 阅读10000+ 收藏1 评论0 2014-12-03

JVM 调优总结

堆大小设置JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统 下,一般限制在1.5G~2G;64为操作系统对内存无限制。我在Windows Server 2003 系统,3.5G物理内存,JDK5.0下测试,最大可设置为1478m。典型设置:java -Xmx3550m -Xms3550m -X

转载 点赞0 阅读255 收藏0 评论0 2014-07-30

自动获取联通电信最新IP段

如果需要做联通电信的智能DNS,必然需要知道这两个ISP分配到的IP段。我们可以通过apnic下载完整的IP段,再查询IP的whois,再根据各运营商的关键词(如联通的netname是unicom,电信是chinanet或telecom)筛选出IP段。下面是实现这一功能的脚本:在执行脚本之前先安装jwhois,bcyum install jwhois bc #!

转载 点赞0 阅读788 收藏0 评论0 2014-07-23

kvm convirt集中管理平台搭建

    Convirt 是一个虚拟化管理平台,使用无代理模式工作。当需要管理的目标节点提供SSH登录方式时,ConVirt通过SSH登陆到计算节点,在计算节点上直接运行相对应的虚拟化管 理命令。当需要管理的目标节点提供HTTP/HTTPS/XML-RPC远程调用接口时,ConVirt插件通过目标节点所提供的远程调用接口实现对目标平台的管理,目前最新版本为2.0.1。C

转载 点赞4 阅读1133 收藏0 评论6 2014-07-10

kvm 虚拟机快照备份

raw相比qcow2就缺乏的三个功能,但都能通过别的方式解决:1、加密功能:把raw本身就当普通文件加密之搞定2、快照功能:把raw加入版本管理目录中,具体需要的设置可能稍微有点多。3、宿主机不支持按需打孔模式(hole):这个可以自己根据使用情况来扩展raw的最大值4、硬盘压缩:就当普通电脑文件压缩之即可而raw有qcow2所无法媲美的功能:1、效率高于qcow22、直接读写虚拟机硬盘里面的文件

转载 点赞0 阅读1010 收藏0 评论0 2014-07-07

mysql 5.5半同步复制功能部署

安装、配置Semi-sync Replication在两台主机上安装好MySQL5.5,编译好的插件在目录CMAKE_INSTALL_PREFIX/lib/plugin下(默认是/usr/local/mysql/lib/plugin)。例如这里编译是指定CMAKE_INSTALL_PREFIX为/home/mysql/mysql,则有:semisync_master.so  semisy

转载 点赞0 阅读468 收藏0 评论0 2014-05-07

JAVA启动参数整理

java启动参数共分为三类;其一是标准参数(-),所有的JVM实现都必须实现这些参数的功能,而且向后兼容;其二是非标准参数(-X),默认jvm实现这些参数的功能,但是并不保证所有jvm实现都满足,且不保证向后兼容;其三是非Stable参数(-XX),此类参数各个jvm实现会有所不同,将来可能会随时取消,需要慎重使用;一.标准参数-client 设置jvm使用client模式,特点是启动速度比较快

转载 点赞0 阅读522 收藏0 评论0 2014-04-02

Xtrabackup 使用

一、Xtrabackup介绍  A、Xtrabackup是什么  Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品。  Xtrabackup有两个主要的工具:xtrabackup、innobackupex  1、xtrabackup只能备份InnoDB和XtraDB两种数据表,而不能备

转载 点赞0 阅读356 收藏0 评论0 2014-03-17

python 之os模块学习

一、os模块概述Python os模块包含普遍的操作系统功能。如果你希望你的程序能够与平台无关的话,这个模块是尤为重要的。(一语中的)二、常用方法1、os.name输出字符串指示正在使用的平台。如果是window 则用'nt'表示,对于Linux/Unix用户,它是'posix'。2、os.getcwd()函数得到当前工作目录,即当前Python脚本工作的目录路径。3、os.listdir()返回

转载 点赞0 阅读212 收藏0 评论0 2014-03-17

AWK 输出 ‘,“ 单引号,双引号

AWK 输出 ‘,“ 单引号,双引号在使用awk的过程中,有时候需要把数据拼装后,加入单引号或者双引号,特别是在使用数据库的时候。但是awk在使用单引号或者双引号的过程中,经常会出现错误,原因是把单引号或者双引号跟它的动作的引号混淆了。下面简单的说明如何在awk中使用单引号或者双引号。双引号:awk '{print "\""}'        #放大:awk

转载 点赞0 阅读860 收藏1 评论0 2014-03-15

tomcat 并发优化

首先先介绍一款知名的网站压力测试工具:webbench.Webbench能测试处在相同硬件上,不同服务的性能以及不同硬件上同一个服务的运行状况。webbench的标准测试可以向我们展示服务器的两项内容:每分钟相应请求数和每秒钟传输数据量。webbench不但能具有便准静态页面的测试能力,还能对动态页面(ASP,PHP,JAVA,CGI)进 行测试的能力。还有就是他支持对含有SSL的安全网站例如电子

转载 点赞0 阅读232 收藏1 评论0 2014-03-13

CentOS --kickstart服务器搭建(二)

我们接着上篇继续来说CentOS系统安装的这点事,上篇我们己经实现了通过网络来安装操作系统,安装操作系统需要人机交互,如果机器量少还好,如果量比较多的话,就比较累人了.幸好redhat给我们提供了一个好用的工具,Kickstart    那什么时Kickstart呢?    简单来说,Kickstart创建一个名为ks.cfg的文件,这个文件里面包含了安装过

转载 点赞0 阅读391 收藏0 评论0 2014-01-22

CentOS --kickstart服务器搭建(一)

实验环境的搭建:1.硬件环境介绍通过VMware Workstation搭建一个虚拟局域网环境.该局域网,一台为名为CentOS1,计划做为kickstart 服务器,具体如下    主机名:CentOS1    操作系统:CentOS release 6.4    主机IP:192.168.80.3    为实验方便

转载 点赞0 阅读530 收藏0 评论0 2014-01-22

最近一段时间在研究rpm包的制作,转载过来比较好些的资料,和自己的一些例子

RPM制作 2.1 基本步骤 1) 取回软件的源代码和相关的补丁 2) 测试所需的补丁,以便于顺利的构建整个程序 3) 编辑spec文件 4) 把文件放到正确的位置 5) 使用RPM构建rpm包 2.2 目录结构 /usr/src/redhat/BUILD             编译时的临时目录 /

转载 点赞0 阅读784 收藏0 评论0 2012-11-13

动态开启MySQL general log

      常常遇到这样的问题:数据库访问量很大,想要从SQL方面进行优化。往往开发同学会问:能看到哪些SQL执行比较频繁吗?回道:不能哦,只能看到当前正在运行的SQL和慢日志里记录的SQL。     因为为了性能考虑,一般general log不会开启。slow log可以定位一些有性能问题的sql,而general

转载 点赞0 阅读359 收藏0 评论0 2012-06-25

ip_conntrack 模块的作用

ip_conntrack 是Linux NAT一个跟踪连接条目的模块记录着允许的跟踪连接条目ip_conntrack 模块会记录 tcp 通讯协议的 established connection 记录, 而且预设 timeout 时间长达五天 (432,000 秒).所以局域网中当有人使用p2p类的软件就很容易使ip_conntrack达到最大值...也由此造成: 我们先来看看怎样阅读/pr

转载 点赞0 阅读5558 收藏0 评论0 2012-05-29

什么是EXT3文件系统

EXT3文件系统 EXT2和EXT3是许多Linux操作系统发行版本的默认文件系统。EXT基于UFS,是一种快速、稳定的文件系统。 随着Linux系统在关键业务中的应用,Linux文件系统的弱点也渐渐显露出来了;其中EXT2文件系统是非日志式文件系统,这在关键行业的应用是一个致命的弱点,EXT3文件系统弥补了这一缺点。      &nbs

转载 点赞0 阅读560 收藏0 评论0 2012-05-08

一些参数的优化

proc/sys/kernel/ 优化 1)     /proc/sys/kernel/ctrl-alt-del 该文件有一个二进制值,该值控制系统在接收到ctrl+alt+delete按键组合时如何反应。这两个值分别是: 零(0)值,表示捕获ctrl+alt+delete,并将其送至 init 程序;这将允许系统可以安全地关闭和重启,就好象输入shutd

转载 点赞0 阅读366 收藏0 评论0 2012-04-26

linux 命令做个记号

linux系统root用户可强制踢制其它登录用户命令格式是:pkill -kill -t  tty  查看应用程序占用的物理内存 pmap -d $pid 或ps -aux |grep XXX|grep -v grep |awk '{print $5}' ps命令的输出格式可以通过-o参数定制,可以使用如下命令显示进程所对应的执行CPU: # ps -eo pid,

转载 点赞0 阅读571 收藏0 评论0 2012-04-12

HSRP协议track命令的解析

例:track 1 ip route 10.1.21.128 255.255.0.0 metric threshold threshold metric up 1 down 2 track 10 ip route 10.2.21.128 255.255.255.0 metric threshold threshold metric up 63 down 64 interface V

转载 点赞1 阅读1606 收藏0 评论1 2011-12-27

hsrp和vrrp的区别

hsrp和vrrp都可以作为路由备份使用。 HSRP是思科的私有协议,VRRP是标准协议 区别: 1、HSRP不支持将真实的接口地址,设置为虚拟的网关地址,而VRRP支持 2、HSRP将报文承载在UDP报文上,而VRRP承载在TCP报文上 3、HSRP有三种报文,而且有三种状态可以发送报文 呼叫(Hello)报文,告辞(Resign)报文,突变(Coup)报文 VRRP有一种

转载 点赞0 阅读587 收藏0 评论0 2011-12-27

使用Object Tracking辅助HSRP监测IP地址,提高数据中心网络稳定性

我们在工作中经常遇到HSRP,常见的方法是通过track物理接口实现优先级的调整,达到主备切换的目的。 但却时常有这类问题出现:一二层没有问题,三层无法PING通(路由协议或ARP等原因),HSRP这时无法检测并即时切换,从而造成故障隐患。 使用Object Tracking可以让HSRP track ip而不仅仅是接口。 相关资料: 1、http://www.cisco.com/

转载 点赞0 阅读426 收藏0 评论0 2011-12-27

Cisco ASA Failover

Failover Overview Failover特性是Cisco安全产品高可用性的一个解决方案,目的是为了提供不间断的服务,当主设备down掉的时候,备用设备能够马上接管主设备的工作,进而保持通信的连通性; Failover配置要求两个进行Failover的设备通过专用的failover线缆和可选的Stateful Failover线缆互相连接;活动设备的接口被monitor,用于发现

转载 点赞1 阅读1546 收藏0 评论0 2011-12-27

在HSRP环境中通过track命令的介绍

思科的HSRP技术介绍 思 科的HSRP技术是hot standby router protocol的缩写,即热备份路由协议。它主要是向我们提供了这样一种机制 -- 它的设计目的主要在于支持IP传输失败情况下的不中断服务。具体说,就是本协议用于在源主机无法动态地学习到首跳路由器IP地址的情况下防止首跳路由的失 败。换句话说,实际上就是网关的冗余保证协议。我们知道,在每个客户端都需要配置网关,

转载 点赞0 阅读945 收藏0 评论0 2011-12-27
写文章