手机随时阅读
新人专享大礼包￥24
SALogs旁门左道优秀博客北森运维chinaunix
http://www.ttlsa.com/nginx/nginx-tutorial-from-entry-to-the-master-ttlsa/ 值得一看，相当详细
今天在centos 6.3上搭建了hadoop+hive＋spark 系统，在运行/usr/local/spark-1.0.0/bin/spark-shell 出现找不到hive 相关的类，于是修改了spark-env.sh在spark_classpath 里添加了 hive 的库路径export SPARK_CLASSPATH=/usr/local/spark-1.0.0
最近在搞oozie,通过oozie 定时调度hive hql来取数据和插入数据，其中有一个问题就是时间，如：取当前系统时间或系统日期。经过查询函数使用如下:select from_unixtime(unix_timestamp()) from dual; （dual 表需要简单创建，然后可以往里插入一条数据）最后返回OK2014-03-07 17:57:30Time t
今天真点背，上午调试站点，把监控报警给关了，中午忘记开启，结果吃饭的时候，来电话了，说有两台服务器莫名其妙的down机了，这个把我吓的，down机还好说，问题是为什么没有报警了，吃完饭回去一问同事，说esxi存储磁盘满了，我了个去，赶紧想招登上服务器一看，上面开了5个虚拟机，都是线上生成报告的，目前是业务高峰期，磁盘那是蹭蹭往上涨啊，再一看，不对，每个虚拟机上还都跑着一个快照，我晕，赶紧叫同事把机
今天发现一个很强大的DB连接工具Pentaho ,基本所有的数据库都能连接，下载地址： wget http://sourceforge.net/projects/pentaho/files/Data%20Integration/4.4.0-stable/pdi-ce-4.4.0-stable.zip
流程如下：1 把个website服务器日志目录mount到namenode 服务器相应的目录下：如：sudo mount -t cifs //10.22.1.81/AdvancedLogging /home/hadoop/advancedlogging/81 -o username="prod\pro",password='it@lent_8*H\'
这节我来介绍在hadoop集群里如何安装hive，hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。版本：hive-0.9.0安装很简
filemt= time.localtime(os.stat(filename).st_mtime)print time.strftime("%Y-%m-%d",filemt)
上一节介绍了Hadoop 集群的部署过程，这一节我们来用Python创建一个map/reduces过程来分析IIS日志日志文件为附件：map脚本advanceiislog.py 内容为：#!/usr/bin/python2.4#coding=utf8import fileinputimport globimport stringimport sys#for line in fileinput.in
环境准备：Centos 5.5 x64 (3台)10.129.8.52 （master） ======>> NameNode, SecondaryNameNode,JobTracker10.129.8.76 (slave01) ======>> DataNode, TaskTracker10.129.8.33
#!/usr/bin/python2.6#coding=utf-8import smtplibfrom email.mime.text import MIMETextfrom email.header import Headersubject = '邮件主题'email_info = '''邮件正文'''maillist = [
urlretrieve方法1234567891011121314151617181920212223242526#!/usr/bin/python#encoding:utf-8importurllibimportosdefSchedule(a,b,c):''''' a:已经下载的数据块 &n
前几天开发把分布式存储服务器cassandra 升级了，担心升级不成功，所以写了一个升级回滚失败的脚本环境说明： 升级后的目录结构为： Cassandra 数据文件放在/opt/cassandra/data/下 data目录下有很多keyspace的目录：如：system 目录，Keysp
环境说明： 有很多失败报告的xml文件名存放在/root/python/xml.txt 现在要把xml.txt里面的xml 文件处理掉：如：d3f321bc-1cf5-4447-927b-a6bfa0383c85-gjeuw7jxmzh3-Assessment-101069-campusrecruitcomplet
获取运行的服务 Get-Service -computername $i beisen* | where {$_.Status -eq "Running"}|select-object name get-wmiobject -computername $i -class win32_networkadapterconfiguration -Filter IPEnalbl
操作前需要安装 .NET Framework 1 下载 winsw 连接地址为：http://download.java.net/maven/2/com/sun/winsw/winsw/ 也可以在附件里下载 2 放到nginx 安装目录下，D:\nginx 3 编写xml文件，如：下载的exe文件名为 myapp.exe 那么xml 文件名应该为my
DDoS攻击基础 DDoS（Distributed Denial of service，分布式拒绝服务）攻击的主要目的是让指定目标无法提供正常服务，甚至从互联网上消失，是目前最强大、最难防御的攻击之一。 DDos 主要分类： SYN Flood攻击，DNS Query Flood攻击，HTTP Flood 攻击 1 SYN Flood攻击 S
Apache : LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" varnishcombined ServerName www.example.com
在一台R710机器上部署了esxi,上面部署了多台虚拟机，有一天机房突然断电了，服务器起来后，发现有一台windows2008的虚拟机List列表都没有了，进入到磁盘里查看，发现vmdk文件都没有了，只剩下-flat.vmdk文件，文件名和list列表名还不一样（起初以为是文件被删除了，后来一查看，发现虚拟机是通过克隆过去的，因此磁盘文件名和虚拟机list名不一样），先恢复步骤如下： 1 用ss
sar也是一个Linux下用于查看系统资源的命令。CentOS好像不自带这个命令，要先安装sysstat包。它包括了sar、iostat和mpstat这三个工具。sar主要用于监视CPU和磁盘I/O情况。 安装： # yum install sysstat 一般格式： sar [ options... ] [ <interval> [ <count> ]
公司最近报告失败比较多，有时候需要把8台机器上failed目录下对应的xml重新挪回queueing目录下，手动搞的时候都得打开每一个XML文件，去找相应的queueing目录的路径，然后再把文件拷贝到相应的queueing目录下，如果数量多了，操作费时间，而且极有可能拷错，应大家要求写了一个小工具，直接运行这个小工具可以自动将对应的xml拷贝到相应的目录下； 支持四个参数: 1 服务器ip &
1 先删除匹配的文件 Get-ChildItem -path E:\Beisen.RecruitSynchronizeFiles\synlog\ErrorFolder | select-object fullname,name |foreach-object {forfiles /p $_.fullname /s -d -30 /m *.eml /c "cmd /c del
今天在esxi上克隆了一台centos虚拟机，发现用passwd密码修改密码的时候出现： passwd: Authentication token manipulation error 网上搜有了一把，发现好多都是shadow文件权限的问题或者说是被加锁了，经过测试，以上问题不存在 最后通过手动修改shadow文件密码成功 1 [root@test-lighttp
http://support1.ap.dell.com/cn/zh/forum/thread.asp?fid=20&tid=360699
F5+IIS7.5 SNAT日志记录真实源IP 一、版本号 F5 版本：v10.2.1 IIS 版本：v7.5 二、F5配置 1. 新建一个http类别的 porfile，开启Insert-X-Forward-For 2. 将新
思科3560交换机配置实例 前提准备工作 第一步：建立本地配置环境，只需将计算机（或终端）的串口通过标准RS-232电缆与此Catalyst 3560设备的Console口连接 第二步：在计算机上运行终端仿真程序（如WinXP的超级终端等），设置终端通信参数为9600bps、8位数据位、1位停止位、无奇偶校验和无流量控制 第三步：Catalyst 3560设备上电自检，出现
*filter :INPUT ACCEPT [8723868:1593601940] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [6812937:6096006587] -A INPUT -s 10.129.6.11 -p tcp -j ACCEPT -A INPUT -s 10.129.6.249 -p tcp -j ACCEPT -A INPUT
http://3jj.jxxhdn.com/jswz/aq/2009-04-17/60.html 配置教程http://www.pconline.com.cn/pcjob/nettech/cisco/others/0409/447535_3.html 试验环境 四台路由器 r1 r2 r3 r4 其中 r4 模拟的Internet &
1 停止mysql数据库 /etc/init.d/mysqld stop 2 /usr/local/mysql/bin/mysqld_safe --skip-grant-tables& 用--skip-grant-tables参数启动mysqld 2 /usr/local/mysql/bin/mysql //进入mysql 3 mysql> use mysql //切换到m
Copyright © 2005-2022 51CTO.COM 版权所有 京ICP证060544号
