51CTO博客开发
在对自己的实例做好了所有配置后,就可以开始制作AMI了。 需要用到的工具有: 1. AMI tools wget http://s3.amazonaws.com/ec2-downloads/ec2-ami-tools.noarch.rpm -P /usr/local/src rpm -ivh /usr/local/src/ec2-ami-tools.norach.rpm 2. API t
基本概念 EC2实例的需要使用AMI来创建实例。使用自定义的AMI可以根据自己的应用定制和快速部署。 AMI:Amazon Machine Image,是一个模板,它包含操作系统、应用程序服务器和应用程序等地配置。 AMI可以分为两种:backed by Amazon EBS 和 backed by instance store backed by Amazon EBS可以在关闭后不丢失修
一. Pig安装 1. 安装 yum install hadoop-pig 2. 配置 a. 复制配置文件 cp -r /etc/pig/conf.dist /etc/pig/conf.my_cluster b. 安装配置文件 alternatives --install /etc/pig/conf pig-conf /etc/pig/conf.my_cluster 50 2. 启
flume提供了flume shell方式来管理,非常强大。 1. 连接 可以使用 “flume shell”进入flume命令行环境,“connect”命令可以用来连接任何的flume的master服务器。 [root@test01] ~ 0 $ flume shell [flume (disconnected)] connect tes
这里使用cloudrea的rpm源,安装hadoop 环境为: 192.168.255.132 test01.linuxjcq.com =》master 192.168.255.133 test02.linuxjcq.com =》slave01 192.168.255.134 test03.linuxjcq.com =》slave02 每台主机中的/etc/hosts文件有以上配置和基本
默认情况下Flume在内存中保存各个节点的配置,重启后丢失,可以使用ZooKeeper保存各个节点配置信息。 cloudera的rpm仓库安装在前面的文章中,ZooKeeper使用三台服务器对应信息如下192.168.255.132 test01.linuxjcq.com 192.168.255.133 test02.linuxjcq.com 192.168.255.134 test03.l
转自董的博客:http://dongxicheng.org/search-engine/log-systems/ 1. 背景介绍 许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦; (2) 支持近实时
使用cloudera的源来进行安装flume,使用的系统为CentOS 6.0,64位的系统。 1. 安装cloudear的源 a. 下载 wget http://archive.cloudera.com/redhat/6/x86_64/cdh/cdh3-repository-1.0-1.noarch.rpm -P /usr/local/src b. 安装
环境说明 系统为CentOS 6.0 192.168.255.128 =》 server01 192.168.255.130 =》 server02 192.168.255.131 =》 server03 /etc/hosts文件中有这些IP和域名的映射关系 配置server01在hadoop用户下可以通过密钥无需密码访问server02和serve
环境: 系统 CentOS 6.0 hadoop集群中有3台服务器 server01 -> master 192.168.255.128 server02 -> slave 192.168.255.130 server03 -> slave 192.168.255.131 软
环境说明: 系统都为CentOS 6.0 192.168.255.128 server01 192.168.255.130 server02 192.168.255.131 server03 1. server01设置hosts文件 vi /etc/hosts # 添加以下主机和IP的对应关系 # hadoop 192.
通过rz上传文件失败时,经常会产生大小为0的乱码的文件名,如下 ls -l -rw-r–r– 1 root root 47031 12-15 13:48 ?ղ??.htm 这种类型的文件可用以下命令 find . -maxdepth&
收到自己的服务器的nagios报警,内容如下: ***** Nagios ***** Notification Type: PROBLEM Service: 06. The Mysql Status Host: 
1. 安装必要的软件包 系统为CentOS 6.0,为最小化安装。 a. 安装vncserver服务端和客户端端 yum install tigervnc tigervnc-server -y b. 安装fontforge yum install fontforge -y 如果不安装fontforge,
1. 下载安装包和文档 wget http://www.erlang.org/download/otp_src_R14B04.tar.gz -P /usr/local/src wget http://www.erlang.org/download/otp_doc_man_R14B04.tar.gz -P /usr/local/src 官网为:www.erlang.org 2. 安装基本的软件
最近发现自己家里的linux服务器上传和下载都很慢,平常在家里本地上传都好几兆的,忽然间都是几KB,快崩溃了......,晚上找到原因了: 有一张网卡坏了,刚好机器上还有一张网卡,启动另外一张没有使用的网卡,停掉有问题的网卡。
shell程序中经常会有不能让人看到的密码,找到个工具叫shc可以编译加密shell脚本。 1. 安装shc yum install shc -y 需要安装rpmforge才能yum安装shc,安装方式见:http://wiki.centos.org/zh/AdditionalResources/Reposito
晚上在看UNIX网络编程的RPC,程序执行需要用到portmap,发现CentOS 6上不叫portmap,而是改为rpcbind 1. 安装 yum install rpcbind 2. 开机启动关闭 chkconfig rpcbind off
公司的nagios分布式监控的中心服务器(Web)在台湾的合作方机房,今天他们把我亚马逊云服务器send_nsca发送过来的数据全部屏蔽了,郁闷,只好把nagios的中心服务器迁移到美国机房了。 这台美国机房的服务器由于已经部署了nagios(原来也是nagios转发节点之一) 迁移的大体步骤如下: 1. 安装nsca服务,修改send_nsca.cfg
今天发现主从mysql的slave时忘记把数据目录安装最大的分区上,直接装到根分区了,df以下已经使用根分区95%了,只要迁移了。 说明: a. 是ec2的主机,合作方提供的时候都是把最大分区挂到/mnt下,好由我们自己定义 df -h Filesystem Size Used Avail Use% Moun
1.1 版本修改:rpmfind函数、wgetsoft函数和-all选项使用数组 这个脚本是自己的生产服务器上的一个脚本,安装系统都为:CentOS,相关说明如下 1. 使用 ./nrpe_install.bash --help 或者 ./nrpe_install.bash -husage: nrpe_install
Shell中的getopt和getopts都用于命令行选项支持 a. getopts只支持短选项,getopt支持长短选项 b. getopts是Shell内置,getopt为单独的命令 一. getopts 命令格式: getopts option_string variable [arg...] option_string:以冒号为分隔的选项 var
今天在合作方的服务器上编译nrpe时,报如下错误 cd ./src/; make ; cd .. make[1]: Entering directory `/usr/local/src/nrpe-2.12/src' gcc -g -O2 -I/usr/local/
1. 用系统管理员账户停止mysql的运行 service mysqld stop 2. 编辑/etc/my.cnf添加skip_grant_tables选项 vi /etc/my.cnf … [mysqld] … skip_grant_tables &helli
说明:系统为CentOS 6.0,svn的配置和安装见前面一篇文章 1. 安装php和必要的软件包 yum groupinstall "PHP Support" yum install php-mysql php-mbstring # 安装VersionControl_SVN &n
环境: a. 系统为centos 6.0 b. 分为svn协议和http协议方式 c. 使用svnadduser同时更新svn协议的密码文件和http协议的密码文件 1. 安装 # 安装subversion yum install subversion # 安装apache yum groupinsta
由于CentOS 6的启动由system v的init改成Upstart,所以monit的启动也做相应的修改。 vi /etc/init/monit.conf # monit start on stopped rc RUNLEVEL=[2345]respawn exec /usr/local/monit/bin/m
1. 下载二进制包,解压,安装 wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-1.8.2.tgz -P /usr/local/src tar zxvf /usr/local/src/mongodb-linux-x86_64-1.8.2.tgz -C&nbs
1. 创建10gen.repo文件 vi /etc/yum.repos.d/10gen.repo [10gen] name=10gen Repository baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64 gpgcheck=0&nbs
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号