51CTO博客开发
在对自己的实例做好了所有配置后,就可以开始制作AMI了。 需要用到的工具有: 1. AMI tools wget http://s3.amazonaws.com/ec2-downloads/ec2-ami-tools.noarch.rpm -P /usr/local/src rpm -ivh /usr/local/src/ec2-ami-tools.norach.rpm 2. API t
基本概念 EC2实例的需要使用AMI来创建实例。使用自定义的AMI可以根据自己的应用定制和快速部署。 AMI:Amazon Machine Image,是一个模板,它包含操作系统、应用程序服务器和应用程序等地配置。 AMI可以分为两种:backed by Amazon EBS 和 backed by instance store backed by Amazon EBS可以在关闭后不丢失修
一. Pig安装 1. 安装 yum install hadoop-pig 2. 配置 a. 复制配置文件 cp -r /etc/pig/conf.dist /etc/pig/conf.my_cluster b. 安装配置文件 alternatives --install /etc/pig/conf pig-conf /etc/pig/conf.my_cluster 50 2. 启
flume提供了flume shell方式来管理,非常强大。 1. 连接 可以使用 “flume shell”进入flume命令行环境,“connect”命令可以用来连接任何的flume的master服务器。 [root@test01] ~ 0 $ flume shell [flume (disconnected)] connect tes
这里使用cloudrea的rpm源,安装hadoop 环境为: 192.168.255.132 test01.linuxjcq.com =》master 192.168.255.133 test02.linuxjcq.com =》slave01 192.168.255.134 test03.linuxjcq.com =》slave02 每台主机中的/etc/hosts文件有以上配置和基本
默认情况下Flume在内存中保存各个节点的配置,重启后丢失,可以使用ZooKeeper保存各个节点配置信息。 cloudera的rpm仓库安装在前面的文章中,ZooKeeper使用三台服务器对应信息如下192.168.255.132 test01.linuxjcq.com 192.168.255.133 test02.linuxjcq.com 192.168.255.134 test03.l
转自董的博客:http://dongxicheng.org/search-engine/log-systems/ 1. 背景介绍 许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦; (2) 支持近实时
使用cloudera的源来进行安装flume,使用的系统为CentOS 6.0,64位的系统。 1. 安装cloudear的源 a. 下载 wget http://archive.cloudera.com/redhat/6/x86_64/cdh/cdh3-repository-1.0-1.noarch.rpm -P /usr/local/src b. 安装
环境说明 系统为CentOS 6.0 192.168.255.128 =》 server01 192.168.255.130 =》 server02 192.168.255.131 =》 server03 /etc/hosts文件中有这些IP和域名的映射关系 配置server01在hadoop用户下可以通过密钥无需密码访问server02和serve
环境: 系统 CentOS 6.0 hadoop集群中有3台服务器 server01 -> master 192.168.255.128 server02 -> slave 192.168.255.130 server03 -> slave 192.168.255.131 软
环境说明: 系统都为CentOS 6.0 192.168.255.128 server01 192.168.255.130 server02 192.168.255.131 server03 1. server01设置hosts文件 vi /etc/hosts # 添加以下主机和IP的对应关系 # hadoop 192.
通过rz上传文件失败时,经常会产生大小为0的乱码的文件名,如下 ls -l -rw-r–r– 1 root root 47031 12-15 13:48 ?ղ??.htm 这种类型的文件可用以下命令 find . -maxdepth&
收到自己的服务器的nagios报警,内容如下: ***** Nagios ***** Notification Type: PROBLEM Service: 06. The Mysql Status Host: 
1. 安装必要的软件包 系统为CentOS 6.0,为最小化安装。 a. 安装vncserver服务端和客户端端 yum install tigervnc tigervnc-server -y b. 安装fontforge yum install fontforge -y 如果不安装fontforge,
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号