51CTO博客开发
在对自己的实例做好了所有配置后，就可以开始制作AMI了。 需要用到的工具有： 1. AMI tools wget http://s3.amazonaws.com/ec2-downloads/ec2-ami-tools.noarch.rpm -P /usr/local/src rpm -ivh /usr/local/src/ec2-ami-tools.norach.rpm 2. API t
基本概念 EC2实例的需要使用AMI来创建实例。使用自定义的AMI可以根据自己的应用定制和快速部署。 AMI：Amazon Machine Image，是一个模板，它包含操作系统、应用程序服务器和应用程序等地配置。 AMI可以分为两种：backed by Amazon EBS 和 backed by instance store backed by Amazon EBS可以在关闭后不丢失修
一. Pig安装 1. 安装 yum install hadoop-pig 2. 配置 a. 复制配置文件 cp -r /etc/pig/conf.dist /etc/pig/conf.my_cluster b. 安装配置文件 alternatives --install /etc/pig/conf pig-conf /etc/pig/conf.my_cluster 50 2. 启
flume提供了flume shell方式来管理，非常强大。 1. 连接 可以使用 “flume shell”进入flume命令行环境，“connect”命令可以用来连接任何的flume的master服务器。 [root@test01] ~ 0 $ flume shell [flume (disconnected)] connect tes
这里使用cloudrea的rpm源，安装hadoop 环境为： 192.168.255.132 test01.linuxjcq.com =》master 192.168.255.133 test02.linuxjcq.com =》slave01 192.168.255.134 test03.linuxjcq.com =》slave02 每台主机中的/etc/hosts文件有以上配置和基本
默认情况下Flume在内存中保存各个节点的配置，重启后丢失，可以使用ZooKeeper保存各个节点配置信息。 cloudera的rpm仓库安装在前面的文章中，ZooKeeper使用三台服务器对应信息如下192.168.255.132 test01.linuxjcq.com 192.168.255.133 test02.linuxjcq.com 192.168.255.134 test03.l
转自董的博客：http://dongxicheng.org/search-engine/log-systems/ 1. 背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2） 支持近实时
使用cloudera的源来进行安装flume，使用的系统为CentOS 6.0，64位的系统。 1. 安装cloudear的源 a. 下载 wget http://archive.cloudera.com/redhat/6/x86_64/cdh/cdh3-repository-1.0-1.noarch.rpm -P /usr/local/src b. 安装
环境说明 系统为CentOS 6.0 192.168.255.128 =》 server01 192.168.255.130 =》 server02 192.168.255.131 =》 server03 /etc/hosts文件中有这些IP和域名的映射关系 配置server01在hadoop用户下可以通过密钥无需密码访问server02和serve
环境： 系统 CentOS 6.0 hadoop集群中有3台服务器 server01 -> master 192.168.255.128 server02 -> slave 192.168.255.130 server03 -> slave 192.168.255.131 软
环境说明： 系统都为CentOS 6.0 192.168.255.128 server01 192.168.255.130 server02 192.168.255.131 server03 1. server01设置hosts文件 vi /etc/hosts # 添加以下主机和IP的对应关系 # hadoop 192.
通过rz上传文件失败时，经常会产生大小为0的乱码的文件名，如下 ls -l -rw-r–r– 1 root root 47031 12-15 13:48 ?ղ??.htm 这种类型的文件可用以下命令 find . -maxdepth&
收到自己的服务器的nagios报警，内容如下： ***** Nagios ***** Notification Type: PROBLEM Service: 06. The Mysql Status Host:
1. 安装必要的软件包 系统为CentOS 6.0，为最小化安装。 a. 安装vncserver服务端和客户端端 yum install tigervnc tigervnc-server -y b. 安装fontforge yum install fontforge -y 如果不安装fontforge，
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
