51CTO博客开发
hadoop 和hive配合使用,可以极大的提高大数据的运算效率,公司在线上的服务器每天都会产生大量的log,技术人员需要对这些log进行分析,取得用户的telemetry等数据,使用传统的脚本来分析,需要耗费大量的时间,因此搭建了一个hadoop集群(10台机器),并且使用hive配合,再辅助几个crontab脚本,这样每天上班之后,技术就可以拿到前一天的应用数据了,整个过程不需要人工干预,下面
大部分的时候都是一个resion跑一个应用,这样很容易管理,一天领导要求跑多个应用,无奈只能google,通过搜到的一些碎片,总算是成功的跑了三个应用,把过程记录下来以备不时之需,如果错误请指正。环境:os: ubuntu 11.04 64位1. 安装jdk,并配置好环境变量:略2. 编译安装resion:wget http://www.caucho.com/download/resin-3.1.
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号