51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
# hadoop

php通过thrift操作hbase

 环境配置  操作系统 centos 5.8    hadoop版本cloudera cdh3u3  hbase版本hbase-0.90.4-cdh3u3  php版本5.2 1.  下载并编译thrift      # wget http://ftp.tc.edu.tw/

php
hbase
thrift
原创 2012-06-19 10:40:37 10000+阅读

hive 中的多列进行group by查询方法

 在工作中用hive进行数据统计的时候，遇到一个用group by 进行查询的问题，需要统计的字段为 gid,sid,user,roleid,time,status,map_id,num 其中time字段为时间戳形式的，统计要求为将各个字段按照每个小时的num总数进行统计 开始的时候写的hive SQL为 select gid,sid,user,roleid,time,statu

hive
group by
原创 2012-05-18 10:37:12 10000+阅读

将Hive Thrift server 添加到服务后台运行

1.  将hive 的metastore用mysql连接储存 2  在/etc/init.d/文件夹中编辑文件hive-thrift   #!/bin/bash # init script for Hive Thrift Interface. # # chkcon

hive
转载 2011-07-12 15:56:35 6656 阅读

开源日志系统比较

1. 背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统； （3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。 本文从设

职场
休闲
日志 开源
转载 2011-07-12 12:14:40 644 阅读

hive和hbase的整合

hive hbase整合，要求比较多，1.hive的得是0.6.0（当前最新的版本） 2.hive本身要求hadoop的最高版本是hadoop-0.20.2 3.要求hbase的版本是0.20.3，其他版本需要重新编译hive_hbase-handler 但是新版的hbase（0.90）变动特别大，根本无法从编译。这点比较恶心，hbase目前升级比较快，当前是0.90（从0.20.6直

职场
休闲
hadoop
hbase
hive
转载 2011-07-11 17:40:19 10000+阅读 1点赞 1评论

hadoop 动态添加节点datanode及tasktracker

有的时候， datanode或者tasktracker crash，或者需要向集群中增加新的机器时又不能重启集群。下面方法也许对你有用。 1.把新机器的增加到conf/slaves文件中（datanode或者tasktracker crash则可跳过） 2.在新机器上进入hadoop安装目录   $bin/hadoop-daemon.sh start datanode

职场
休闲
动态
hadoop
datanode
转载 2011-07-11 16:42:22 1192 阅读

HADOOP 多任务运行

作者：云中哈哈 ericlzyu#gmail.com http://hi.baidu.com/lzyu 2011.7.3 今天搞定了关于公平调度器的配置。记录下。可以多个JOB一起跑了。 在 HADOOP/conf/mapred-site.xml中，配置相关的变量　 <property>   <name>mapreduce.jobtracker.

职场
休闲
多任务
hadoop
转载 2011-07-11 13:43:14 2607 阅读

local hadoop设置

在hive0.7的版本中增加了local hadoop的功能，就是在处理数据量比较小的情况在本地执行，而不走分布的mapred。 这样一来，那些比较小的任务的执行速度就会大大提高。 那到底什么样的任务会采用local hadoop呢，是由hive的一个参数控制的。 hive.exec.mode.local.auto.inputbytes.max 当处理的数据量比这个参数值小的情况下就会采用

职场
休闲
local
hadoop
hive
转载 2011-07-11 10:14:03 623 阅读

hadoop作业调优参数整理及原理

1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在一个内存buffer（MapOutputBuf

职场
休闲
hadoop 调优
转载 2011-07-04 16:30:33 439 阅读

hive执行作业时reduce任务个数设置为多少合适

Hive怎样决定reducer个数？ Hadoop MapReduce程序中，reducer个数的设定极大影响执行效率 ，这使得Hive怎样决定reducer个数成为一个关键问题。遗憾的是Hive的估计机制很弱，不指定reducer个数的情况下，Hive会猜测确定一个reducer个数，基于以下两个设定： 1. hive.exec.reducers.bytes.per.reducer（默认

职场
休闲
hadoop hive mapreduc
转载 2011-07-04 15:00:53 5592 阅读

写好hive程序的五个提示

使用Hive可以高效而又快速地编写复杂的MapReduce查询逻辑。但是某些情况下，因为不熟悉数据特性，或没有遵循Hive的优化约定，Hive计算任务会变得非常低效，甚至无法得到结果。一个”好”的Hive程序仍然需要对Hive运行机制有深入的了解。 有一些大家比较熟悉的优化约定包括：Join中需要将大表写在靠右的位置；尽量使用UDF而不是transfrom…

职场
休闲
hive mapreduce
转载 2011-07-04 14:58:29 1020 阅读

hadoop中mapred.tasktracker.map.tasks.maximum的设置

通过把一部分log已经迁移到Hadoop集群上 并由Hive来执行相关的查询 hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2 也即：每一个tasktracker同时运行的map任务数为2 照此默认设置，查询80天某用户的操作日志，耗时5mins, 45sec 经过测试，发现将mapred.tasktracker.map.tasks

职场
休闲
hadoop hive
转载 2011-07-04 14:07:50 10000+阅读

hadoop mapred-site.xml配置

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> &

职场
休闲
hadoop
转载 2011-07-04 14:06:49 10000+阅读

分析和优化云集群性能

建立环境 部署 Hadoop 环境的步骤 在执行性能调优之前，需要先构建 Hadoop 集群环境。步骤如下： 准备集群节点，在这些节点上安装 Linux OS、JDK 1.6 和 ssh。确保每个节点上都在运行 sshd。 访问 The Apache Software Foundation 站点，下载稳定的 Hadoop 发行版。 选择自己的 NameNo

职场
休闲
hadoop
转载 2011-07-04 14:05:38 680 阅读

hadoop hive sql语法解释

DDL Operations 创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表 hive> SHOW TABLES;

sql
数据库
hadoop
hive
sql语法解释
转载 精选 2011-06-01 22:38:16 1688 阅读

hive导入nginx日志

将nginx日志导入到hive中的方法 1 在hive中建表   CREATE TABLE apachelog (ipaddress STRING, identd STRING, user STRING,finishtime STRING,requestline string,&nb

职场
休闲
nginx
hive
导入日志
原创 2011-06-01 08:24:15 4815 阅读 1点赞

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯