cdel_liqi的最近发布

CDH HDFS文件系统垃圾间隔设置

今天在删除一个hive表的时候，发现hdfs的空间没有释放，刚开始一直觉得是自己删除有问题，结果在hdfs上也没有查到对应的文件，最后发现是CDH的namenode有一个文件系统垃圾间隔设置，默认设置一天，也就是说删除的文件需要一天才能被删掉。配置如图，希望能帮助要有同样疑惑的人。还有这个文件也可以自己手动干掉，我的垃圾文件存放在hadoop fs -ls /user/root/.Trash/ 这

释放空间

CDH

hive

原创 2014-09-02 18:36:34 4571 阅读

nginx 设置标识用户的cookie

nginx可以通过向浏览器端设置一个cookie辨别不同的用户。具体的设置如下： userid on; userid_name hadoop_id; userid_domain cdeledu.com;

cookie

nginx

userid

原创 2014-08-28 09:28:49 10000+阅读 1点赞

hive报错（2）udf无法找到第三方的类

解决方法为使用eclipse插件 fat jar 进行打jar包，就不会报错了。一 fat jar 安装方法（1）下载安装 http://sourceforge.net/projects/fjep

classnotfound

hive

fatjar

原创 2014-08-20 17:10:14 2697 阅读

hive报错（1）MoveTask

今天在CDH上执行hive sql的时候报了一个错。错误内容为： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask错误语句： INSERT OVERWRITE DIRECTORY '{$di

hive

MoveTask

原创 2014-08-18 15:55:32 3360 阅读

nginx 日志过滤网络爬虫访问日志

nginx里面有很多的爬虫日志，会影响到后期的数据分析，所以一般会去掉。 nginx排除配置：location / {

nginx

spider

原创 2014-08-15 09:21:39 5273 阅读 1点赞

hive与hbase整合

配置环境.hadoop 2.4hbase 0.98.3hive 0.13.1（源用的mysql）配置。分2种情况（1.hbase与hive在一台机器上，2.hbase与hive不在同一台机器上）（1）hbase与hive在一台机器上比较简单，只需要在环境变量里把hbase,hive的home配置好即可。当然也可以按照不在一台进行配置。#

hbase

hive

原创 2014-08-11 16:25:50 2011 阅读

nginx关闭图片，js，css等的日志

一般来说这些日志的分析价值不高，而且还占用硬盘空间，一般都会关掉。nginx配置： location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|ico)$ { &nb

nginx css js

原创 2014-08-08 17:23:49 2124 阅读

tomcat(jboss-web)实现所有二级域名共用sessionID

一. 需求. 我们公司要对自己的各个网站进行数据采集，想了解一个用户在我们网站的整个浏览轨迹，但是我们每个二级域名都对应自己的项目，也就是说对应自己的jsessionid，我们无法把这些数据关联起来，所以想到让所有的二级域名都公用一个jsessionid，这样用户的整个浏览数据我们就都能得到了。二. 开发。

tomcat

cookie

jessionid

原创 2014-08-08 10:04:19 1493 阅读

nginx日志中添加cookie信息

在要添加的server中添加获取cookie的信息server { listen 80;

log

cookie

nignx

原创 2014-08-07 09:18:40 8967 阅读 1评论

ZooKeeper服务命令

ZooKeeper服务命令: 在准备好相应的配置之后，可以直接通过zkServer.sh 这个脚本进行服务的相关操作1. 启动ZK服务: sh bin/zkServer.sh start2. 查看ZK服务状态: sh bin/zkServer.sh status3. 停止ZK服务

zk命令 zookeeper shell

转载精选 2014-07-17 14:59:44 379 阅读

zookeeper分布式安装

今天研究了下zookeeper，先跟大家分项下部署过程~~相对于hadoop其他软件来说，zookeeper的安装还是很简单的环境说明：虚拟机3台 IP地址

zookeeper

分布式部署

原创 2014-07-17 12:01:30 820 阅读

将HBase中的表的数据进行wordCount输出到hdfs上

将hbase中的表userinfo2中的key值和value值进行wordcount，然后输出到hdfs上，输出的要求是输出到0711文件夹，然后按照首字符进行文件夹的分割。建表数据mapreduce程序map程序package com.hadoop.mapreduce.test.map; import java.io.IOException; import or

mapreduce

hbase

wordcount

原创 2014-07-16 14:49:01 2479 阅读

MapReduce将文本数据导入到HBase中

整体描述：将本地文件的数据整理之后导入到hbase中在HBase中创建表数据格式MapReduce程序map程序package com.hadoop.mapreduce.test.map; import java.io.IOException; import org.apache.hadoop.io.Text; import org.apache.had

数据

mapreduce

hbase

原创 2014-07-16 14:29:10 2950 阅读

HBase Shell输入命令无法删除问题解决技巧

HBase shell使用过程中，使用CRT客户端，命令输入后无法删除解决方案： options-->session options -- > Terminal -->Emulation 选择linux 删除就是Ctrl + Back（<--）键

CRT

hive

删除

原创 2014-07-10 18:43:26 1582 阅读

java操作hbase api

需要引入的jar包(这里的jar包括hbase，hive的UDF，hive的jdbc连接)java源码package com.hbase.jdbc; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import&

java

hbase

api

原创 2014-07-09 11:43:25 2449 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

屌丝程序员的逆袭

CDH HDFS文件系统垃圾间隔设置

nginx 设置标识用户的cookie

hive报错（2）udf无法找到第三方的类

hive报错（1）MoveTask

nginx 日志过滤网络爬虫访问日志

hive与hbase整合

nginx关闭图片，js，css等的日志

tomcat(jboss-web)实现所有二级域名共用sessionID

nginx日志中添加cookie信息

ZooKeeper服务命令

zookeeper分布式安装

将HBase中的表的数据进行wordCount输出到hdfs上

MapReduce将文本数据导入到HBase中

HBase Shell输入命令无法删除问题解决技巧

java操作hbase api

欢迎