学习日志---hbase优化总结

转载至:http://www.cnblogs.com/panfeng412/archive/2012/03/08/hbase-performance-tuning-section1.html 也有少许自己的理解

原创 点赞0 阅读841 收藏0 评论0 2015-10-06

学习日志---hbase学习(最大版本查询)

在HBase中 一个row对应的相同的列只会有一行。使用scan 或get 得到都是最新的数据如果我们对这某一row所对应的列进行了更改操作后,并不会多生成一条数据,不会像RDBMS一样insert时多生成一条记录,在HBase中对同一条数据的修改或插入 都只是put操作,最终看到的都是最新的数据,其它的数据在不同的version中保存,就像隐藏的东西一样那么如何才能看到这些隐藏version的值

原创 点赞0 阅读572 收藏0 评论0 2015-10-06

学习日志---hbase学习

HBase是实时的、分布式、高维的数据库。实用于对大数据实时的查询,但前提是要利用Hbase的数据结构来存数据,才可以查询。HBase是一个真正的数据库,是nosql数据库,主要用来存储非结构化和半结构化的松散数据。与Hive很不同,Hive不是数据库,数据存在HDFS上,只是建立一种表结构,最终使用mapreduce去操作。HBase是后台服务,数据存在HDFS上,但是数据结构是特有的数据结构,

原创 点赞0 阅读864 收藏0 评论0 2015-10-05

学习日志---hive的搭建与配置以及应用

Hive:数据仓库,其实就是写一些脚本代码(HQL),通过hive转换为java代码,在hadoop上运行。操作的是hdfs上的数据,写的HQL脚本转为mapreduce程序处理hdfs上的数据。Hive:解释器,编译器,优化器等。解释HQL为java代码,然后编译,优化后放在hadoop上运行。hive不是关系型数据库,不是后台的服务,它相当于是一个hadoop的客户端。Hive:支持类似sql

原创 点赞0 阅读811 收藏0 评论0 2015-10-02

学习日志---基于hadoop实现PageRank

PageRank简单介绍:其值是通过其他值得指向值所决定,具体例子如下:第一部分:对应于每个mapReduce的计算:由mapper算出每个点所指节点的分值,由reduce整个key相同的,由公式算出。三角号表示的是迭代两次之间计算的差值,若小于某个值则计算完成,求的每个点的pagerank值。自我实现的代码:如下输入的数据分为:input1.txtA,B,DB,CC,A,BD,B,C表示每行第一

原创 点赞0 阅读1548 收藏0 评论0 2015-09-30

学习日志---本地javaApi连接集群hdfs

本地电脑连接指定集群的代码:public class Tt_one {     public static void main(String[] args) throws Exception {      &

原创 点赞0 阅读1336 收藏0 评论0 2015-09-30

学习日志---hadoop的join处理

Join方法需求:处理input1和input2文件,两个文件中的id都一样,也就是key值一样,value值不同,把两者合并。input1存的是id和名字,input2存的是id和各种信息。处理方法一:package org.robby.join; import java.io.IOException; import org.apache.hadoop.conf

原创 点赞0 阅读351 收藏0 评论0 2015-09-29

学习日志---partitioner和采样器

Mapreduce中:shuffle阶段是在map和reduce之间,可以自定义排序,自定义分区和自定义分组!Mapreduce中,map出的数据是键值对,默认的是hashPatitionner来对map出的数据进行分区;分区的方法还有其他几个:RandomSampler<Text, Text> sampler =    &n

原创 点赞0 阅读438 收藏0 评论0 2015-09-28

学习日志---mapreduce详细过程分析

转自:http://my.oschina.net/itblog/blog/275294后面有些自己理解的地方,如果有误,请指出。 分析MapReduce执行过程    MapReduce运行的时候,会通过Mapper运行的任务读取HDFS中的数据文件,然后调用自己的方法,处理数据,最后输出。Reducer任务会接收Mapper任务输出的数据,作为自

转载 点赞0 阅读299 收藏0 评论0 2015-09-28

学习日志---打造搜索引擎搜索提示

打包过程将网站程序打成war包,使用clean package;将war包放到服务器的tomcat上的webapps中;在conf的目录下更改server.xml文件:加上如下编码,更改编码方式,防止乱码URIEncoding="UTF-8"<Connector port="8080" protocol="HTTP/1.1" URIEncoding="UTF-8

原创 点赞0 阅读168 收藏0 评论0 2015-09-25

学习日志---初次接触mapreduce

wordcount程序package org.robby.mr; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path;

原创 点赞0 阅读314 收藏0 评论0 2015-09-24

学习日志---hdfs配置及原理+yarn的配置

个别地方对其他文献有所摘录,在此表示感谢

原创 点赞0 阅读2352 收藏0 评论0 2015-09-18
写文章