jethai的博客_R/Hbase/Solr

HtmlUnit、httpclient、jsoup爬取网页信息并解析

1.爬取页面效果图点击"百度一下"按钮前页面点击"百度一下"按钮后页面天涯社区登录页面登录进去之后个人主页二、具体实现代码HtmlUnit(底层也是采用httpclient)和jsoup APIpackage com.yuanhai.test; import java.io.IOException; import java.net.MalformedUR

http

htmlunit

jsoup

原创 2016-03-26 18:36:11 10000+阅读 1点赞 4收藏

java网络爬虫爬取百度新闻

采用commons-httpclientcommons-httpclient是一个遗留版本，现在官方已经不推荐使用了。lucene采用4.3版本所需jar包package com.lulei.util; import java.io.BufferedReader; import java.io.ByteArrayInputStream; import ja

java

网络爬虫

原创 2016-03-25 00:19:38 5315 阅读

Solr配置中文分词器IKAnalyzer及增删改查调用

一、配置IKAnalyzer中文分词器Solr 版本5.2.1IKAnalyzer2012_u6.jar报错 ,用IKAnalyzer2012_FF_hf1.jar 替换可解决解决lucene4.0与IKAnalyzer的冲突。解决Exception in thread "main" java.lang.VerifyError: class org.wltea.analyzer.lucene.IK

中文

分词器

原创精选 2016-03-20 17:26:30 2910 阅读

Solr API例子详解

package test; import java.io.IOException; import java.net.MalformedURLException; import java.text.SimpleDateFormat; import java.util.ArrayList; &

API

Slor

原创 2016-03-06 22:15:48 10000+阅读

solr查询语法

配置好solr后，可以通过web管理界面进行管理和查询。web界面基本列出了大多数查询参数，可以通过这个学习lucene的查询语法。solr的查询解析是通过queryParser来配置的（solrconfig.xml），一般我们用默认的即可。其各参数含义与用法简单解释如下：q：查询输入，必须。可以使用运算符fq：过滤查询。可以使用运算符sort：排序的字段，格式为field score，多个字段之

slor 查询语法

转载精选 2016-03-06 01:25:21 797 阅读

hbase安装详解

hbase的jar包要和hadoop集群的jar包一致，所以可能存在一个hadoop的jar包替换过程。详细配置文件hbase-site.xml<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://ns1/h

hbase 安装

原创 2015-11-11 15:33:04 1732 阅读

Mapreduce构建hbase二级索引

import java.io.IOException; import java.util.HashMap; import java.util.Map; import java.util.Set; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.h

hbase二级索引代码

原创 2015-10-01 17:08:12 1570 阅读

MapReduce on Hbase

org.apache.hadoop.hbase.mapreduceTableMapper TableReducer一个region对应一个mapimport java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HB

MapReduce on Hbase

原创 2015-09-29 19:18:04 1116 阅读

Hbase协处理器coprocessor

对每个region进行处理，弥补了scan的时候有限的几个过滤器的不足分为两种类型observer 观察者相当于触发器Endpoint终端相当于存储过程下面的观察者实现查询之前替换掉行键为Jack的KeyValueimport java.io.IOException; import java.util.List; import org.apache.hadoop.h

协处理器

原创 2015-09-29 14:06:20 3272 阅读

HBase API 详细例子(封装的DAO类）

HBase中没有库的概念HBase lib目录下所有JAR包复制到项目中,Hbase 版本0.98.5package com.zxing.imgQRCode; import java.io.IOException; import java.util.LinkedList; import java.util.List; import org.ap

HBase API

原创 2015-09-28 15:38:53 6771 阅读 1点赞

zookeeker如何解决HBase单节点故障

HBase架构是一个Master与多个RegionServer，Master负责维护Region等一些工作，但是客户端访问Hbase并不需要通过Master。ZK通过监控选举Master来保证集群始终有一个可用的Master，即访问Master需要通过ZK，当ZK发现Master挂掉之后，会从其他机器中进行选举产出新的Master提供服务。Zookeeper作用通过选举，保证任何时候，集群中只有一

Hbase

原创 2015-09-20 19:49:13 1621 阅读

R语言实现随机森林代码

library(randomForest) data(iris) set.seed(100) ind<-sample(2,nrow(iris),replace=TRUE,prob=c(0.7,0.3))#对数据分成两部分，70%训练数据，30%检测数据/ traindata<-iris[ind==1,] testdata<- iris[ind=

随机森林 randomForest

原创 2015-06-02 13:02:48 10000+阅读 1点赞 1收藏 1评论

HBase和HDFS数据互导程序

下面说说JAVA API 提供的这些类的功能和他们之间有什么样的联系。1.HBaseConfiguration关系：org.apache.hadoop.hbase.HBaseConfiguration作用：通过此类可以对HBase进行配置用法实例： Configuration config = HBaseConfiguration.create();说明： HBaseConfiguration.c

Hbase

API

原创 2015-05-13 09:53:57 3729 阅读

Hbase源码编译导入eclipse

首先去Apache的官网下载hbase1.0.1的源码包由于源码包是用maven管理，需要安装maven1.安装MAVEN下载安装包解压文件，Maven需要JDK的支持，配置JAVA_HOME和Path环境变量，命令行输入 mvn -version，如下图所示表示安装成功2.配置本地仓库路径打开...\apache-maven-3.3.3\conf目录下的settings.xml文件，修改<

eclipse hbase源码编译 m

原创精选 2015-05-05 20:25:26 3449 阅读

RColorBrewer调色板控制包的使用

library(RColorBrewer) display.brewer.all() #显示所有可用颜色显示其中一组颜色中的7种颜色brewer.pal(7,"YlOrRd") [1] "#FFFFB2" "#FED976" "#FEB24C" "#FD8D3C" [5] "#FC4E2A" "#E31A1C"&nb

调色板

R语言

原创 2015-05-01 17:42:24 10000+阅读 1评论

R绘制3D饼图

二维饼图代码如下：#绘制2维饼图 x=read.delim("C:/Users/a/Desktop/sample.txt",header=FALSE) #读入文本数据 names(x)=c("word","count") #加表头 x=transform(x, pct=round(x$count/sum(x$count)*100)) #数据框增加百分比列 y

饼图

R语言

plotrix

原创 2015-04-30 12:10:36 5821 阅读 1评论

R语言绘制横向柱装图

首先载入颜色扩展包RColorBrewer，具体使用方法可参见下面两篇文章http://book.2cto.com/201408/45552.html，http://tianxingzhe.blog.51cto.com/3390077/1641199 library(RColorBrewer)本文以hadoop集群wordcount程序的输出结果为数据源数据的整理代码如下x=read.d

数据分析

R语言

R语言绘图

原创 2015-04-29 19:25:17 6789 阅读 1点赞 1评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

点滴积累

HtmlUnit、httpclient、jsoup爬取网页信息并解析

java网络爬虫爬取百度新闻

Solr配置中文分词器IKAnalyzer及增删改查调用

Solr API例子详解

solr查询语法

hbase安装详解

Mapreduce构建hbase二级索引

MapReduce on Hbase

Hbase协处理器coprocessor

HBase API 详细例子(封装的DAO类）

zookeeker如何解决HBase单节点故障

R语言实现随机森林代码

HBase和HDFS数据互导程序

Hbase源码编译导入eclipse

RColorBrewer调色板控制包的使用

R绘制3D饼图

R语言绘制横向柱装图