用到的相关jar包:http://pan.baidu.com/disk/home#list/path=%2Fsolr

Solr目录结构

Solr 目录

Contrib :solr 为了增强自身的功能,所添加的扩展依赖包。

Dilst:solr build 过程时产生的jar包和war包,还有他的一些依赖包。

Docs: 文档。

Example: 例子

Solr:配置了solr运行至的信息,是一个标准的solrhome目录。

Collection1:solrcore目录

Data: 该目录是储存了索引的目录。

Multicore:可以配置多个solr实例。

Webapps: solr.war的目录

Licenses :版本

Solrhome

从example中copy出solr到新的一个目录,这就是一个solrhome了,可以改名。C:\QQDownload\Solrs\solr1\solrhome

Solrhome是一个目录,是solr运行的主目录,它包括多个solrcore目录。Solrcore目录中就是solr实例的运行配置文件和数据文件。

Solr容器

Solr部署到tomcat。

Solr需要运行在一个servlet容器,它默认提供了一个jetty容器。

把solrhome下webapps的solr.war复制到tomcat下的webapps目录下,解压并删除该war包。

添加solr依赖包,从目录solr-4.9.0\example\lib\ext 复制到 Tomcat 6.0-solr\webapps\solr\WEB-INF\lib

把solr-4.9.0 下的dist和contrib复制到solrhome\collection1\conf 下solrconfig.xml 中配置的相应路径中

依赖包有log4j,需要添加lofg4j的配置文件solr-4.9.0\example\resources 到 Tomcat 6.0-solr\webapps\solr\WEB-INF\classes(该文件夹需手动添加)。

添加sorl和tomcat的关联编辑 Tomcat 6.0-solr\webapps\solr\WEB-INF下的web.xml

添加映射关系,指定solrhome : C:\QQDownload\Solrs\solr1\solrhome

启动tomcat 看是否有错误。

遇到了solrconf.xml 的路径不对的问题,

 修改dir 路径并从solr中复制contrilb和dlist目录到相应的位置

Solr功能界面

分词器是需要配置的。

可以操作索引。 在solr中,修改或添加索引 都需要id主键。

配置多solrcore

多solrcore 配置:

Collection1,collection2

一个solr工程,配置多个solrcore 每个solrcore之间是相互独立的,可以单独对外提供服务。

类似于数据库,一个数据库可以后多个实例,如果有新需求,可以直接扩展。

多solrcore在管理索引文件时,可以进行分类管理。

使用solrcloud solr集群, 必须要建立多个solrcore。

复制solrhome下的collection1 到本目录下,改名为collection2.

修改collection2下的core.properties 修改为collection2 就ok了。

重启tomcat。

ok。两个solrcore 互相是独立的。

Schema.xml

Solr 基本使用

C:\QQDownload\Solrs\solr1\solrhome\collection1\conf

Schema.xml 文件在solrcore中的conf目录下,这个文件主要是配置域名及域的类型。

Solr 的域要先定义,后使用。

Name:域名

Type:域的类型(也需要配置)

Indexed:是否索引

Stored:是否存储

Required:是否必须一般id才设置。

multiValued:是否可以多值。如果设置为多值,里面的值就采用数组方式存储。

配置动态域

Name:域名,该域通过一个正则指定。

id

指定一个主键域。每个文档中都应该有个唯一主键。

复制域

Source :源域

Dest:目标域   把源域的内容复制到目标域,目标域必须设置 multiValued="true"

fieldType 配置域的类型

Name:域的类型的名称 引用该类型时: type=” text_general”

Class:指定solr的类型

Analyzer:配置分词器 type:index,query 索引,查询分词器

Tokenizer :分词器

Filter :过滤器

配置中文分词器IkAnalyzer

使用IkAnalyzer中文分词器

把IkAnalyzer2012ff_u1.jar添加到tomcat下的 web-inf/lib目录下

tomcat-6.0.35\apache-tomcat-6.0.35-solr\webapps\solr\WEB-INF\lib

复制IkAnalyzer的配置文件和自定义词典和停用词典到sorl的classpath下

Copy到apache-tomcat-6.0.35-solr\webapps\solr\WEB-INF\classes下

配置fieldtype 指定使用中文分词器。

打开C:\QQDownload\Solrs\solr1\solrhome\collection1\conf下的 scheme.xml文件

配置filed,使用中文分词器的filedtype。

业务域

Id是主键,由于collection1的scheme已经有主键了。

Dataimporthandler 插件

把数据从关系数据库中查询并导入到索引库中。

solr-4.9.0\dist\ solr-dataimporthandler-4.9.0.jar

复制到

Solrs\solr1\contrib\dataimporthandler\lib

下载mysql-connector-java-5.1.7-bin

Mysql数据驱动包拷贝到

Solrs\solr1\contrib\db\lib 下,没有的目录需要手动新建

配置dataimporthandler

在目录\Solrs\solr1\solrhome\collection1\conf下创建data-config.xml文件。

如果是链接sqlserver 注意配置sql和mysql的jdbc驱动,在同一个文件夹下  默认的就使用了mysql 的驱动。

看取到的数据和生成索引的数据数量是否一致,可以查看日志。

Solrj代码操作solr索引 .net solrnet

添加solrj的jar包 ,

路径 \Solrs\solr1\dist\solrj-lib 下的是solrj的依赖包

新加Javaproject,添加相应的solrj对应的包。

把\solr-4.9.0\example\lib\ext 目录下的jar包也添加进项目

代码实现

添加,修改索引。

注意:solr中添加修改索引必须要有主键,主键已经存在就修改,不存在就添加。

删除索引

可以看到有多种删除方法。

已经成功删除

Solrj搜索

可以看到界面实现和代码实现差别不大。

Solr服务器

应用

数据库

SolrCloud 集群搭建

Zookeeper 管理和维护SolrCloud集群

1.安装java环境

把集群需要的文件上传到虚拟机

1.安装centos

2.安装java 虚拟机

3.安装zookeeper 保证是基数节点,最少3个节点。

解压 tar -zxf zookeeper-3.4.6.tar.gz

4.配置zookeeper

在zookeeper1文件夹下 创建data文件夹

在data文件夹下创建myid文件 写入1. echo  1>>data/myid

以此类推,另外几个节点也同样配置。

创建配置文件。在conf文件夹下 zoo_sample.cfg 复制后改名 cp zoo_sample.cfg  zoo.cfg,然后编辑vim zoo.cfg。编辑datadir节点dataDir=/user/local/solrcloud/zookerper1/data .

这里注意clientport节点,同一个机器不要重复了端口号。

添加server.1节点 server.1=1912.168.80.128:2881:3881

每个zookeeper节点都要有这个配置。

Clientport 是zookeeper对外提供服务的端口 2881 是zookeeper服务器内部通信的端口,3881是zookeeper投票的端口,不能重复。

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/tmp/zookeeper

# the port at which the clients will connect

clientPort=2181

# the maximum number of client connections.

# increase this if you need to handle more clients

#maxClientCnxns=60

#

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

#

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

"zoo.cfg" 28L, 922C1,1          顶端

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/user/local/solrcloud/zookerper1/data

# the port at which the clients will connect

clientPort=2181

# the maximum number of client connections.

# increase this if you need to handle more clients

#maxClientCnxns=60

#

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

#

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

# The number of snapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

server.1=1912.168.80.128:2881:3881

server.2=1912.168.80.128:2882:3882

server.3=1912.168.80.128:2883:3883

"zoo.cfg" 31L, 1050C 已写入

依次配置好zookeeper2,zookeeper3

5.启动zookeeper

Bin文件夹下内容

创建批量启动文件

也可以单个启动。

添加新建启动文件的执行属性。

6.查看zookeeper状态

./zkServer.sh status

Error contacting service. It is probably not running. 错误 查看zookeeper.out日志,分析错误原因。

添加了 批量启动和查看状态的执行文件

启动成功。

配置搭建solr

一定要注意jar包的版本

主要修改的配置文件:

1.tomcat1/conf/server.xml  如果是同一台服务器就需要修改端口,防止冲突。单台可以使用默认设置。

2.tomcat1/webapps/solr/WEB-INF/web.xml –修改配置solrhome的位置

3.solrhome1/collection1/solrconfig.xml 主要是修改指定dist和contrib目录和后续的插件jar包的路径

solrhome是从solr-4.10.3包下的/example/solr 目录复制的

tomcat 下webapps下的solr 是 solr-4.10.3下/example/solr下webapps的solr.war 解压出来的

安装配置tomcat

[root@supercentos1 download]# tar -zxf apache-tomcat-7.0.39.tar.gz安装tomcat

[root@supercentos1 download]# mv apache-tomcat-7.0.39 /user/local/solrcloud/tomcat/tomcat1

[root@supercentos1 tomcat]# cp -r tomcat1/ tomcat2 复制出来3个tomcat

[root@supercentos1 tomcat]# cp -r tomcat1/ tomcat3

[root@supercentos1 tomcat]# cp -r tomcat1/ tomcat4

[root@supercentos1 tomcat]# vim tomcat1/conf/server.xml 修改各个tomcat端口配置

安装配置solr

[root@supercentos1 download]# tar -zxf solr-4.10.3.tgz.tgz 解压

复制solr-4.10.3/example/solr 复制到solrcloud下的solr文件夹下新建solrhome。

把solrhome下webapps的solr.war复制到tomcat下的webapps目录下,解压并删除该war包。

[root@supercentos1 solr-4.10.3]# cp example/webapps/solr.war / user/local/solrcloud/tomcat/tomcat1/webapps/

[root@supercentos1 solr-4.10.3]# cd/user/local/solrcloud/tomcat/tomcat1/webapps/

unzip  -oq solr.war-d solr

rm solr.war

解压后删除:

添加tomcat下solr依赖包

从目录 solr-4.10.3\example\lib\ext 复制到Tomcat1\webapps\solr\WEB-INF\lib 下

cp -rf example/lib/ext/*.jar  /user/local/solrcloud/tomcat/tomcat1/webapps/solr/WEB-INF/lib

依赖包有log4j,需要添加lofg4j的配置文件solr-4.9.0\example\resources 到 Tomcat 6.0-solr\webapps\solr\WEB-INF\classes(该文件夹需手动添加)。

[root@supercentos1 solr-4.10.3]# cp -rf example/resources/log4j.properties/user/local/solrcloud/tomcat/tomcat1/webapps/solr/WEB-INF/classes/

然后把tomcat1下webapps下的sorl文件夹复制到每个tomcat目录下。

复制相应个数的solr和tomcat, 每个sorl都对应一个tomcat容器。

[root@supercentos1 download]# cp -r  /user/local/solrcloud/tomcat/tomcat1/webapps/solr  /user/local/solrcloud/tomcat/tomcat2/webapps/

修改tomcat下sorl工程web.xml文件

vim tomcat/tomcat1/webapps/solr/WEB-INF/web.xml 2,3,4也同样的步骤修改就行了

[root@supercentos1 solrcloud]# tomcat/tomcat1/bin/startup.sh 启动tomcat1

Solrhome配置

把solr-4.9.0 下的dist和contrib复制到 solrhome\collection1\conf 下solrconfig.xml 中配置的相应路径中

[root@supercentos1 solr-4.10.3]# cp -rf  contrib /user/local/solrcloud/solr/  这个需要在配置文件里配置,看是否对应

[root@supercentos1 solr-4.10.3]# cp -rf  dist  /user/local/solrcloud/solr/

Vim solrhome1/collection1/solrconfig.xml

集群搭建

主要修改solrhome下的solr.xml,关联tomcat的ip和对应端口号。

修改tomcat下的bin目录下的catalina.sh。关联zookerper服务器地址和端口。

1.修改solrhome下的solr.xml配置文件

2.使用zookeeper统一管理配置文件。需要把solrhome下的collection1下的conf文件夹上传到zookeeper。

3.执行/root/download/solr-4.10.3/example/scripts/cloud-scripts 下的

./zkcli.sh  -zkhost 192.168.80.128:2181,192.168.80.128:2182,192.168.80.128:2183 -cmd upconfig -confdir  /user/local/solrcloud/solr/solrhome1/collection1/conf -confname myconf

./zkcli.sh  -zkhost(zookeeper服务器)  192.168.80.128:2181,192.168.80.128:2182,192.168.80.128:2183(zookeeper配置的服务器IP:clientProt) -cmd upconfig -confdir /user/local/solrcloud/solr/solrhome1/collection1/conf(管理的文件目录) -confname myconf(zookeeper管理别名)

4.执行/zookerper1/bin/zkCli.sh 链接到zookerper1

看到文件都传上了

5.关联zookerper和每一台solr。.告诉solr服务zookerper的位置

修改solr的tomcat下的bin目录下的catalina.sh文件,加入DzkHost 指定zookerper服务器的地址:vim tomcat1/bin/catalina.sh

添加

JAVA_OPTS="-DzkHost=192.168.80.128:2181,192.168.80.128:2182,192.168.80.128:2183"

同样的修改各个solr的tomcat服务器。

6.重新启动tomcat ,zookerper。

7.集群配置成功,这里只是单片

出现这个错误就看下solrhome下的solr.xml的ip和端口是否正确了, catalina.sh文件是不是手抖改错地方了,坑爹的。。最好是配完一台后直接复制粘贴的靠谱。

创建有两片的collection

http://192.168.80.128:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

删除collection

http://192.168.80.128:8080/solr/admin/collections?action=DELETE&name=collection1

Dataimport插件

需要在每个节点都配置下,修改solrconfig.xml,把solrconfig.xml文件上传到zookerper。

把单机版的solrhome/collection1下的conf拷到本地下collection2_shard2_replica1 下。

上传到zookerper 覆盖原来的那个配置。

把dataimporthandler相关的jar包,和数据库mysql或者sqlserver的驱动包放到相应的位置,配置solrconfig.xml。因为我这个是放到了solrhome公用的目录下了,不用每个solrhome都配置了,要是多服务器就需要每台服务器都配置了。

执行/root/download/solr-4.10.3/example/scripts/cloud-scripts 下的

./zkcli.sh  -zkhost 192.168.80.128:2181,192.168.80.128:2182,192.168.80.128:2183 -cmd upconfig -confdir  /user/local/solrcloud/solr/solrhome1/collection2_shard2_replica1/conf -confname myconf

配置中文分词器IkAnalyzer

重启tomcat

使用Solrj查询

String zkHost = "192.168.80.128:2181,192.168.80.128:2182,192.168.80.128:2183";// zookerper地址

CloudSolrServer cloudSolrServer = new CloudSolrServer(zkHost);

// 指定默认链接的collection

cloudSolrServer.setDefaultCollection("collection2");

/// 设置查询条件

SolrQuery qSolrQuery = new SolrQuery();

// 跟上面一样,省略

QueryResponse cloudResponse = cloudSolrServer.query(qSolrQuery);

// 跟单机查询一样,省略。。

增删改查跟单机版的都一样

Solr tomcat zookeeper目录结构

Download 资源

/user/local/solrcloud/zookerper1,2,3

/user/local.solrcloud/tomcat/tomcat1,2,3,4

/user/local.solrcloud/solr/solr1,2,3,4