solr

企业站内搜索技术选型

在一些大型门户网站、电子商务网站等都需要站内搜索功能,使用传统的数据库查询方式实现搜索无法满足一些高级的搜索需求,比如:搜索速度要快、搜索结果按相关度排序、搜索内容格式不固定等,这里就需要使用全文检索技术实现搜索功能。

单独使用Lucene实现

单独使用Lucene实现站内搜索需要开发的工作量较大,主要表现在:索引维护、索引性能优化、搜索性能优化等,因此不建议采用。

使用Google或Baidu接口 

通过第三方搜索引擎提供的接口实现站内搜索,这样和第三方引擎系统依赖紧密,不方便扩展,不建议采用。

使用Solr实现

基于Solr实现站内搜索扩展性较好并且可以减少程序员的工作量,因为Solr提供了较为完备的搜索引擎解决方案,因此在门户、论坛等系统中常用此方案。

 

什么是Solr

Solr 是Apache下的一个顶级开源项目,采用Java开发,它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对索引、搜索性能进行了优化

Solr可以独立运行,运行在Jetty、Tomcat等这些Servlet容器中,Solr 索引的实现方法很简单,用 POST 方法向 Solr 服务器发送一个描述 Field 及其内容的 XML 文档,Solr根据xml文档添加、删除、更新索引 。Solr 搜索只需要发送 HTTP GET 请求,然后对 Solr 返回Xml、json等格式的查询结果进行解析,组织页面布局。Solr不提供构建UI的功能,Solr提供了一个管理界面,通过管理界面可以查询Solr的配置和运行情况。

solr是基于lucene开发企业级搜索服务器,实际上就是封装了lucene。

Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的文件,生成索引;也可以通过提出查找请求,并得到返回结果

Solr类似webservice,调用接口,实现增加,修改,删除,查询索引库。

 

Solr与Lucene的区别

Lucene是一个开放源代码的全文检索引擎工具包,它不是一个完整的全文检索引擎,Lucene提供了完整的查询引擎和索引引擎,目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者以Lucene为基础构建全文检索引擎。

的目标是打造一款企业级的搜索引擎系统,它是一个搜索引擎服务,可以独立运行,通过Solr可以非常快速的构建企业的搜索引擎,通过Solr也可以高效的完成站内搜索功能。

Solr类似webservice,提供接口,调用接口,发送一些特点语句,实现增加,删除,修改,查询。

solr4.x快速入门

1 下载

从Solr官方网站(http://lucene.apache.org/solr/ )下载Solr4.10.3,根据Solr的运行环境,Linux下需要下载lucene-4.10.3.tgz,windows下需要下载lucene-4.10.3.zip。

Solr使用指南可参考:https://wiki.apache.org/solr/FrontPage。

下载solr-4.10.3.zip并解压,解压后目录为:

bin:solr的运行脚本

contrib:Solr的一些扩展包,包括分词器,聚类,语言识别,数据导入处理,非结构化内容分

析等.

dist:该目录包含build过程中产生的war和jar文件,以及相关的依赖文件。我们之

前使用的solr.war实际上就是这个文件夹下的solr-4.40.war

docs:solr的API文档

example:solr工程的例子目录:

l example/solr:

该目录是一个包含了默认配置信息的Solr的Core目录。

l example/multicore:

该目录包含了在Solr的multicore中设置的多个Core目录。

l example/webapps:

该目录中包括一个solr.war,该war可作为solr的运行实例工程。

l licensessolr相关的一些许可信息

2 使用solr内置jetty服务器运行solr

Jetty服务器是web容器,类似tomcat。

启动solr内置jetty服务器流程:

1、 启动运行example/start.jar

a) 直接在cmd命令行运行命令

b) 使用bat批处理文件运行jar包

 2、 加载example/lib下面的jetty服务器

3、 Jetty服务器加载example/webaaps/solr.war项目

4、 加载索引库仓库:example/solr

 

Solr首页

 

solres是中间件吗 solr技术_json

索引仓库core admin

 

solres是中间件吗 solr技术_solr_02

多索引库

一个core admin(索引仓库)有多个索引库collection1,collection2…..

添加第一个索引库:

solres是中间件吗 solr技术_solr_03

 

solres是中间件吗 solr技术_数据库_04

solres是中间件吗 solr技术_数据库_05

选择索引库

overView

 

solres是中间件吗 solr技术_json_06

Analysis

 

solres是中间件吗 solr技术_solres是中间件吗_07

Dataimport

导入外部数据。导入mysql数据库商品数据。

Documents

 

solres是中间件吗 solr技术_操作系统_08

Files

索引库配置文件拷贝,加载索引库配置文件。

 

solres是中间件吗 solr技术_json_09

Query

 

solres是中间件吗 solr技术_solres是中间件吗_10

管理界面

 

solres是中间件吗 solr技术_操作系统_11

Dashboard:

仪表盘,显示了该Solr实例开始启动运行的时间、版本、系统资源、jvm等信息。

Logging:

Solr运行日志信息

Cloud:

Cloud即SolrCloud,即Solr云(集群),当使用Solr Cloud模式运行时会显示此菜单,如下图是Solr Cloud的管理界面:

 

solres是中间件吗 solr技术_数据库_12

Core Admin:

Solr Core的管理界面。Solr Core 是Solr的一个独立运行实例单位,它可以对外提供索引和搜索服务,一个Solr工程可以运行多个SolrCore(Solr实例),一个Core对应一个索引目录。

java properties

Solr在JVM 运行环境中的属性信息,包括类路径、文件编码、jvm内存设置等信息。

Tread Dump

显示Solr Server中当前活跃线程信息,同时也可以跟踪线程运行栈信息。

Core selector

选择一个SolrCore进行详细操作,如下:

 

solres是中间件吗 solr技术_solres是中间件吗_13

Analysis(重点)

 

solres是中间件吗 solr技术_json_14

通过此界面可以测试索引分析器和搜索分析器的执行情况。

dataimport

可以定义数据导入处理器,从关系数据库将数据导入 到Solr索引库中。

 

solres是中间件吗 solr技术_json_15

 

Document(重点)

 

通过此菜单可以创建索引、更新索引、删除索引等操作,界面如下:

 

 

 

 

solres是中间件吗 solr技术_solr_16

 

/update表示更新索引,solr默认根据id(唯一约束)域来更新Document的内容,如果根据id值搜索不到id域则会执行添加操作,如果找到则更新。

 

添加索引库

 

 

solres是中间件吗 solr技术_solr_17

 

 

 

修改

 

 

 

如果Id存在,修改

 

如果Id不存在,添加。

 

删除

 

 

solres是中间件吗 solr技术_json_18

 

query(重点)

solres是中间件吗 solr技术_solres是中间件吗_19

 

System property替换   

支持系统属性替换,允许启动JVM在任一Solr的配置文件指定字符串替换。

语法:

替换是有效的在任何元素或属性的文本。

这里是允许运行时决定数据目录的一个例子:

使用示例应用程序中

solr可以以这种方式启动:

java -Dsolr.data.dir=/data/dir -jar start.jar  如果没有指定

solr启动时读取 conf/solrcore.properties文件

#solrcore.properties  data.dir=/data/solrindex

解析:运行时替换目录意思

 

:在solrConfig配置文件里面使用${},这是solr语法格式。

解释一下:

  Solr.就代表solrcore索引库目录:collection1这一层目录。

  顾名思义:solr.data.dir表示的意思就是collection1下面的data目录。

这是solr的一种约定,不必深究,知道solr.就是我们的索引库目录就ok。

 

 

 

 

Solrj

 

什么是SolrJ

 

solrj是访问Solr服务的java客户端,提供索引和搜索的请求方法,SolrJ通常在嵌入在业务系统中,通过SolrJ的API接口操作Solr服务

solres是中间件吗 solr技术_solr_20