什么是lucene
Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎
为什么我们要用Lucene？对比数据库
1.lucene可以对文件进行检索，这是数据库所不能的
2.对文本检索，lucene可以使用索引，检索效率高
3.lucene消耗内存少
4.lucene可以对搜索结果进行排名，进行高亮显示等。
lucene的流程
全文检索的流程分为两大部分：索引流程、搜索流程。
索引流程：采集数据—>构建文档对象—>创建索引(将文档写入索引库)。
搜索流程：创建查询—>执行搜索—>渲染搜索结果。
代码演示
基于lucene7.7
索引流程：
public class Index {
// 写索引实例
private IndexWriter writer;
public Index() throws Exception {
// 得到索引所在目录的路径，一般都用FSDirectory会根据环境选择最好的打开方式
Directory directory = FSDirectory.open(Paths.get("/Users/temp/lucene/index"));
// 保存用于创建IndexWriter的所有配置。会使用默认分词器
StandardAnalyzer standardAnalyzer = new StandardAnalyzer();
CharArraySet stopwordSet = standardAnalyzer.getStopwordSet();
CharArraySet charArraySet = new CharArraySet(stopwordSet, true);
boolean g32 = charArraySet.add("g32");
System.out.println(g32);
System.out.println(charArraySet);
IndexWriterConfig iwConfig = new IndexWriterConfig(new StandardAnalyzer(charArraySet));
// 实例化IndexWriter
writer = new IndexWriter(directory, iwConfig);
}
public static void main(String[] args) throws Exception {
//被索引数据的路径
String dataDir = "/Users/temp/lucene/data";
Index indexer = null;
int numIndexed = 0;
//索引开始时间
long start = System.currentTimeMillis();
try {
indexer = new Index();
indexer.deleteAll();
numIndexed = indexer.index(dataDir);
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
indexer.close();
} catch (Exception e) {
e.printStackTrace();
}
}
//索引结束时间
long end = System.currentTimeMillis();
System.out.println("索引：" + numIndexed + " 个文件 花费了" + (end - start) + " 毫秒");
}
public long deleteAll() throws IOException {
return writer.deleteAll();
}
public void close() throws IOException {
writer.close();
}
private static Document getDocument(File f) throws Exception {
Document doc = new Document();
//把设置好的索引加到Document里，以便在确定被索引文档
doc.add(new TextField("contents", new FileReader(f)));
//Field.Store.YES：在查找结果时可以还原文档，为NO不能还原文档
doc.add(new TextField("fileName", f.getName(), Field.Store.YES));
//把完整路径存在索引文件里
doc.add(new TextField("fullPath", f.getCanonicalPath(), Field.Store.YES));
return doc;
}
public int index(String dataDir) throws Exception {
File[] files = new File(dataDir).listFiles();
for (File file : files) {
//索引指定文件
indexFile(file);
}
//返回索引了多少个文件
return writer.getDocStats().numDocs;
}
public void indexFile(File f) throws Exception {
//输出索引文件的路径
System.out.println("索引文件：" + f.getCanonicalPath());
//获取文档，文档里再设置每个字段
Document doc = getDocument(f);
//开始写入,就是把文档写进了索引文件里去了；
writer.addDocument(doc);
}
}搜索流程：
public class Search {
public static void search(String indexDir, String q) throws Exception {
// 得到读取索引文件的路径
Directory dir = FSDirectory.open(Paths.get(indexDir));
// 通过dir得到的路径下的所有的文件
IndexReader reader = DirectoryReader.open(dir);
// 建立索引查询器
IndexSearcher is = new IndexSearcher(reader);
// 实例化分析器
Analyzer analyzer = new StandardAnalyzer();
// 建立查询解析器
/**
* 第一个参数是要查询的字段； 第二个参数是分析器Analyzer
*/
QueryParser parser = new QueryParser("contents", analyzer);
// 根据传进来的p查找
Query query = parser.parse(q);
// 计算索引开始时间
long start = System.currentTimeMillis();
// 开始查询
/**
* 第一个参数是通过传过来的参数来查找得到的query； 第二个参数是要出查询的行数
*/
TopDocs hits = is.search(query, 10);
// 计算索引结束时间
long end = System.currentTimeMillis();
System.out.println("匹配 " + q + " ，总共花费" + (end - start) + "毫秒" + "查询到" + hits.totalHits + "个记录");
// 遍历hits.scoreDocs，得到scoreDoc
/**
* ScoreDoc:得分文档,即得到文档 scoreDocs:代表的是topDocs这个文档数组
*
* @throws Exception
*/
for (ScoreDoc scoreDoc : hits.scoreDocs) {
Document doc = is.doc(scoreDoc.doc);
System.out.println(doc.get("fullPath"));
System.out.println(doc.get("fileName"));
}
// 关闭reader
reader.close();
}
public static void main(String[] args) {
String indexDir = "/Users/temp/lucene/index";
//我们要搜索的内容
String q = "i love you";
try {
search(indexDir, q);
} catch (Exception e) {
e.printStackTrace();
}
}
}其他
上面代码的lucene，只是一个基础的例子。很多其他的全文检索工具都是基于lucene在做，比如solr，elasticsearch等。
其他参考
https://mp.weixin.qq.com/s/nhyb9ZwQRJjcRDXVFK0_1w
欢迎关注公众号蜜蜂技术巢了解更多知识
