Lucene 框架是Doug Cutting开创的开源软件,用Java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎。
- 2001年年底Lucene成为Apache基金会的一个子项目。
- 对于海量数据的场景,Lucene面对与Google同样的困难,存储数据困难,检索速度慢。
- 学习和模仿Google解决这些问题的办法 :微型版Nutch。
- Google是Hadoop的思想之源(Google在大数据方面的三篇论文)
GFS --->HDFS
Map-Reduce --->MR
BigTable --->HBase- 2003-2004年(改进源码),Google公开了部分GFS和MapReduce思想的细节,以此为基础Doug Cutting等人用了2年业余时间实现了DFS和MapReduce机制,使Nutch性能飙升。
- 2005 年(正式成为Apache的项目)Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。
- 名字来源于Doug Cutting儿子的玩具大象