一丶Elasticsearch是什么

Elasticsearch是一个高度可扩展的开源全文本搜索和分析引擎。它可以快速，近实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和要求的应用程序的基础引擎。

Elasticsearch第1章—简介和安装_中间件

Elasticsearch的场景

1.电商网站。允许客户搜索产品。可以使用ES存储整个产品目录和库存，并为其提供搜索和自动完成功能。

2.日志或交易数据收集。并且要对数据进行分析和挖掘以查找趋势，统计信息，摘要或异常等。

3.价格警报平台。平台允许客户指定如“如果某商品的价格在下个月内降到X以下，就通知我” 。

4.业务智能分析。想要快速调查，分析，可视化并针对大量数据提出特别问题。

Elasticsearch特点

Elasticsearch封装了Lucene，开箱即用，使用起来更加简单。Elasticsearch支持集群，也支持集群节点动态扩展，在高可用上做了很多工作，是一个搜索引擎，而不是一个索引类库。

  • Elasticsearch基于Lucene构建，Elasticsearch利用Lucene做实际的工作
  • ELasticsearch中的每个分片都是一个分离的Lucene实例.
  • Elasticsearch在Lucene基础上（即利用Lucene的功能）提供了一个分布式的、基于JSON的REST API 来更方便地使用 Lucene的功能。
  • Elasticsearch提供其他支持功能，如：线程池，队列，节点/集群监控API，数据监控API，集群管理等

二丶Elasticsearch基本概念

集群（Cluster）

集群是一个或多个节点（服务器）的集合，这些节点一起保存全部数据，并在所有节点之间提供索引和搜索功能。集群由唯一名称标识，默认情况下为“ elasticsearch”。此名称很重要，因为如果节点被设置为通过名称加入群集，则该节点只能是群集的一部分。

节点（Node）

节点是单个服务器是群集的一部分，用于存储数据并参与群集的索引和搜索。像群集一样，节点由名称标识，该名称默认为在启动时分配给该节点的随机唯一标识符（UUID）。如果不想使用默认的节点名称，可以自定义节点名称。该名称对于管理集群非常重要，命名时尽可能可以通过名称来判别在集群中对应哪个节点。

索引（Index）

索引是具有相似特征的文档的集合。如：可以以客户数据创建索引，以产品目录创建一个索引，以订单数据创建一个索引。

类型（Type）

在索引中，您可以定义一个或多个类型。类型是索引的逻辑类别或分区。通常，为具有一组公共字段的文档定义一种类型

文档（Document）

文件是可以索引的基本信息单位。

Elastic Search

关系型数据库

索引（Indices）

数据库（Databases）

类型（Types）

表（Table）

文档（Document）

行（Row）

字段（Field）

列（Column）

Mapping

Schema

结构化查询语言（query DSL）

SQL

GET http:9200/index...

SELECT * FROM table... where ...

分片（Shard）

实际项目中，索引数据可能会非常庞大，而这些数据可能超过了单个节点的硬件条件。如：十亿个文档的单个索引占用了1TB的磁盘空间，这时无法使用单个节点的磁盘存储，或者因为检索过程太慢而无法满足搜索请求。

为了解决此问题，Elasticsearch提供了将索引细分为多个碎片（分片）的功能。创建索引时，只需定义所需的分片数量即可。每个分片本身就是一个功能齐全且独立的“索引”，它们可以托管在群集中的任何节点上。

副本（Replicas）

为了以防分片/节点因为某些原因脱机或消失（提供高可用机制），强烈建议使用故障转移机制。为此，Elasticsearch允许将索引分片的一个或多个副本制作为所谓的副本分片（简称副本）。

近实时搜索

随着按段（per-segment）搜索的发展，一个新的文档从索引到可被搜索的延迟显著降低了。新文档在几分钟之内即可被检索，但这样还是不够快。

磁盘在这里成为了瓶颈。提交（Commiting）一个新的段到磁盘需要一个 fsyn 操作来确保段被物理性地写入磁盘，这样在断电的时候就不会丢失数据。 但是 fsyn 操作代价很大；如果每次索引一个文档都去执行一次的话会造成很大的性能问题。

我们需要的是一个更轻量的方式来使一个文档可被搜索，这意味着 fsyn 要从整个过程中被移除。

在Elasticsearch和磁盘之间是文件系统缓存。像之前描述的一样， 在内存索引缓冲区中的文档会被写入到一个新的段中。但是这里新段会被先写入到文件系统缓存——这一步代价会比较低，稍后再被刷新到磁盘——这一步代价比较高。不过只要文件已经在缓存中， 就可以像其它文件一样被打开和读取了。

Lucene 允许新段被写入和打开—使其包含的文档在未进行一次完整提交时便对搜索可见。 这种方式比进行一次提交代价要小得多，并且在不影响性能的前提下可以被频繁地执行。

持久化更新

即使通过每秒刷新（refresh）实现了近实时搜索，我们仍然需要经常进行完整提交来确保能从失败中恢复。但在两次提交之间发生变化的文档怎么办？我们也不希望丢失掉这些数据。

Elasticsearch 增加了一个 translog ，或者叫事务日志，在每一次对 Elasticsearch 进行操作时均进行了日志记录。通过 translog ，整个流程看起来是下面这样：

1. 一个文档被索引之后，就会被添加到内存缓冲区，并且追加到了 translog 。

2. 刷新（refresh）使分片处于“刷新（refresh）完成后, 缓存被清空但是事务日志不会” 的状态，分片每秒被刷新（refresh）一次：

  • 这些在内存缓冲区的文档被写入到一个新的段中，且没有进行 fsyn 操作。
  • 这个段被打开，使其可被搜索。
  • 内存缓冲区被清空。

3. 这个进程继续工作，更多的文档被添加到内存缓冲区和追加到事务日志

4. 每隔一段时间—例如 translog 变得越来越大—索引被刷新（flush）；一个新的 translog 被创建，并且一个全量提交被执行（“在刷新（flush）之后，段被全量提交，并且事务日志被清空”）：

  • 所有在内存缓冲区的文档都被写入一个新的段。
  • 缓冲区被清空。
  • 一个提交点被写入硬盘。
  • 文件系统缓存通过 fsyn 被刷新（flush）。
  • 老的 translog 被删除。

三丶Elasticsearch安装配置

版本选择

Elasticsearch 5.6.15

JDK 版本最少 JDK 1.8.0_133

3.1 下载并解压

3.1.1下载elasticsearch-5.6.16

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.16.tar.gz

3.1.2 解压文件

$ tar xvzf elasticsearch-5.6.16.tar.gz

3.1.3 移动到指定目录

$ mv ./elasticsearch-5.6.16 /usr/path/to

3.2 配置

3.2.1 配置文件详解


配置项

配置项说明

cluster.name

Elasticsearch集群名称。默认名称为elasticsearch

node.name

节点名称。默认情况下，Elasticsearch使用随机生成UUID的前七个字符作为节点ID。节点ID是持久的在重新启动时也不会更改，因此默认节点名称也不会更改。

node.attr.rack

节点服务器所在的机架信息

path.data

设置索引数据的存储路径，默认是Elasticsearch根目录下data文件夹。可以设置多个存储路径，用逗号隔开

path.log

设置日志文件的存储路径，默认是Elasticsearch根目录下logs文件夹

bootstrap.memory_lock

设置为true代表任何JVM内存都不会交换到磁盘上，防止Elasticsearch内存被交换出去影响性能。

network.host

指定Elasticsearch节点的IP地址

http.port

设置Elasticsearch对外服务的http端口号。默认9200

discovery.zen.ping.unicast.hosts

设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点

discovery.zen.minimum_master_nodes

该参数是为了防止”脑裂”的产生，定义了为形成群集而必须可见的符合主机要求的最小数量。默认为1。

gateway.recover_after_nodes

只要预期的节点数已加入集群，就会启动本地分片的恢复。默认为0

action.destructive_requires_name

只能删除指定了名称的数据，而不允许通过 _all 或通配符来删除匹配的索引库。可以Rest API 动态的更新这个设置。

3.2.2 系统配置文件

memory_lock配置

如果memory_lock设置为true，出现报错，则需要修改下面2个Linux系统文件：

修改 /etc/security/limits.conf

soft nofile 65536

hard nofile 65536

soft nproc 32000

hard nproc 32000

hard memlock unlimited

soft memlock unlimited

修改/etc/systemd/system.conf

DefaultLimitNOFILE=65536

DefaultLimitNPROC=32000

DefaultLimitMEMLOCK=infinity

max_map_count警告

启动时，如果出现警告：

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

临时设置

临时设置，当Linux重新启动会恢复到设置之前的值。

$ sysctl -w vm.max_map_count=262144

查看结果：

$ sysctl -a|grep vm.max_map_count

显示：

$ vm.max_map_count = 262144

永久设置

在 /etc/sysctl.conf文件最后添加一行

vm.max_map_count=262144

3.3 启动

$ cd $ES_HOME/bin

启动elasticsearch

$ ./elasticsearch

带参数覆盖配置启动（通过自定义名称覆盖集群默认的名称或节点名称）

$ ./elasticsearch -Ecluster.name=my_cluster_name -Enode.name=my_node_name