检索ElasticSearch

[ElasticSearch7.6入门学习笔记-KuangStudy-文章]

安装包及前端素材

Lucene:是一套信息检索工具包,jar包

Lucene 和 ElasticSearch关系:ElasticSearch是基于Lucene做了一些封装和增强

1、ElasticSearch 概述

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎

2、ElasticSearch 安装

解压即可:

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_02

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_03

启动:双击

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_04

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_05

安装可视化界面:

cnpm install
npm run start

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_06

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_07

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_08

解决跨域问题:

先关闭ElasticSearch

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_09

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_10

重启ElasticSearch

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_11

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_12

新建索引

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_13

head就用作可视化工具就行了,后面的查询操作就用Kibana

3、Kibana 概述

收集清洗数据(Logstash) ==> 搜索、存储(ElasticSearch) ==> 展示(Kibana)

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_14

4、Kibana 安装

Kibana 要和 ES 版本一致

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_15

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_16

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_17

测试:

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_18

汉化操作,之后重启

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_19

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_20

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_21

5、ElasticSearch 核心概念

概述

1、索引(ElasticSearch)

  • 包多个分片

2、字段类型(映射)

  • 字段类型映射(字段是整型,还是字符型…)

3、文档

4、分片(Lucene索引,倒排索引)

ElasticSearch是面向文档,关系行数据库和ElasticSearch客观对比!一切都是JSON!

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_22

elasticsearch(集群)中可以包含多个索引(数据库) ,每个索引中可以包含多个类型(表) ,每个类型下又包含多个文档(行) ,每个文档中又包含多个字段(列)

逻辑设计:

一个索引类型中,包含多个文档,比如说文档1,文档2。当我们索引一篇文档时,可以通过这样的顺序找到它:索引 => 类型 => 文档ID ,通过这个组合我们就能索引到某个具体的文档。 注意:ID不必是整数,实际上它是个字符串。

文档(”行“)

之前说elasticsearch是面向文档的,那么就意味着索引和搜索数据的最小单位是文档,elasticsearch中,文档有几个重要属性:

  • 自我包含,一篇文档同时包含字段和对应的值,也就是同时包含key:value !
  • 可以是层次型的,一个文档中包含自文档,复杂的逻辑实体就是这么来的! {就是一个json对象 ! fastjson进行自动转换 !}
  • 灵活的结构,文档不依赖预先定义的模式,我们知道关系型数据库中,要提前定义字段才能使用,在elasticsearch中,对于字段是非常灵活的,有时候,我们可以忽略该字段,或者动态的添加一个新的字段。

尽管我们可以随意的新增或者忽略某个字段,但是,每个字段的类型非常重要,比如一个年龄字段类型,可以是字符串也可以是整形。因为elasticsearch会保存字段和类型之间的映射及其他的设置。这种映射具体到每个映射的每种类型,这也是为什么在elasticsearch中,类型有时候也称为映射类型。

类型(“表”)

类型是文档的逻辑容器,就像关系型数据库一样,表格是行的容器。类型中对于字段的定义称为映射,比如name映射为字符串类型。我们说文档是无模式的,它们不需要拥有映射中所定义的所有字段,比如新增一个字段,那么elasticsearch是怎么做的呢?

  • elasticsearch会自动的将新字段加入映射,但是这个字段的不确定它是什么类型,elasticsearch就开始猜,如果这个值是18,那么elasticsearch会认为它是整形。但是elasticsearch也可能猜不对,所以最安全的方式就是提前定义好所需要的映射,这点跟关系型数据库殊途同归了,先定义好字段,然后再使用,别整什么幺蛾子。

索引(“库”)

索引是映射类型的容器, elasticsearch中的索引是一个非常大的文档集合。 索引存储了映射类型的字段和其他设置。然后它们被存储到了各个分片上了。我们来研究下分片是如何工作的。

物理设计:节点和分片 如何工作

创建新索引

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_23

一个集群至少有一个节点,而一个节点就是一个elasricsearch进程,节点可以有多个索引默认的,如果你创建索引,那么索引将会有个5个分片(primary shard ,又称主分片)构成的,每一个主分片会有一个副本(replica shard,又称复制分片)

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_24

上图是一个有3个节点的集群,可以看到主分片和对应的复制分片都不会在同一个节点内,这样有利于某个节点挂掉了,数据也不至于失。实际上,一个分片是一个Lucene索引(一个ElasticSearch索引包含多个Lucene索引一个包含倒排索引的文件目录,倒排索引的结构使得elasticsearch在不扫描全部文档的情况下,就能告诉你哪些文档包含特定的关键字

倒排索引(Lucene索引底层)

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_25

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_26

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_27

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_28

6、IK分词器(elasticsearch插件)

安装

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_29

全部重启

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_30

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_31

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_32

(1)使用kibana测试

ik_smart:最少切分

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_33

ik_max_word:最细粒度划分(穷尽词库的可能)

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_34

从上面看,感觉分词都比较正常,但是大多数,分词都满足不了我们的想法,如下例

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_35

那么,我们需要手动将该词添加到分词器的词典当中

(2)添加自定义的词添加到扩展字典中

elasticsearch目录/plugins/ik/config/IKAnalyzer.cfg.xml

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_36

打开 IKAnalyzer.cfg.xml 文件,扩展字典

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_37

创建字典文件,添加字典内容

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_38

重启ElasticSearch,再次使用kibana测试

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_39

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_40

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_41

7、Rest风格说明

(1)基本Rest命令说明:

method

url地址

描述

PUT(创建,修改)

localhost:9200/索引名称/类型名称/文档id

创建文档(指定文档id)

POST(创建)

localhost:9200/索引名称/类型名称

创建文档(随机文档id)

POST(修改)

localhost:9200/索引名称/类型名称/文档id/_update

修改文档

DELETE(删除)

localhost:9200/索引名称/类型名称/文档id

删除文档

GET(查询)

localhost:9200/索引名称/类型名称/文档id

查询文档通过文档ID

POST(查询)

localhost:9200/索引名称/类型名称/文档id/_search

查询所有数据

(2)测试

增加

创建一个索引

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_42

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_43

字符数据类型

  • 字符串类型
  • text、
    keyword
  • text:支持分词,全文检索,支持模糊、精确查询,不支持聚合,排序操作;text类型的最大支持的字符长度无限制,适合大字段存储;
  • keyword:不进行分词,直接索引、支持模糊、支持精确匹配,支持聚合、排序操作。keyword类型的最大支持的长度为——32766个UTF-8类型的字符,可以通过设置ignore_above指定自持字符长度,超过给定长度后的数据将不被索引,无法通过term精确匹配检索返回结果。
  • 数值型
  • long、Integer、short、byte、double、float、half floatscaled float
  • 日期类型
  • date
  • te布尔类型
  • boolean
  • 二进制类型
  • binary

指定字段的类型(使用PUT)

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_44

获取3建立的规则

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_45

修改

①旧的(使用put覆盖原来的值)

  • 版本+1(_version)
  • 但是如果漏掉某个字段没有写,那么更新是没有写的字段 ,会消失
PUT /test3/_doc/1
{
  "name" : "hcz是我的大哥",
  "age" : 18,
  "birth" : "1999-10-10"
}
GET /test3/_doc/1
// 修改会有字段丢失
PUT /test3/_doc/1
{
  "name" : "hcz"
}
GET /test3/_doc/1

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_46

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_47

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_48

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_49

②新的(使用post的update)

  • version不会改变
  • 需要注意doc
  • 不会丢失字段
POST /test3/_doc/1/_update
{
  "doc":{
    "name" : "post修改,version不会加一",
    "age" : 2
  }
}
GET /test3/_doc/1

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_50

删除
GET /test1
DELETE /test1
简单查询
GET /test3/_doc/_search?q=name:hcz

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_51

复杂查询

test4索引中的内容

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_52

①查询匹配

  • match:匹配(会使用分词器解析(先分析文档,然后进行查询))
  • _source:过滤字段
  • sort:排序
  • formsize 分页
// 查询匹配
  GET /test4/user/_search
  {
    "query":{
      "match":{
        "name":"h"
      }
    }
    ,
    "_source": ["name","desc"]
    ,
    "sort": [
      {
        "age": {
          "order": "asc"
        }
      }
    ]
    ,
    "from": 0
    ,
    "size": 1
  }

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_53

②多条件查询(bool)

  • must 相当于 and
  • should 相当于 or
  • must_not 相当于 not (... and ...)
  • filter 过滤
/// bool 多条件查询
 must <==> and
 should <==> or
 must_not <==> not (... and ...)
 filter数据过滤
 boost
 minimum_should_match
GET /test4/user/_search
{
  "query":{
    "bool": {
      "must": [
        {
          "match":{
            "age":3
          }
        },
        {
          "match": {
            "name": "流"
          }
        }
      ],
      "filter": {
        "range": {
          "age": {
            "gte": 1,
            "lte": 3
          }
        }
      }
    }
  }
}

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_54

④精确查询

  • term 直接通过 倒排索引 指定词条查询
  • 适合查询 number、date、keyword ,不适合text

⑤text和keyword

  • text:
  • 支持分词全文检索、支持模糊、精确查询,不支持聚合,排序操作;
  • text类型的最大支持的字符长度无限制,适合大字段存储;
  • keyword:
  • 不进行分词直接索引、支持模糊、支持精确匹配,支持聚合、排序操作。
  • keyword类型的最大支持的长度为——32766个UTF-8类型的字符,可以通过设置ignore_above指定自持字符长度,超过给定长度后的数据将不被索引,无法通过term精确匹配检索返回结果

⑥高亮查询

/// 高亮查询
GET test4/user/_search
{
  "query": {
    "match": {
      "name":"流"
    }
  }
  ,
  "highlight": {
    "fields": {
      "name": {}
    }
  }
}
// 自定义前缀和后缀
GET test4/user/_search
{
  "query": {
    "match": {
      "name":"流"
    }
  }
  ,
  "highlight": {
    "pre_tags": "<p class='key' style='color:red'>",
    "post_tags": "</p>", 
    "fields": {
      "name": {}
    }
  }
}

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_55

8、SpringBoot整合

(1)创建工程

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_56

(2)导入依赖

<properties>
    <java.version>1.8</java.version>
    <!-- 统一版本 -->
    <elasticsearch.version>7.6.1</elasticsearch.version>
</properties>

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>fastjson</artifactId>
    <version>1.2.70</version>
</dependency>
<!-- lombok需要安装插件 -->
<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <optional>true</optional>
</dependency>

版本不一致问题:

  • 一定要保证我们导入的依赖和我们本地的 ES 版本一致

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_57

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_58

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_59

(3)创建并编写配置类

索引的操作
1、索引的创建
@Configuration
public class ElasticSearchConfig {
    // 注册 rest高级客户端 
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("127.0.0.1",9200,"http")
                )
        );
        return client;
    }
}

(4)创建并编写实体类

@Data
@NoArgsConstructor
@AllArgsConstructor
public class User implements Serializable {
    private static final long serialVersionUID = -3843548915035470817L;
    private String name;
    private Integer age;
}

(5)测试

索引的操作
1、索引的创建
@SpringBootTest
class EsApiApplicationTests {

	@Autowired
	public RestHighLevelClient restHighLevelClient;

	@Test
	void contextLoads() throws IOException {
		//1、创建索引请求
		CreateIndexRequest request = new CreateIndexRequest("hcz_index");
		//2、客户端执行请求,请求后获得响应
		CreateIndexResponse createIndexResponse = restHighLevelClient.indices().create(request, RequestOptions.DEFAULT);
		//查看是否创建成功
		System.out.println(createIndexResponse.isAcknowledged());
		//查看返回对象
		System.out.println(createIndexResponse);
		restHighLevelClient.close();
	}

}

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_60

2、索引的获取,并判断其是否存在
// 测试获取索引,并判断其是否存在
@Test
public void testIndexIsExists() throws IOException {
    GetIndexRequest request = new GetIndexRequest("hcz_index");
    boolean exists = restHighLevelClient.indices().exists(request, RequestOptions.DEFAULT);
    System.out.println(exists);// 索引是否存在
    restHighLevelClient.close();
}
3、索引的删除
// 测试索引删除
@Test
public void testDeleteIndex() throws IOException {
    DeleteIndexRequest request = new DeleteIndexRequest("hcz_index");
    AcknowledgedResponse response = restHighLevelClient.indices().delete(request, RequestOptions.DEFAULT);
    System.out.println(response.isAcknowledged());// 是否删除成功
    restHighLevelClient.close();
}
文档的操作
1、文档的添加
/**
	 * 文档的添加
	 */
	@Test
	public void testAddDocument() throws IOException {
		//创建一个User对象
		User user = new User("hcz", 22);
		//创建请求
		IndexRequest request = new IndexRequest("hcz_index");
		//定制规则 PUT/hcz_index/_doc/1
		request.id("1");//设置文档id
		//设置超时时间
		request.timeout("1s");
		//将数据放入请求中
		request.source(JSON.toJSONString(user), XContentType.JSON);
		//客户端发送请求,获取响应的结果
		IndexResponse response = restHighLevelClient.index(request, RequestOptions.DEFAULT);
		//获取建立索引的状态信息
		System.out.println(response.status());
		//查看返回内容
		System.out.println(response);
	}

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_61

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_62

2、文档信息的获取
/**
	 * 文档信息的获取
	 */
	@Test
	public void testGetDocument() throws IOException {
		//创建请求
		GetRequest request = new GetRequest("hcz_index", "1");
		//客户端发送请求,获取响应的结果
		GetResponse response = restHighLevelClient.get(request, RequestOptions.DEFAULT);
		//打印文档内容
		System.out.println(response.getSourceAsString());
	}

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_63

3、文档的获取,并判断其是否存在
/**
	 * 文档的获取,并判断其是否存在
	 */
	@Test
	public void testExistsDocument() throws IOException {
		//创建请求
		GetRequest request = new GetRequest("hcz_index", "1");
		// 不获取返回的 _source的上下文了
		request.fetchSourceContext(new FetchSourceContext(false));
		request.storedFields("_none_");
		boolean exists = restHighLevelClient.exists(request, RequestOptions.DEFAULT);
		System.out.println(exists);
	}

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_64

4、文档的更新
/**
	 * 文档的更新
	 */
	@Test
	public void testUpdateDocument() throws IOException {
		//创建请求
		UpdateRequest request = new UpdateRequest("hcz_index", "1");
		User user = new User("hcz2", 18);
		//将数据放入请求中
		request.doc(JSON.toJSONString(user), XContentType.JSON);
		//客户端发送请求,获取响应的结果
		UpdateResponse response = restHighLevelClient.update(request, RequestOptions.DEFAULT);
		//获取建立索引的状态信息
		System.out.println(response.status()); // OK
		restHighLevelClient.close();
	}

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_65

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_66

5、文档的删除
/**
	 * 文档的删除
	 */
	@Test
	public void testDeleteDocument() throws IOException {
		DeleteRequest request = new DeleteRequest("hcz_index", "1");
		request.timeout("1s");
		DeleteResponse response = restHighLevelClient.delete(request, RequestOptions.DEFAULT);
		System.out.println(response.status());// OK
	}
6、文档的查询
/**
	 * 文档查询
	 */
	@Test
	public void testSearchDocument() throws IOException {
	    //1、创建查询请求
		SearchRequest request = new SearchRequest();
		//2、构建搜索条件
		SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
		//(1)查询条件 使用QueryBuilder工具类创建
		//精确查询
		TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("name", "hcz2");

		//        // 匹配查询
		//        MatchAllQueryBuilder matchAllQueryBuilder = QueryBuilders.matchAllQuery();
		// (2)其他<可有可无>:(可以参考 SearchSourceBuilder 的字段部分)
		// 设置高亮
		searchSourceBuilder.highlighter(new HighlightBuilder());
		//        // 分页
		//        searchSourceBuilder.from();
		//        searchSourceBuilder.size();
		searchSourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));

		// (3)条件投入
		searchSourceBuilder.query(termQueryBuilder);
		// 3.添加条件到请求
		request.source(searchSourceBuilder);
		// 4.客户端查询请求
		SearchResponse search = restHighLevelClient.search(request, RequestOptions.DEFAULT);
		// 5.查看返回结果
		SearchHits hits = search.getHits();
		System.out.println(JSON.toJSONString(hits));
		System.out.println("=======================");
		for (SearchHit documentFields : hits.getHits()) {
			System.out.println(documentFields.getSourceAsMap());
		}
	}

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_67

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_68

7、批量添加数据
/**
	 * 批量添加数据
	 */
	@Test
	public void testBulk() throws IOException {
		BulkRequest bulkRequest = new BulkRequest();
		bulkRequest.timeout("10s");
		ArrayList<User> users = new ArrayList<>();
		users.add(new User("hcz-1",1));
		users.add(new User("hcz-2",2));
		users.add(new User("hcz-3",3));
		users.add(new User("hcz-4",4));
		users.add(new User("hcz-5",5));
		users.add(new User("hcz-6",6));
		// 批量请求处理
		for (int i = 0; i < users.size(); i++) {
			bulkRequest.add(
					// 这里是数据信息
					new IndexRequest("hcz_index")
							.id(""+(i + 1)) // 没有设置id 会自定生成一个随机id
							.source(JSON.toJSONString(users.get(i)),XContentType.JSON)
			);
		}
		BulkResponse bulk = restHighLevelClient.bulk(bulkRequest, RequestOptions.DEFAULT);
		System.out.println(bulk.status());// ok
	}

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_69

elastalert获取es索引中的某个值 如何查看es中索引的结构_elasticsearch_70

9、实战:京东实战

(1)项目环境搭建

目录结构:

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_71

导入依赖:

<properties>
		<java.version>1.8</java.version>
		<!--自己定义es 版本依赖,保证和本地一致-->
		<elasticsearch.version>7.6.1</elasticsearch.version>
	</properties>
	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-thymeleaf</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>

		<dependency>
			<groupId>com.alibaba</groupId>
			<artifactId>fastjson</artifactId>
			<version>1.2.70</version>
		</dependency>
		<!-- lombok需要安装插件 -->
		<dependency>
			<groupId>org.projectlombok</groupId>
			<artifactId>lombok</artifactId>
			<optional>true</optional>
		</dependency>
	</dependencies>

导入前端素材:

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_72

编写 application.properties配置文件

# 更改端口,防止冲突
server.port=9999
# 关闭thymeleaf缓存
spring.thymeleaf.cache=false

编写controller层

@Controller
public class IndexController {
    @GetMapping({"/","/index"})
    public String index(){
        return "index";
    }
}

浏览器访问

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_73

(2)爬取数据

导入依赖

<!-- jsoup解析页面 -->
    <!-- 解析网页 爬视频可 研究tiko -->
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.10.2</version>
    </dependency>

搜索京东搜索页面,并分析页面

http://search.jd.com/search?keyword=java

页面列表id:J_goodsList

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_74

目标元素:img、price、name

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_75

创建HtmlParseUtil,并简单编写

public class HtmlParseUtil {
    public static void main(String[] args) throws IOException {
        /// 使用前需要联网
        // 请求url
        String url = "http://search.jd.com/search?keyword=java";
        // 1.解析网页(jsoup 解析返回的对象是浏览器Document对象)
        Document document = Jsoup.parse(new URL(url), 30000);
        // 使用document可以使用在js对document的所有操作
        // 2.获取元素(通过id)
        Element j_goodsList = document.getElementById("J_goodsList");
        // 3.获取J_goodsList ul 每一个 li
        Elements lis = j_goodsList.getElementsByTag("li");
        // 4.获取li下的 img、price、name
        for (Element li : lis) {
            String img = li.getElementsByTag("img").eq(0).attr("src");// 获取li下 第一张图片
            String name = li.getElementsByClass("p-name").eq(0).text();
            String price = li.getElementsByClass("p-price").eq(0).text();
            System.out.println("=======================");
            System.out.println("img : " + img);
            System.out.println("name : " + name);
            System.out.println("price : " + price);
        }
    }
}

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_76

发现图片信息没有显示出来:

一般图片特别多的网站,所有的图片都是通过延迟加载的

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_77

创建HtmlParseUtil、改写

  • 更改图片获取属性为 data-lazy-img
  • 与实体类结合,实体类如下
@Data
@AllArgsConstructor
@NoArgsConstructor
public class Content implements Serializable {
    private static final long serialVersionUID = -8049497962627482693L;
    private String name;
    private String img;
    private String price;
}
  • 封装为方法
@Component
public class HtmlParseUtil {
    public static void main(String[] args) throws IOException {
        new HtmlParseUtil().parseJD("java").forEach(System.out ::println);
    }
    public List<Content> parseJD(String keyword) throws IOException {
        /// 使用前需要联网
        // 请求url
        String url = "http://search.jd.com/search?keyword=" + keyword;
        // 1.解析网页(jsoup 解析返回的对象是浏览器Document对象)
        Document document = Jsoup.parse(new URL(url), 30000);
        // 使用document可以使用在js对document的所有操作
        // 2.获取元素(通过id)
        Element j_goodsList = document.getElementById("J_goodsList");
        // 3.获取J_goodsList ul 每一个 li
        Elements lis = j_goodsList.getElementsByTag("li");
//        System.out.println(lis);
        // 4.获取li下的 img、price、name
        // list存储所有li下的内容
        List<Content> contents = new ArrayList<Content>();
        for (Element li : lis) {
            // 由于网站图片使用懒加载,将src属性替换为data-lazy-img
            String img = li.getElementsByTag("img").eq(0).attr("data-lazy-img");// 获取li下 第一张图片
            String name = li.getElementsByClass("p-name").eq(0).text();
            String price = li.getElementsByClass("p-price").eq(0).text();
            // 封装为对象
            Content content = new Content(name,img,price);
            // 添加到list中
            contents.add(content);
        }
//        System.out.println(contents);
        // 5.返回 list
        return contents;
    }
}

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_78

(3)业务编写

编写Config

@Configuration
public class ElasticSearchConfig {
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("127.0.0.1",9200,"http")
                )
        );
        return client;
    }
}

编写service

@Service
public class ContentService {

    @Autowired
    private RestHighLevelClient restHighLevelClient;

    /**
     * 将解析的数据放入ES索引中
     */
    public Boolean parseContent(String keyword) throws IOException {
        //获取内容
        List<Content> contents = HtmlParseUtil.parseJD(keyword);
        //内容放入 ES 中
        BulkRequest bulkRequest = new BulkRequest();
        bulkRequest.timeout("2m");
        for (int i = 0; i < contents.size(); i++) {
            bulkRequest.add(
                    new IndexRequest("jd_goods")
                            .id(""+(i+1))
                            .source(JSON.toJSONString(contents.get(i)), XContentType.JSON)
            );
        }
        BulkResponse bulk = restHighLevelClient.bulk(bulkRequest, RequestOptions.DEFAULT);
        restHighLevelClient.close();
        return !bulk.hasFailures();
    }
}

编写controller

@Controller
public class ContentController {

    @Autowired
    private ContentService contentService;

    @ResponseBody
    @GetMapping("/parse/{keyword}")
    public Boolean parse(@PathVariable("keyword") String keyword) throws IOException {
        return contentService.parseContent(keyword);
    }
}

解析数据放入 es 索引中

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_79

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_80

取出数据

编写service

/**
     * 根据keyworf分页查询结果
     */
    public List<Map<String, Object>> search(String keyword, Integer pageIndex, Integer pageSize) throws IOException {
        if (pageIndex < 0){
            pageIndex = 0;
        }
        SearchRequest jd_goods = new SearchRequest("jd_goods");
        // 创建搜索源建造者对象
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        // 条件采用:精确查询 通过keyword查字段name
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("name", keyword);
        searchSourceBuilder.query(termQueryBuilder);
        searchSourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));// 60s
        // 分页
        searchSourceBuilder.from(pageIndex);
        searchSourceBuilder.size(pageSize);
        // 高亮
        // ....
        // 搜索源放入搜索请求中
        jd_goods.source(searchSourceBuilder);
        // 执行查询,返回结果
        SearchResponse searchResponse = restHighLevelClient.search(jd_goods, RequestOptions.DEFAULT);
        restHighLevelClient.close();
        // 解析结果
        SearchHits hits = searchResponse.getHits();
        List<Map<String,Object>> results = new ArrayList<>();
        for (SearchHit documentFields : hits.getHits()) {
            Map<String, Object> sourceAsMap = documentFields.getSourceAsMap();
            results.add(sourceAsMap);
        }
        // 返回查询的结果
        return results;
    }

编写controller

@ResponseBody
    @GetMapping("/search/{keyword}/{pageIndex}/{pageSize}")
    public List<Map<String, Object>> parse(@PathVariable("keyword") String keyword,
                                           @PathVariable("pageIndex") Integer pageIndex,
                                           @PathVariable("pageSize") Integer pageSize) throws IOException {
        return contentService.search(keyword,pageIndex,pageSize);
    }

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_81

(4)前后端交互

下载并引入Vue.min.js和axios.js

<!--前端使用Vue,实现前后端分离--> <script th:src="@{https://cdn.jsdelivr.net/npm/vue@2.5.16/dist/vue.min.js}"></script> <script th:src="@{https://cdn.bootcss.com/axios/0.18.0/axios.min.js}"></script>

修改后的index.html

<!DOCTYPE html>
<html xmlns:th="http://www.thymeleaf.org">

<head>
    <meta charset="utf-8"/>
    <title>Java-ES仿京东实战</title>
    <link rel="stylesheet" th:href="@{/css/style.css}"/>

</head>

<body class="pg">
<div class="page" id="app">
    <div id="mallPage" class=" mallist tmall- page-not-market ">

        <!-- 头部搜索 -->
        <div id="header" class=" header-list-app">
            <div class="headerLayout">
                <div class="headerCon ">
                    <!-- Logo-->
                    <h1 id="mallLogo">
                        <img th:src="@{/images/jdlogo.png}" alt="">
                    </h1>

                    <div class="header-extra">

                        <!--搜索-->
                        <div id="mallSearch" class="mall-search">
                            <form name="searchTop" class="mallSearch-form clearfix">
                                <fieldset>
                                    <legend>天猫搜索</legend>
                                    <div class="mallSearch-input clearfix">
                                        <div class="s-combobox" id="s-combobox-685">
                                            <div class="s-combobox-input-wrap">
                                                <input v-model="keyword" type="text" autocomplete="off" value="dd" id="mq"
                                                       class="s-combobox-input" aria-haspopup="true">
                                            </div>
                                        </div>
                                        <button type="submit" @click.prevent="searchKey" id="searchbtn">搜索</button>
                                    </div>
                                </fieldset>
                            </form>
                            <ul class="relKeyTop">
                                <li><a>Java</a></li>
                                <li><a>前端</a></li>
                                <li><a>Linux</a></li>
                                <li><a>大数据</a></li>
                                <li><a>理财</a></li>
                            </ul>
                        </div>
                    </div>
                </div>
            </div>
        </div>

        <!-- 商品详情页面 -->
        <div id="content">
            <div class="main">
                <!-- 品牌分类 -->
                <form class="navAttrsForm">
                    <div class="attrs j_NavAttrs" style="display:block">
                        <div class="brandAttr j_nav_brand">
                            <div class="j_Brand attr">
                                <div class="attrKey">
                                    品牌
                                </div>
                                <div class="attrValues">
                                    <ul class="av-collapse row-2">
                                        <li><a href="#"> 狂神说 </a></li>
                                        <li><a href="#"> Java </a></li>
                                    </ul>
                                </div>
                            </div>
                        </div>
                    </div>
                </form>

                <!-- 排序规则 -->
                <div class="filter clearfix">
                    <a class="fSort fSort-cur">综合<i class="f-ico-arrow-d"></i></a>
                    <a class="fSort">人气<i class="f-ico-arrow-d"></i></a>
                    <a class="fSort">新品<i class="f-ico-arrow-d"></i></a>
                    <a class="fSort">销量<i class="f-ico-arrow-d"></i></a>
                    <a class="fSort">价格<i class="f-ico-triangle-mt"></i><i class="f-ico-triangle-mb"></i></a>
                </div>

                <!-- 商品详情 -->
                <div class="view grid-nosku">

                    <div class="product" v-for="result in results">
                        <div class="product-iWrap">
                            <!--商品封面-->
                            <div class="productImg-wrap">
                                <a class="productImg">
                                    <img :src="result.img">
                                </a>
                            </div>
                            <!--价格-->
                            <p class="productPrice">
                                <em><b>¥</b>{{result.price}}</em>
                            </p>
                            <!--标题-->
                            <p class="productTitle">
                                <a v-html="result.name"></a>
                            </p>
                            <!-- 店铺名 -->
                            <div class="productShop">
                                <span>店铺: 狂神说Java </span>
                            </div>
                            <!-- 成交信息 -->
                            <p class="productStatus">
                                <span>月成交<em>999笔</em></span>
                                <span>评价 <a>3</a></span>
                            </p>
                        </div>
                    </div>
                </div>
            </div>
        </div>
    </div>
</div>

<!--前端使用Vue,实现前后端分离-->
<script th:src="@{https://cdn.jsdelivr.net/npm/vue@2.5.16/dist/vue.min.js}"></script>
<script th:src="@{https://cdn.bootcss.com/axios/0.18.0/axios.min.js}"></script>
<script>

    new Vue({
        el: '#app',
        data: {
            keyword: '',// 搜索关键字
            results: [] //搜索的结果
        },
        methods : {
            searchKey(){
                var keyword = this.keyword;
                console.log(keyword);
                //对接后端的接口
                axios.get('search/'+keyword+"/1/10").then(response=>{
                    console.log(response.data)
                    this.results=response.data;//绑定数据
                })
            }
        }
    })
</script>

</body>
</html>

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_82

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_83

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_84

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_85

(5)关键字高亮

/**
     * 实现高亮搜索
     */
    public List<Map<String, Object>> highlightSearch(String keyword, Integer pageIndex, Integer pageSize) throws IOException {
        if (pageIndex < 1){
            pageIndex = 1;
        }
        SearchRequest jd_goods = new SearchRequest("jd_goods");
        // 创建搜索源建造者对象
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();

        // 条件采用:精确查询 通过keyword查字段name
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("name", keyword);
        searchSourceBuilder.query(termQueryBuilder);
        searchSourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));// 60s
        // 分页
        searchSourceBuilder.from(pageIndex);
        searchSourceBuilder.size(pageSize);
        // 高亮
        HighlightBuilder highlightBuilder = new HighlightBuilder();
        highlightBuilder.field("name");
        highlightBuilder.requireFieldMatch(false);//设置一个字段高亮
        highlightBuilder.preTags("<span style='color:red'>");
        highlightBuilder.postTags("</span>");
        searchSourceBuilder.highlighter(highlightBuilder);

        // 搜索源放入搜索请求中
        jd_goods.source(searchSourceBuilder);
        // 执行查询,返回结果
        SearchResponse searchResponse = restHighLevelClient.search(jd_goods, RequestOptions.DEFAULT);
        //restHighLevelClient.close();
        // 解析结果
        SearchHits hits = searchResponse.getHits();
        List<Map<String,Object>> results = new ArrayList<>();
        for (SearchHit documentFields : hits.getHits()) {
            // 使用新的字段值(高亮),覆盖旧的字段值
            Map<String, Object> sourceAsMap = documentFields.getSourceAsMap();
            // 高亮字段
            Map<String, HighlightField> highlightFields = documentFields.getHighlightFields();
            HighlightField name = highlightFields.get("name");
            // 替换,将原来的字段替换为高亮的字段
            if (name != null){
                Text[] fragments = name.fragments();
                StringBuilder new_name = new StringBuilder();
                for (Text text : fragments) {
                    new_name.append(text);
                }
                sourceAsMap.put("name",new_name.toString());
            }
            results.add(sourceAsMap);
        }
        // 返回查询的结果
        return results;
    }

elastalert获取es索引中的某个值 如何查看es中索引的结构_字段_86

elastalert获取es索引中的某个值 如何查看es中索引的结构_System_87

elastalert获取es索引中的某个值 如何查看es中索引的结构_搜索引擎_88