es bulkapi 高效 es _bulk

转载

IT独行侠 2024-03-27 17:12:06

文章标签 es bulkapi 高效 elasticsearch 大数据 big data JSON 文章分类 架构后端开发

文章目录

前言
一、bulk概述

1.1 基础概念
1.2 bulk语法
1.3 操作类型

二、使用示例

2.1 批量插入
2.2 批量更新
2.3 批量删除

总结

前言

本篇文章主要总结如何使用bulk对es进行批量操作

一、bulk概述

1.1 基础概念

bulk是es提供的一种批量增删改的操作API。

1.2 bulk语法

bulk对JSON串的有着严格的要求。每个JSON串不能换行，只能放在同一行，同时，相邻的JSON串之间必须要有换行（Linux下是\n；Window下是\r\n）。bulk的每个操作必须要一对JSON串（delete语法除外）

例如若增加一个文档如下所示：

POST _bulk
{"create": {"_index": "example", "_type": "docs", "_id": 11}}
{"name": "test_bulk", "counter":"100"}

1.3 操作类型

create 如果文档不存在就创建，但如果文档存在就返回错误
index 如果文档不存在就创建，如果文档存在就更新
update 更新一个文档，如果文档不存在就返回错误
delete 删除一个文档，如果要删除的文档id不存在，就返回错误

从以上可以看出index是比较常用的，因为bulk操作失败不会影响其他文档操作，我们可以从他的返回结果中查看失败的详细原因。

二、使用示例

为了大家更快掌握使用方法，我们直接上代码

2.1 批量插入

代码如下（示例）：

public void importData(){
   List<Map<String, Object>> list = new ArrayList<>();
   for (int i = 0; i < 10; i++) {
       Map<String, Object> map = new HashMap<>();
       map.put("name", "金手杖按摩会所");
       map.put("id", i);
       list.add(map);
   }
   handleData
}

private void handleData(List<Map<String, Object>> list) {
    BulkRequest request = new BulkRequest();
    for (int i = 0; i < list.size(); i++) {
        Map<String, Object> map = list.get(i);
        request.add(new IndexRequest("indexName").id(String.valueOf(map.get("id"))).source(map, XContentType.JSON));
    }
    try {
        client.bulk(request, RequestOptions.DEFAULT);
    } catch (IOException e) {
        e.printStackTrace();
    }
}

2.2 批量更新

这里我们根据id批量更新其中的name

public void updateNameByIds(List<String> ids) {
	//这里我们把所有要更新的name统一更新为：大众洗浴
    BulkRequest request = new BulkRequest();
    // 更新热度值
    for (String id : ids) {
        //使用map集合存储我们要修改的字段和要修改的数据
        Map<String, Object> map = new HashMap<>();
        map.put("name", "大众洗浴");
        //第一个参数是索引，第二个参数是id，然后使用doc来放我们要修改的数据和集合
        request.add(new UpdateRequest("indexName", id).doc(map));
    }
    //批量更新操作
    try {
        restHighLevelClient.bulk(request, RequestOptions.DEFAULT);
    } catch (IOException e) {
        LOGGER.error("更新失败:" + e.getMessage());
    }
}

2.3 批量删除

代码如下（示例）：

public void deleteByIds(List<String> ids) {
    BulkRequest request = new BulkRequest();
    // 更新热度值
    for (String id : ids) {
        //第一个参数是索引，第二个参数是id，然后使用doc来放我们要修改的数据和集合
        request.add(new DeleteRequest("indexName", id));
    }
    //批量删除操作
    try {
        restHighLevelClient.bulk(request, RequestOptions.DEFAULT);
    } catch (IOException e) {
        LOGGER.error("删除失败:" + e.getMessage());
    }
}

如果想根据指定条件进行删除我们也可以使用以下操作,但其删除比较慢：

public void deleteByKindId(String indexName,String name)throws Exception{
    DeleteByQueryRequest deleteByQueryRequest = new DeleteByQueryRequest(indexName);
    
    deleteByQueryRequest.setQuery(QueryBuilders.termsQuery("name", name));
    
    remoteHighLevelClient.deleteByQuery(deleteByQueryRequest, RequestOptions.DEFAULT);
}