创建一个从Mysql数据库同步数据到es的任务，这个任务的所有相关文件都放在logstash安装目录下的sync文件夹下。

注：在es中需要提前创建好要使用的index，type及type的结构可以由logstash任务自己创建。

1、新建任务文件夹

cd /usr/local/logstash-7.9.3/
mkdir sync

2、在sync文件夹下创建任务的配置文件

cd sync/
touch logstash-db-es.conf

配置文件内容如下：

input {
    jdbc {
        # 设置 MySql/MariaDB 数据库url以及数据库名称
        jdbc_connection_string => "jdbc:mysql://192.168.40.22:3306/foodie-shop?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "123456"
        # 数据库驱动所在位置，可以是绝对路径或者相对路径
        jdbc_driver_library => "/usr/local/logstash-7.9.3/sync/mysql-connector-java-8.0.18.jar"
        # 驱动类名
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 开启分页
        jdbc_paging_enabled => "true"
        # 分页每页数量，可以自定义
        jdbc_page_size => "10000"
        # 执行的sql文件路径
        statement_filepath => "/usr/local/logstash-7.9.3/sync/foodie-items.sql"
        # 设置定时任务间隔  含义：分、时、天、月、年，全部为*默认含义为每分钟跑一次任务
        schedule => "* * * * *"
        # 索引类型
        type => "_doc"
        # 是否开启记录上次追踪的结果，也就是上次更新的时间，这个会记录到 last_run_metadata_path 的文件
        use_column_value => true
        # 记录上一次追踪的结果值
        last_run_metadata_path => "/usr/local/logstash-7.9.3/sync/track_time"
        # 如果 use_column_value 为true， 配置本参数，追踪的 column 名，可以是自增id或者时间
        tracking_column => "updated_time"
        # tracking_column 对应字段的类型
        tracking_column_type => "timestamp"
        # 是否清除 last_run_metadata_path 的记录，true则每次都从头开始查询所有的数据库记录
        clean_run => false
        # 数据库字段名称大写转小写
        lowercase_column_names => false
    }
}
output {
    elasticsearch {
        # es地址
        hosts => ["192.168.40.81:9200"]
        # 同步的索引名
        index => "foodie-items"
        # 设置 数据库主键itemId为es中的主键，这样就可以做到对数据的覆盖更新，而不是新增
        document_id => "%{itemId}"
    }
    # 日志输出
    stdout {
        codec => json_lines
    }
}

配置文件中jdbc_driver_library属性指定使用的mysql的jar包，所以上传自己的mysql的jar包到sync文件加（其他地方也可以，只要jdbc_driver_library的值指向jar包就行）

配置文件中statement_filepath属性是指定从数据库中读取数据的sql查询语句所在的文件：

在sync文件夹下创建foodie-items.sql文件，文件内容如下：

SELECT
    i.id as itemId,
    i.item_name as itemName,
    i.sell_counts as sellCounts,
    ii.url as imgUrl,
    tempSpec.price_discount as price,
    i.updated_time as updated_time
FROM
    items i
LEFT JOIN
    items_img ii
on
    i.id = ii.item_id
LEFT JOIN
    (SELECT item_id,MIN(price_discount) as price_discount from items_spec GROUP BY item_id) tempSpec
on
    i.id = tempSpec.item_id
WHERE
    ii.is_main = 1
    and
    i.updated_time >= :sql_last_value

mysql配置文件中的判断条件  i.updated_time >= :sql_last_value   就是时间字段增量更新的语句，变量 :sql_last_value 的值来自配置文件中的last_run_metadata_path属性指定的文件。这样就能做到每次运行都会获取上次任务执行结束以后的数据，:sql_last_value的值是数据库任务结束时最新数据的时间字段。

3、启动logstash

./logstash -f /usr/local/logstash-7.9.3/sync/logstash-db-es.conf

注意点：

  • 第一次数据同步之后，_doc结构（属性名称与类型）会自动生成，同时会多出一个字段@timestamp，@timestamp字段是logstash记录的入es库的时间。
  • mysql中的类型datatime，对应es的timestamp类型