logstash ES 中文乱码 logstash中文文档

转载

mob6454cc78d412 2024-04-26 16:17:10

文章标签 logstash ES 中文乱码 Logstash elastic java elasticsearch 文章分类 架构后端开发

Logstash官方文档中文版

由于目前需要对日志做一些处理，所以用Logstash这种轻量级框架比较合适，数据量不太大的情况下是非常合适的，以后数据量加大再考虑Hive等。国内的Logstash文档比较少，而且版本都比较低，所以，我根据官方文档翻译了一下。主要内容如下：

安装Logstash
开始使用Logstash：第一个例子
选择一个合适的Logstash管道
停止关闭检测
Logstash处理管道

一安装Logstash

　　要使用Logstash，需要Java7以后的环境，所以，首先你需要下载对应的JDK环境（我是在虚拟机ubuntu中使用的）。

检查你的java版本，运行下面的命令：

java -version

如果你正确安装java环境，那么会出现如下的输出结果：

java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)

二下载压缩包安装Logstash

　　安装Logstash环境，需要下载对应系统的压缩包，然后解压文件。不要将Logstash安装到目录名包含冒号（：）字符的文件夹中。

三从资源包中安装

　　Logstash提供了使用APT和YUM安装的方式，要注意的是这种方式只提供了二进制包，没有源代码包，包是作为Logstash构建的一部分创建的。

　　我们的Logstash包存储库的版本分割成单独的url,以避免意外在或大或小的版本升级。

我们使用PGP D88E42B4，Elastic的签名密钥和指纹

4609 5ACC 8548 582C 1A26 99A9 D27D 666C D88E 42B4

签署我们所有的包，具体详情见：https://pgp.mit.edu

APT

下载并安装公钥：

wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

将库的配置添加到你的/etc/apt/sources.list文件中：

echo "deb https://packages.elastic.co/logstash/2.3/debian stable main" | sudo tee -a /etc/apt/sources.list

警告：使用上面的echo方法添加配置。不使用add-apt-repository也会添加deb-src条目，但我们不提供源码包。如果你添加了deb-src条目，你将看到一个错误：
Unable to find expected entry 'main/source/Sources' in Release file (Wrong sources.list entry or malformed file)
你只需要删除deb-src条目从你的/etc/apt/sources.list文件中，这样你就能正常工作了。

运行sudo apt-get update准备使用Logstash，你可以运行下面这条命令：

sudo apt-get update && sudo apt-get install logstash

YUM

下载并安装公钥：

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

添加下面的配置到你的/etc/yum.repos.d/目录下的一个a.repo后缀的文件中，例如：
logstash.repo

[logstash-2.3]
name=Logstash repository for 2.3.x packages
baseurl=https://packages.elastic.co/logstash/2.3/centos
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

接下来安装使用，使用下面的命令：