1.对日志系统架构有学习热情
2.想学习Rsyslog，ELK，Kafka，Hangout等组件的系统运维工程师或大数据开发人员
3.如果你在学习了诸如ELK等一些流行日志框架之后，想知道如何在适合自己的场景中使用他们
4.已经对日志系统有初步了解，想要深入学习相关知识的人员
5.如果你是一个DevOps

1.本专栏为图文专栏，共计18篇
2.专栏定期更新，更新频率为每周1-2篇，现已更新完结
3.专栏一经订阅永久阅读， 可与作者留言互动
4.本专栏为虚拟产品，一经订阅，概不退款，请慎重订购
5.专栏阅读过程中，如有任何问题请联系51CTO小助手(微信:cto51boke/QQ:3591348659)

1.掌握日志组件
2.从零构建日志系统
3.Rsyslog，Kafka，Elk

• 序：日志在企业运维中的重要性

  在我们踏上这条路之前，看看这条路的“路基”——日志。

• 1.常见企业日志系统架构介绍与数据驱动运维的实践

  从最简单的日志架构开始，介绍各种不同场景下的日志架构，并分析其在不同场景下的特点或问题

• 2.一个实例讲解日志收集与解析的利器：Rsyslog

  先讲一个Rsyslog日志处理的实例，帮助我们有一个整体的印象

• 3.Rsyslog的基础概念之属性、template、与RainerScript

  本章帮助我们整体了解下Rsyslog的一些基础概念

• 4.Rsyslog的输出与输入模块详解

  Rsyslog的配置主要由输入、解析、输出三部分组成。

• 5.Rsyslog的解析模块详解与如何构建自己的日志解析

  本篇主要介绍几个Rsyslog解析模块

• 6.Rsyslog进阶：内部队列机制与如何监控Rsyslog

  Rsyslog内部也存在队列机制，它的作用是为了解决各部分的耦合问题，对上下游数据传输进行容错处理，保证数据的安全性

• 7.使用Plog与Rsyslog构建日志分析数据管道

  本篇主要介绍一个日志解析组件Plog。 另外补充一些有关Rsyslog测试的内容。

• 8.实战：使用Rsyslog、Plog、Zabbix、statsD构建实时监控系统

  本篇我们主要关注一个示例，通过这个示例我们可以更深入的理解rsyslog在实际工作中如何与statsD配合，构建业务接口的监控系统。

• 9.日志传输的异步化之路：为什使用Kafka解耦

  本篇主要介绍两部分内容，这两部分内容相对于之前的几篇会轻松一些，更偏向于观念的建立与概念的理解。

• 10.Kafka、Zookeeper介绍与构建数据订阅系统

  本篇内容主要讲一下Kafka与Zookeeper的搭建过程

• 11.Elasticsearch写入组件的选择：Logstash，Rsyslog，Hangout

  本篇内容主要对比一下几个常用的日志处理组件的优缺点和适用场景

• 12.实战：Rsyslog，Kafka，Hangout与Elasticsearch构建日志监控系统

  本篇简单介绍一下Hangout的Java源码以及扩展方式。同时讲解一个通过Hangout收集日志的示例。

• 13.Elasticsearch的监控与核心基础概念refresh&flush&translog详解

  本篇主要讲解几个Elasticsearch基本概念，同时介绍一下Elasticsearch的监控方式。

• 14.实战：Elasticsearch几个场景下的调优与问题排查

  本篇主要关注两个问题：如何压测Elasticsearch，以及Elasticsearch写入场景下的问题排查。

• 15.Elasticsearch权限管理的开源解决方案：search-guard详解

  本篇主要讲解一下Elasticsearch一个开源权限管理工具Search-guard。

• 16.实战：如何通过服务日志构建服务链路监控系统

  本篇主要关注一个实例，如何通过服务日志构建链路监控。主要在于为大家提供一种思路。同时讲一下Kibana的timelion相关的内容。

• 17.终章与回顾

  本篇主要内容为对之前内容的总结以及我个人在做专栏时的一些感悟