一、不多的主机和不多的应用部署场景

用linux下的命令：tail，grep，cat，watch，awk，sed，less，sort，more，last，uniqu等

linux日志文件说明

/var/log/message 系统启动后的信息和错误日志，是Red Hat Linux中最常用的日志之一
/var/log/secure 与安全相关的日志信息
/var/log/maillog 与邮件相关的日志信息
/var/log/cron 与定时任务相关的日志信息
/var/log/spooler 与UUCP和news设备相关的日志信息
/var/log/boot.log 守护进程启动和停止相关的日志消息
/var/log/wtmp 该日志文件永久记录每个用户登录、注销及系统的启动、停机的事件

（一）如果日志在更新，如何实时查看

1、tail命令。-f 指定文件 -n 输出行数

tail -f /var/log/*.log -n 10

2、watch 命令。-d表示高亮不同的地方，-n表示多少秒刷新一次。

watch -d -n 1 cat /var/log/messages

该指令，不会直接返回命令行，而是实时打印日志文件中新增加的内容，
这一特性，对于查看日志是非常有效的。如果想终止输出，按 Ctrl+C 即可。

3、看所有的重启、关机记录

last | grep reboot

last | grep shutdown

4、less命令。对文件或其它输出进行分页显示的工具，比more更强大。

　　b 向后翻一页

　　d 向后翻半页

　　h 显示帮助界面

　　Q 退出less 命令

　　u 向前滚动半页

　　y 向前滚动一行

　　空格键 滚动一行

　　回车键 滚动一页

　[pagedown]： 向下翻动一页

　[pageup]： 向上翻动一页

二、多服务器、多应用部署场景的分布式系统日志监控

ELKstack 中文指南

ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。

ELK Stack 在最近两年迅速崛起，成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。和传统的日志处理方案相比，ELK Stack 具有如下几个优点：

  • 处理方式灵活。Elasticsearch 是实时全文索引，不需要像 storm 那样预先编程才能使用；
  • 配置简易上手。Elasticsearch 全部采用 JSON 接口，Logstash 是 Ruby DSL 设计，都是目前业界最通用的配置语法设计；
  • 检索性能高效。虽然每次查询都是实时计算，但是优秀的设计和实现基本可以达到全天数据查询的秒级响应；
  • 集群线性扩展。不管是 Elasticsearch 集群还是 Logstash 集群都是可以线性扩展的；
  • 前端操作炫丽。Kibana 界面上，只需要点击鼠标，就可以完成搜索、聚合功能，生成炫丽的仪表板。

 

libbeat，该Go库包含了所有beats公共部分来处理任务。beats是一个代理，将不同类型的数据发送到elasticsearch。beats可以直接将数据发送到elasticsearch，也可以通过logstash 将数据发送elasticsearch。

beats有三个典型的例子：Filebeat、Topbeat、Packetbeat。Filebeat用来收集日志，Topbeat用来收集系统基础设置数据如cpu、内存、每个进程的统计信息，Packetbeat是一个网络包分析工具，统计收集网络信息。架构图如下：



转载于:https://blog.51cto.com/lvhailong/1904444