IT实战联盟博客：http://blog.100boot.cn/

背景

开发排查系统问题用得最多的手段就是查看系统日志，在分布式环境中一般使用ELK来统一收集日志，但是在并发大时使用日志定位问题还是比较麻烦，我们来看下面的图

「转载」微服务分布式架构中，如何实现日志链路跟踪？_微服务

 

 

上图一个用户请求一个url，整个链路如图，每个处理层都会产生日志，那我们如何把这些日志串在一些，形成一个请求全路径日志。

在现有的系统中，由于大量的其他用户/其他线程的日志也一起输出穿行其中导致很难筛选出指定请求的全部相关日志。那我们如何来处理呢？

解决思路

我们可以把每个请求弄一个唯一标识，然后我们可以在日志打印的时候代上每个请求都使用一个唯一标识，而且那个唯一标识需要传递给下游服务，下游服务打印日志的时候也带上这个唯一标识，这样就很好的追踪全部的链路显示在日志中。

那技术实现方案是什么呢？我们应该尽可能的对代码无入侵，使用Logback的MDC机制日志模板中加入traceId标识，取值方式为%X{traceId}。

什么是MDC

MDC（Mapped Diagnostic Context，映射调试上下文）是 log4j 和 logback 提供的一种方便在多线程条件下记录日志的功能。MDC 可以看成是一个与当前线程绑定的Map，可以往其中添加键值对。

MDC 中包含的内容可以被同一线程中执行的代码所访问。当前线程的子线程会继承其父线程中的 MDC 的内容。当需要记录日志时，只需要从 MDC 中获取所需的信息即可。MDC 的内容则由程序在适当的时候保存进去。对于一个 Web 应用来说，通常是在请求被处理的最开始保存这些数据。

方案实现

由于MDC内部使用的是ThreadLocal所以只有本线程才有效，子线程和下游的服务MDC里的值会丢失；所以方案主要的难点是解决值的传递问题，主要包括以几下部分：

  • API网关中的MDC数据如何传递给下游服务
  • 服务如何接收数据，并且调用其他远程服务时如何继续传递
  • 异步的情况下(线程池)如何传给子线程
修改日志模板

logback配置文件日志格式添加该标识

「转载」微服务分布式架构中，如何实现日志链路跟踪？_微服务_02

 

网关添加过滤器

此过滤器就是来解决网关如何把MDC的数据传递给下游服务

生成traceId并通过header传递给下游服务

「转载」微服务分布式架构中，如何实现日志链路跟踪？_微服务_03

 

上面代码有个MDC是属于org.slf4j.MDC中的，下面就是常量的值

/**
* 日志链路追踪id信息头
*/
String TRACE_ID_HEADER = "x-traceId-header";
/**
* 日志链路追踪id日志标志
*/
String LOG_TRACE_ID = "traceId";
下游服务增加spring拦截器

接收并保存traceId的值

「转载」微服务分布式架构中，如何实现日志链路跟踪？_微服务_04

 

下游服务增加feign拦截器

继续把当前服务的traceId值传递给下游服务

「转载」微服务分布式架构中，如何实现日志链路跟踪？_微服务_05

 

解决父子线程传递问题

主要针对业务会使用线程池(异步、并行处理)，并且spring自己也有@Async注解来使用线程池，要解决这个问题需要以下两个步骤:

重写logback的LogbackMDCAdapter

由于logback的MDC实现内部使用的是ThreadLocal不能传递子线程，所以需要重写替换为阿里的TransmittableThreadLocal

TransmittableThreadLocal 是Alibaba开源的、用于解决 “在使用线程池等会缓存线程的组件情况下传递ThreadLocal” 问题的 InheritableThreadLocal 扩展。若希望 TransmittableThreadLocal 在线程池与主线程间传递，需配合TtlRunnable和TtlCallable使用。

「转载」微服务分布式架构中，如何实现日志链路跟踪？_微服务_06

 

其他代码与ch.qos.logback.classic.util.LogbackMDCAdapter一样，只需改为调用copyOnInheritThreadLocal变量

TtlMDCAdapterInitializer类用于程序启动时加载自己的mdcAdapter实现

「转载」微服务分布式架构中，如何实现日志链路跟踪？_微服务_07

 

扩展线程池实现

增加TtlRunnable和TtlCallable扩展

「转载」微服务分布式架构中，如何实现日志链路跟踪？_微服务_08

 

「转载」微服务分布式架构中，如何实现日志链路跟踪？_微服务_09

 

场景测试

测试代码如下

log.info("测试")


@Async
public void test(){
  log.info("测试1")
}


userService.findByUserName("gu")

api网关打印的日志

「转载」微服务分布式架构中，如何实现日志链路跟踪？_微服务_10

 

ELK聚合日志通过traceId查询整条链路日志

当系统出现异常时，可直接通过该异常日志的traceId​的值，在日志中心中询该请求的所有日志信息，类似下图

「转载」微服务分布式架构中，如何实现日志链路跟踪？_微服务_11

 

总结

到此分布式的日志跟踪就已经完成了，这样就很好的可以排查整个微服务的日志链路，谢谢！！！

---End---

相关链接