分布式跟踪—SkyWalking

  • 基本介绍
  • 部署
  • 1. 安装
  • 2. 配置数据存储
  • .net core 集成Skywalking


基本介绍

在大型网站系统设计中，随着分布式架构，特别是微服务架构的流行，我们将系统解耦成更小的单元，通过不断的添加新的、小的模块或者重用已经有的模块来构建复杂的系统。随着模块的不断增多，一次请求可能会涉及到十几个甚至几十个服务的协同处理，那么如何准确快速的定位到线上故障和性能瓶颈，便成为我们不得不面对的棘手问题。

SkyWalking是一款APM（应用性能管理），包括了分布式追踪、性能指标分析、应用和服务依赖分析，用于追踪、监控和诊断大型分布式系统，尤其是容器和云原生下的微服务系统，解决分布式架构中复杂的服务定位和性能问题。

SkyWalking 逻辑上分为四部分: 探针, 平台后端, 存储和用户界面。整体架构图如下：

skylake架构 三个FMA单元 skywalking架构图_skylake架构 三个FMA单元


• 探针 基于不同的来源可能是不一样的, 但作用都是收集数据, 将数据格式化为 SkyWalking 适用的格式。

• 平台后端, 支持数据聚合, 数据分析以及驱动数据流从探针到用户界面的流程。分析包括 Skywalking 原生追踪和性能指标以及第三方来源，包括 Istio 及 Envoy telemetry , Zipkin 追踪格式化等。 你甚至可以使用 Observability Analysis Language 对原生度量指标 和 用于扩展度量的计量系统 自定义聚合分析。

• 存储 通过开放的插件化的接口存放 SkyWalking 数据. 你可以选择一个既有的存储系统, 如 ElasticSearch, H2 或 MySQL 集群(Sharding-Sphere 管理),也可以选择自己实现一个存储系统. 当然, 我们非常欢迎你贡献新的存储系统实现。

• UI 一个基于接口高度定制化的Web系统，用户可以可视化查看和管理 SkyWalking 数据

部署

1. 安装

SkyWalking的官网地址如下：Apache SkyWalking SkyWalking的github地址如下：GitHub - apache/skywalking: APM, Application Performance Monitoring System

SkyWalking按照部署首先需要从官网下载安装包 Downloads | Apache SkyWalking，目前SkyWalking已经更新至v9.0.0版本，以下示例基于此版本。

skylake架构 三个FMA单元 skywalking架构图_中间件_02


下载下来的安装包是.tar.gz格式的，使用以下命令进行解压

tar -zxf apache-skywalking-apm-9.0.0.tar.gz

skylake架构 三个FMA单元 skywalking架构图_分布式_03


进入解压后文件夹中的bin文件夹，可以看到启动文件

skylake架构 三个FMA单元 skywalking架构图_中间件_04


Linux 下执行 ./startup.sh 文件即可，下面可以看到SkyWalking 后端和界面两个应用已经成功启动。

skylake架构 三个FMA单元 skywalking架构图_微服务_05


如果是windows下，则执行startup.bat文件即可。启动后，SkyWalking 默认占用8080, 10800, 11800, 12800端口，其中8080端口是SkyWalking UI的端口，可以通过以下地址查看：http://localhost:8080/

skylake架构 三个FMA单元 skywalking架构图_skylake架构 三个FMA单元_06


如果存在端口冲突，可以通过安装目录下的webapp文件夹中的webapp.yml文件修改

skylake架构 三个FMA单元 skywalking架构图_微服务_07


至此，SkyWalking的基本部署就完成了。

2. 配置数据存储

SkyWalking默认存储使用H2,H2是嵌入式内存数据库，在开发测试中使用足够了，但在生产环境中应用不是很合适，所以SkyWalking运用于生产环境时，需要切换一下存储方式。

SkyWalking支持多种存储，这里就不使用elasticsearch了，笔记本配置不大行，使用MySql作为演示。

修改application.yml文件，找到其中的storage节点，将selector中默认的h2修改为mysql，这样skywalking将应用下面mysql的存储配置。

skylake架构 三个FMA单元 skywalking架构图_skylake架构 三个FMA单元_08


修改mysql节点的配置，将数据库地址、用户名、密码等改成你实际的配置，其他的配置根据需要修改。其中swtest是skywalking对于的库名，需要先创建好数据库。

skylake架构 三个FMA单元 skywalking架构图_分布式_09


由于SkyWalking默认使用h2，没有数据库驱动，所以需要下载相应的数据库驱动jar包。mysql数据库驱动jar包从以下地址进行下载，根据所使用的mysql版本选择对于的jar包。

MySQL :: Download MySQL Connector/J (Archived Versions)

skylake架构 三个FMA单元 skywalking架构图_分布式_10


将mysql数据库驱动jar包拷贝到SkyWalking安装目录下的oap-libs文件夹下。

skylake架构 三个FMA单元 skywalking架构图_微服务_11


之后切换到bin文件夹下启动SkyWalking即可。SkyWalking应用启动之后需要稍微等待一会，应用会初始化数据表。

skylake架构 三个FMA单元 skywalking架构图_分布式_12

.net core 集成Skywalking

关于.Net Core微服务应用与SkyWalking的集成，我在之前的Ocelot网关演示代码的基础上进行，之前Ocelot网关演示代码中有OcelotGateWay和CustomService两个Web Api应用，这里我先对OcelotGateWay进行集成，两个应用集成的步骤都是一样的，另一个只要重复一遍即可。

  1. 安装依赖包 SkyAPM.Agent.AspNetCore
    在vs中的程序包管理器控制台中执行以下命令：
Add-AppPackage SkyAPM.Agent.AspNetCore

或者直接在应用所在文件夹执行以下命令

dotnet add package SkyAPM.Agent.AspNetCore
  1. 生成SkyWalking Agent配置文件
    SkyWalking Agent程序需要一个 skyapm.json 配置文件，这个文件可以通过SkyAMP-dotnet的命令行工具生成，如下：
## 安装命令行工具
dotnet tool install -g SkyAPM.DotNet.CLI

## 生成配置文件
dotnet skyapm config {applicationName} {ip}:{port}

请将上面命令中的{applicationName}替换为你实际的项目名称，这个名称后续将作为skywalking监控中的应用名称，将 {ip}和{port}替换为你实际部署SkyWalking的端口和地址，其中端口是指SkyWalking GRpc服务的端口，默认端口是11800

skylake架构 三个FMA单元 skywalking架构图_微服务_13


注意检查以下添加后的 skyapm.json 文件的文件属性，将其设置为“如果较新则复制”。

生成的配置文件如下：

{
  "SkyWalking": {
    "ServiceName": "OcelotGateWay", // 当前应用的名称
    "Namespace": "", // 服务组
    "HeaderVersions": [
      "sw8"
    ],
    "Sampling": {
      "SamplePer3Secs": -1,
      "Percentage": -1.0
    },
    "Logging": {
      "Level": "Information",
      "FilePath": "logs\\skyapm-{Date}.log" // SkyWalking Agent日志位置
    },
    "Transport": {
      "Interval": 3000,
      "ProtocolVersion": "v8",
      "QueueSize": 30000,
      "BatchSize": 3000,
      "gRPC": {
        "Servers": "localhost:11800",　// SkyWalking服务端地址
        "Timeout": 10000,
        "ConnectTimeout": 10000,
        "ReportTimeout": 600000,
        "Authentication": ""
      }
    }
  }
}
  1. 设置环境变量
    SkyWalking Agent对应用代码无任何侵入，无需在项目中将任何配置代码，只需要设置一下环境变量即可。
    在测试的情况下，可以直接在launchSettings.json文件中添加环境变量：
"ASPNETCORE_HOSTINGSTARTUPASSEMBLIES": "SkyAPM.Agent.AspNetCore"

如果是正式环境部署，可以通过命令设置环境变量：

windows:

set ASPNETCORE_HOSTINGSTARTUPASSEMBLIES=SkyAPM.Agent.AspNetCore
set SKYWALKING__SERVICENAME=sample_app

Linux:

export ASPNETCORE_HOSTINGSTARTUPASSEMBLIES=SkyAPM.Agent.AspNetCore
export SKYWALKING__SERVICENAME=sample_app

如果一台机器有多个应用需要SkyWalking Aget进行监控，可以将应用的名称用分号分隔。

当然，可以通过代码在应用启动的时候设置环境变量，免去正式环境的额外配置。

skylake架构 三个FMA单元 skywalking架构图_微服务_14


CustomService的集成和OcelotGateWay一样，安装上述步骤配置好之后，设置两个项目同时启动。通过postman调用网关，可以看到SkyWalking web ui中已经获取到接口调用信息了

skylake架构 三个FMA单元 skywalking架构图_分布式_15


skylake架构 三个FMA单元 skywalking架构图_中间件_16


通过Trace也可以清楚的看到，请求先到了OcelotGateWay，OcelotGateWay调用了nacos，然后再掉用了CustomService所在的5000端口，而CustomService也监控到了Api的调用。

接下来，修改一下WeatherForecast接口手动抛出异常，模拟一下请求接口出错时的情形。

[HttpGet]
public IEnumerable<string> Get()
{
    throw new Exception("error");
    //return new[] { "cutsomer service" };
}

skylake架构 三个FMA单元 skywalking架构图_.net core_17


可以看到，Trace将调用流程中出错的地方标记了出来了。