我们上一节谈了kafka当前的定位问题，kafka不再是一个单纯的消息引擎系统，而是能够实现精确一次(exactly-once)语义处理的实时流平台。我们到目前为止所说的kafka都是Apache kafka。kafka是Apache社区的一个顶级项目，如果我们把视角从流处理平台扩展到流处理生态圈，kafka其实还有很长的路要走，毕竟是半路出家转型成流处理平台的。前面我们提到过kafka stre
Skywalking是什么SkyWalking 是一个基于 OpenTracing 规范的、开源的APM应用程序性能监控系统（Application Performance Monitoring） 它是专门为微服务架构以及云原生架构而设计的，从 SkyWalking 6.0 开始，SkyWalking 将自身定义为一个观测性分析平台（Observability Analysis Platform）
转载
2024-05-17 03:17:27
186阅读
一、背景介绍近一年内对公司的 ELK 日志系统做过性能优化，也对 SkyWalking 使用的 ES 存储进行过性能优化，在此做一些总结。本篇主要是讲 ES 在 ELK 架构中作为日志存储时的性能优化方案。ELK 架构作为日志存储方案 ELK日志架构.png
二、现状分析1. 版本及硬件配置JDK：JDK1.8_171-b11 (64 位)ES集群：由3台16核32G的虚拟机部署 ES
转载
2024-10-28 11:41:48
484阅读
链路追踪：指一次任务的开始到结束，期间调用的所有系统及耗时都可以完整的记录下来。一、Sleuth 1. 功能 A. 链路追踪：查看一个请求经过了哪些服务及服务之间调用关系； B. 性能分析：查看每个采样请求的耗时情况，对耗时长的进行处理； C. 数据分析，优化链路：对服务频繁调用、并发高的进行业务优化； D. 可视化错误：对于程序未捕获的异常，结合zipkin查看。 2
转载
2024-03-22 11:58:55
1297阅读
Skywalking部署Skywalking简单介绍Skywalking是一个应用性能管理(APM)分布式链路跟踪系统，具有服务器性能监测，应用程序间调用关系及性能监测等功能，Skywalking分为服务端、管理界面、以及嵌入到程序中的探针部分，由程序中的探针采集各类调用数据发送给服务端保存，在管理界面上可以查看各类性能数据。本文介绍服务端及管理界面的安装。官方部署架构图部署Skywalking部
转载
2024-05-29 12:11:04
177阅读
微服务治理 1
链路追踪 对于一个大型的几十个，几百个微服务构成的微服务架构系统，通常会遇到下面的一系列问 题。 1. 如何串联整个调用链路，快速定位问题？ 2. 如何澄清各个微服务之间的依赖关系？ 3. 如何进行各个微服务接口的性能分析？ 4. 如何追踪各个业务流程的调用处理顺序？ SkyWalking
介绍 Skywalking 是分布式系统的应用程序性能监视工
转载
2024-05-10 03:58:21
788阅读
SkyWalking 是观察性分析平台和应用性能管理系统。提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。特性：多种监控手段，语言探针和service mesh多语言自动探针，Java，.NET Core和Node.JS轻量高效，不需要大数据模块化，UI、存储、集群管理多种机制可选支持告警优秀的可视化方案Skywalking 技术架构 整个系统分为三部分：agent：
转载
2024-06-30 16:26:09
101阅读
本文主要基于 SkyWalking 3.2.6 正式版1. 概述2. SkyWalkingAgent3. SnifferConfigInitializer3.1 Config3.2 RemoteDownstreamConfig4. Plugin4.1 PluginBootstrap4.2 PluginFinder5. ServiceManager5.1 BootService1. 概述本文主要分享
随着微服务架构的流行，一次请求往往需要涉及到多个服务，因此服务性能监控和排查就变得更复杂。APM因此而生。目前，市面上的APM服务端已经有了非常多的实现。比如Zipkin、Jaeger、SkyWalking、Elastic APM等（Pinpoint并不支持OpenTracing，所以我们不介绍）。本教程仅提供一些开发思路，对技术要求较高，因为大部分需要涉及到对相应组件源码的理解。全部源码都可以在
目录一、监控概述二、监控的维度三、prometheus监控简介四、prometheus监控术语五、监控方法论一、监控概述 监控是衡量和管理技术系统的工具和流程，将监控对象生成的指标转化为对应的业务价值，为业务提供依据支撑，提升应用强壮性或预测性，提升应用服务质量二、监控的维度1） 业务监控
转载
2024-04-30 20:29:55
1199阅读
APM 系统APM (Application Performance Management) 即应用性能管理系统，是对企业系统即时监控以实现对应用程序性能管理和故障管理的系统化的解决方案。应用性能管理，主要指对企业的关键业务应用进行监测、优化，提高企业应用的可靠性和质量，保证用户得到良好的服务，降低IT总拥有成本。 APM 系统是可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候，能
转载
2024-05-31 07:34:53
45阅读
模块栏目仪表盘：查看被监控服务的运行状态拓扑图：以拓扑图的方式展现服务直接的关系，并以此为入口查看相关信息追踪：以接口列表的方式展现，追踪接口内部调用过程性能剖析：单独端点进行采样分析，并可查看堆栈信息告警：触发告警的告警列表，包括实例，请求超时等。自动刷新：刷新当前数据内容（我这好像没有自动刷新）仪表盘控制栏第一栏：不同内容主题的监控面板，应用/数据库/容器等第二栏：操作，包括编辑/导出当前数据
转载
2024-04-07 12:09:24
588阅读
kafka和spark总结本文涉及到的技术版本号：scala 2.11.8kafka1.1.0spark2.3.1kafka简介kafka是一个分布式流平台，流媒体平台有三个功能发布和订阅记录流以容错的持久化的方式存储记录流发生数据时对流进行处理kafka通常用于两大类应用构件在系统或应用程序之间可靠获取数据的实时数据管道构件转换或响应数据流的实时流应用程序kafka的几个概念kafka运行在集群
转载
2023-08-27 22:00:17
125阅读
前言在微服务架构中，一次请求往往涉及到多个模块，多个中间件，多台机器的相互协作才能完成。这一系列调用请求中，有些是串行的，有些是并行的，那么如何确定这个请求背后调用了哪些应用，哪些模块，哪些节点及调用的先后顺序？如何定位每个模块的性能问题？本文将为你揭晓答案。本文将会从以下几个方面来阐述分布式追踪系统原理及作用SkyWalking的原理及架构设计我司在分布式调用链上的实践分布式追踪系统的原理及作用
转载
2024-09-18 11:55:42
66阅读
介绍SkyWalking为超大规模而生。无论你的微服务是否在服务网格（Service Mesh）架构下，它都可以提供高性能且一致性的监控。分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器(Docker. K8s、Mesos)架构而设计。提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。产生背景 在微服务系统中，随着业务的发展，系统会变得越来越大，那么各个服务之间的
转载
2024-04-21 08:16:22
157阅读
文章目录一、Kafka和ActiveMQ基本对比二、从消费模式看activemq与kafka三、应用场景总结 我们知道，在大数据开发过程中我们经常会使用到消息队列类型的组件。消息队列中间件主要用来实现异步消息、应用解耦、流量削峰等功能。那么，业务中常见的就是Kafka与ActiveMQ。同为消息中间件，二者的区别究竟在哪里，今天我们就做一个简单的对比。。 一、Kafka和ActiveMQ基本对
转载
2024-06-24 08:18:01
89阅读
首先要知道的是skywalking的原理 ,为什么可以实现对程序完全没有侵入性,了解字节码增强,引申出java的动态代理 以及其他使用动态代理的框架 下面来说配置skywalking 分为agent,collector ,webui 后台数据可以传入es ,h2,或m
转载
2024-05-28 09:12:48
113阅读
文章目录前言正文实现架构实现模型OAP 同步 ApolloConfigWatcherRegisterConfigChangeWatcherAgent 侧 前言本文代码 OAP 基于 v9.7，Java Agent 基于 v9.1，配置中心使用 apollo。看本文需要配合代码“食用”。正文Skywalking 中就使用这种模型实现了 Agent 同步Apollo 配置，本文介绍下提供的功能以及代
转载
2024-11-02 11:32:55
235阅读
第 5 章 Kafka producer 拦截器(interceptor)5.1 拦截器原理
Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的，主要用于实现 clients 端的定
制化控制逻辑。
对于 producer 而言，interceptor 使得用户在消息发送前以及 producer 回调逻辑前有
转载
2024-09-24 16:09:15
71阅读
skynet 的 C API 采用异步读写，你可以使用 C 调用，监听一个端口，或发起一个 TCP 连接。但具体的操作结果要等待 skynet 的事件回调。skynet 会把结果以 PTYPE_SOCKET 类型的消息发送给发起请求的服务。（参考skynet_socket.h）在处理实际业务中，这样的 API 很难使用，所以又提供了一组阻塞模式的 lua API 用于 TCP
