flyway简单入门flyway是一款数据库版本管理工具1. 工作原理flyway通过历史记录表(flyway_schema_history)来记录版本历史。每次随项目启动时将会自动扫描在resources/db/migration下的文件，并查询flyway_schema_history判断是否为新增文件？如果是新增的文件，则执行该迁移文件如果不是，则忽略该文件flyway_schema_his
转载
2024-09-24 10:10:43
145阅读
在线上项目中,需要统计产品中用户行为和使用情况，从而可以从用户和产品的角度去了解用户群体，从而升级和迭代产品，使其更加贴近用户。用户行为数据可以通过前端数据监控的方式获得，除此之外，前端还需要实现性能监控和异常监控。性能监控包括首屏加载时间、白屏时间、http请求时间和http响应时间。异常监控包括前端脚本执行报错等。实现前端监控有三个步骤：前端埋点和上报、数据处理和数据分析。本文针对整个前端监控
转载
2024-05-29 06:47:22
241阅读
# Java 手动埋点
在软件开发过程中，我们经常需要对应用程序进行性能监控、错误跟踪和用户行为分析等操作。其中，手动埋点技术就是一种常用的方法，通过手动在代码中埋点的方式，记录应用程序的运行状态和用户操作行为，以便后续分析和优化。
## 什么是手动埋点
手动埋点是指在代码中显式地插入记录日志、性能指标、用户操作等信息的代码片段。通过手动埋点，开发者可以自定义需要监控的点和信息，灵活地对应用
原创
2024-02-23 05:00:48
42阅读
前言skywalking是业界比较常用的一款APM监控工具，采用java开发，对java应用适配比较好，应用不需要埋点上报，只需要在启动时加上 -javaagent: 参数即可。而对于go应用想要上报指标到skywalking，则需要通过埋点的方式注入。skywalking官方提供了golang版的库github.com/SkyAPM/go2sky安装skywalking使用docker-comp
转载
2024-04-18 12:03:20
655阅读
前言 本来是不想自己开发视频弹幕的接口的,但是作为一位阿宅,还是要不忘初心的好.现在流媒体网站肯定还是要和弹幕挂钩才能显示逼格.作为一名不太合格的非二次元开发者，DPlayer的作者确实是吾辈所敬仰的对象.效果图: 正文:弹幕接口 
转载
2024-03-04 12:14:26
106阅读
目录1. Skywalking概述2. Skywalking主要功能3. Skywalking主要特性4. Skywalking架构简介5. Spring Cloud与Skywalking实战5.1 Skywalking部署构建5.3 Spring Cloud整合Skywalking实战1. Skywalking概述Skywalking与2016年11月2日由国人吴晟在Github上传v1.0版本
转载
2024-05-24 15:18:51
38阅读
作者介绍杭州@阿坤母婴电商行业数据分析师兼数据产品经理；致力于研究电商行业的数据驱动增长，以及数据产品从0到1的搭建；“数据人创作者联盟”成员，“最佳创作奖”获得者。前言在上一篇文章数据人该知道的埋点体系（一）中主要介绍了埋点的数据从产生到使用的数据流转体系以及如何来设计埋点。接下来在本文我来介绍埋点的开发流程和埋点数据的使用。03 埋点开发流程1.埋点SDK由于我们的埋点是采用代码埋点
转载
2024-05-11 16:44:41
132阅读
背景在开源分布式追踪监控领域，可选的调研对象还是比较多的。Zipkin、Pinpoint、CAT。这些都是在行业内关注度比较高的几个项目。Skywalking，相比这三个前辈，属于后来者，它同时吸收了Zipkin/Pinpoint/CAT的设计思路，支持非侵入式埋点。是一款基于分布式跟踪的应用程序性能监控系统，目前也已经被apache列入孵化项目。另外社区还发展出了一个叫OpenTracing的组
转载
2024-04-03 21:51:37
131阅读
一、Skywalking概述1、Skywalking介绍官网：博客 | Apache SkyWalkingSkywalking是一个国产的开源框架，2015年有吴晟个人开源，2017年加入Apache孵化器，国人开源的产品，主要开发人员来自于华为，2019年4月17日Apache董事会批准SkyWalking成为顶级项目，支持Java、.Net、NodeJs等探针，数据存储支持Mysql、Elas
转载
2023-10-24 10:32:17
208阅读
1 概述Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务，外部依赖仅Zookeeper。2 核心理念分布式调度
Elastic-Job-Lite并无作业调度中心节点，而是基于部署作业框架的程序在到达相应时间点时各自触发调度。注册中心仅用于作业注册和监控信息存储。而主作业节点仅用于处理分片和清理等功能。作业高可用
Elastic-Job-L
本文作者 杨运心头图来自Carlos Muza[1] on Unsplash[2] 1、前言 开始正文前先介绍一下相关概念，熟悉的读者可以略过。前端埋点：一种收集产品数据的方式，它的目的是上报相关行为数据，相关人员以数据为依据来分析产品在用户端的使用情况，根据分析出来的结果辅助产品优化、迭代。BI：商业智能，公司内部做数据分析相关的部门。 2、背景 在流量红利逐渐消失的现在，数据的采集、分析和精细
转载
2024-06-18 22:43:34
114阅读
目前prometheus采集数据一般有两种方式，一种是采用第三方已经开发完成的各类集成exporter，去获取相关的指标(Metric)数据；一种是采用项目埋点的方式去自定义指标，然后通过prometheus去采集。大致情况如下：第三方exporter  
转载
2024-09-27 08:53:27
330阅读
目录1 什么是skyWalking 2 环境和项目准备3 项目环境启动4 skyWalking展示4.1 仪表盘，拓扑图、追踪 4.2 追踪TraceId5 忽略指定的端点6 SkyWalking告警功能1 什么是skyWalking &
转载
2024-03-27 00:04:54
1015阅读
Lucene实现全文检索的流程
① 绿色表示索引过程，对要搜索的原始内容进行索引构建一个索引库，索引过程包括： 确定原始内容即要搜索的内容à采集文档à创建文档à分析文档à索引文档② 红色表示搜索过程，从索引库中搜索内容，搜索过程包括： 用户通过搜索界面à创建查询à执行搜索，从索引库搜索引擎渲染搜索结果引入核心依赖lucene核心及其依赖<
转载
2024-06-20 20:05:25
58阅读
SpringBoot + MongoDB GridFS随着web 3.0的兴起，数据的形式不局限于文字，还有语音、视频、图片等。高效存储与检索二进制数据也成为web 3.0必须要考虑的问题。然而这种二进制数据是不适合存储在普通关系型数据库(MySQL、Oracle)中的，关系型数据库更多的是存储图片的访问路径。因此二进制数据可以使用MongoDB的内置模块GridFS进行检索与存储，也是一种比较好
转载
2024-07-16 15:15:44
64阅读
前言前面一节我们详细介绍了SpringBoot，并简单创建了一个SpringBoot项目跑起来，使用起来真的很爽！但是我这个人很喜欢追根究底，就一直很纠结SpringBoot是施了什么 “魔法” 让我们的操作变得如此简单？啥配置都不用配了，总该有个道理吧？ 因此，本节主要就是带着大家来探一探究竟，深入SpringBoot启动的原理！常用注解[Spring的Java配置]在讲解SpringBoot启
转载
2024-09-06 10:21:32
74阅读
介绍Micrometer 为 Java 平台上的性能数据收集提供了一个通用的 API，应用程序只需要使用 Micrometer 的通用 API 来收集性能指标即可。Micrometer 会负责完成与不同监控系统的适配工作。这就使得切换监控系统变得很容易。Micrometer 还支持推送数据到多个不同的监控系统。在Springboot 2.X中，除了通过业务代码的方式埋点，官方也提供了@Timed，
转载
2023-08-26 02:36:16
355阅读
作为国内最大分类信息生活服务平台，58集团旗下各个产品都会投入大量人力进行用户行为的分析，来提升运营效率。但是各个产品对用户行为的分析需求基本是相似的。在这样的背景下，我们自研了WMDA 无埋点用户行为分析平台，并提供对PC、M、APP三端支持，帮助各个业务线更好的挖掘用户真实行为。对于SDK的使用，业务方不需要手动埋点，几行代码，即可实现数据的全量采集。对于移动端SDK来说，采集数据的
转载
2024-08-22 14:13:21
13阅读
如题，也许有人觉得做这个有点多此一举，但是个人感觉这个的必要性还是有的。不为别的就为了省那么几秒中的查找时间。总体对微服务开发调试上就会有一些微小的提升那也是方便开发小伙伴的一种优化，好的框架就是这么一点一滴的优化过来的。废话不多说，先谈谈总体思路最后给个实现。 1、首先要对头部进行操作我们可以在拦截器或者过滤器中动手脚 2、需要获取到skywalking的服务地址以及traceId 思路就是这两
转载
2024-04-26 11:38:29
36阅读
感悟：说起spring就会想起其中的springboot其是为了简化spring应用的初始搭建以及其的初始搭建，其中最著名的是其摒弃了xml的开发，那么如何摒弃的，因此就要引出我想讲述的重点：自动配置：意义：当springboot项目启动时，会加载配置类和属性类其中配置类的作用是：将一些核心的组件交由工厂管理，配置类中使用了属性类进行属性注入，而属性类又会读取到配置文件中的配置，使得springb
转载
2024-06-05 14:08:26
65阅读
