kafka消息是通过主题来进行组织和区分的，每个主题有分为零个或多个分区，分区数量可以在创建时指定也可以后期修改，不过修改只能增加不能删除，每个分区又有一个或多个副本，副本中会有一个副本被选做Leader副本，该副本对外提供读写操作，其他副本则是Follower。生产者发送消息到Leader副本的代理节点上，Follower副本从Leader同步数据。分区的每个副本对应到一个Log对象，每个Log
转载
2024-03-02 09:05:16
58阅读
使用Nest CLI设置新项目非常简单 。只需确保 安装了npm，然后在OS终端中使用以下命令：$ npm i -g @nestjs/cli
$ nest new project-name
$ cd project
$ npm install
$ npm run start生成的文件如下:prettier是一个格式化工具, 强制规范代码格式 , 比如 JSON最后一行是否允许带逗号, 用单引号还是
转载
2024-03-15 05:07:51
142阅读
如果需要winston作为日志工具可以参看下面仓库 nest.js的服务端的仓库地址： https://github.com/yufengctbu/nest-service.git （目前还在整理中）1、安装yarn add log4js -S2、配置 a、创建日志模块// 创建日志模块
nest g module /lib/log4js
// 在log
转载
2024-01-02 10:59:20
115阅读
NodeJS写日志_Log4js使用详解+常见困难的解决 复制代码
今天和大家分享一下NodeJS中写日志的一个常用第三方包:Log4js. 跟随主流Blog特色,先简单介绍下Log4js的基本信息.介绍Log4js之前,需要先说一下Log4***,Log4***是由Apache提供的多平台下多语言下日志书写扩展包,目的很简单就是使日志书写更加方便简洁,同时对不同的业务日志能
转载
2024-10-31 20:47:09
44阅读
一、加载mysql2、typeorm、@nestjs/typeorm为什么使用三个插件？typeorm 是一个 TypeScript ORM（对象关系映射）框架，它提供了一种将对象模型映射到关系型数据库中的方法，以及提供了对 SQL 和 NoSQL 数据库的支持。同时，typeorm 还提供了一些高级特性，如事务处理、缓存、延迟加载等功能，使开发者可以更加方便地进行数据库操作。 @nestjs/t
第一次写node项目，之前除了前端的脚手架构建接触过一些简单的，所以总是碰到很多坑。比如权限验证，比如异常处理，比如日志管理。 在看log4js使用方法的时候突然想到自己就可以实现简单的业务，不需要借助组件，虽然简单但是实现了挺开心的。为什么需要日志管理自己的node项目写了一段时间了，但一直没有加上日志管理的功能，因为觉得没必要，很多时候都是在自己电脑上面调试的。 但突然有一天在线上访问自己的项
转载
2024-07-27 11:59:10
58阅读
所有的微服务都需要做服务治理服务治理包括（配置中心、服务发现、注册服务等等），常见的包括 Java 的 Nacos，这里不关注与服务治理，只说明，如何用 nest 网关，并且在网关层动态实现微服务注入nestjs 官网的案例明显是偏向于手动注册微服务的，例如：/** Model */
@Module({
imports: [
/** Model 中使用并注册 */
Clients
转载
2024-08-21 15:04:39
251阅读
在日常开发中，我们总会使用到restful接口调用，而我们在开发的过程中，我们总是希望统计出我们的接口在使用时入参的情况和回参（响应的情况），为此，我设计了一个中间件来统计接口的调用情况。第一步：创建中间件RunLogMiddleware（运行日志中间件）命令行运行php artisan make:middleware RunLogMiddleware运行成功后，会在App\Http\Middle
1，laravel中间件介绍HTTP 中间件为过滤进入应用的 HTTP 请求提供了一套便利的机制。例如，Laravel 内置了一个中间件来验证用户是否经过授权，如果用户没有经过授权，中间件会将用户重定向到登录页面，否则如果用户经过授权，中间件就会允许请求继续往前进入下一步操作。当然，除了认证之外，中间件还可以被用来处理更多其它任务。比如：CORS 中间件可以用于为离开
NestJS 下配置信息与环境变量参考文章 []1.背景项目目前是一套, 配置化写死的, 由于做的一个日志系统导致现在有些问题,需要配置信息代码化.总而言之,需要进行整合获取不同的配置.
获取配置的方式:
- 硬代码，直接写死。- ❌ 可维护性低
- 写死在ts文件，例如config/app.ts中。 - ❌ 无法区分环境进行配置
- 直接读取.env文件。 - ❌ 虽然解决了环境变量问题但
转载
2024-03-26 12:47:30
156阅读
目录：1.日志格式划分 1.1 v0 版本 1.2 v1 版本 1.3 v2 版本2. 各个版本消息格式变更 2.1 v0 版本 2.2 v1 版本 2.3 v2 版本3. v0 与 v1 的日志压缩4. 日志在磁盘上的组织形式 4.1 日志存放目录 4.2 索引文件
转载
2024-02-04 01:20:36
79阅读
Kafka -- 日志存储日志文件目录日志索引偏移量索引时间戳索引日志清理日志删除基于时间基于日志大小基于日志起始偏移量日志压缩 日志文件目录Kafka 中的消息以主题为单位进行基本归类，而每个主题又可以划分为一个或者多个分区。在不考虑多副本的情况下，每个分区对应一个日志 Log。为防止日志过大，Kafka 又引入了日志分段 LogSegment 的概念，即将大的日志文件均分为多个较小的文件，便
转载
2024-02-19 13:02:59
106阅读
架构图：一、环境准备1，3台nginx做web，两台nginx做负载均衡器，使用keepalived实现双vip，3台kafka，3台zookeeper2，nginx搭建：①使用yum安装好epel源(epel源相当于一个第三方库)和nginxyum install epel-release -y yum install nginx -y并启动nginx启动：systemctl sta
转载
2024-03-27 11:12:28
229阅读
ELK日志系统一般是3台或以上的服务端搭建。 Kafka和Zookeeper一般是每个服务端都需要安装，logstash一般是一个ELK一个，elasticsearch、Kibana和filebeat一般是一个ELK一个（可以不装filebeat）， Filebeat一般是每个客户端都要安装。在2.129、2.173和2.185三台机器上搭建Kafka集群，在2.129、2.173和2.185三台
转载
2024-03-27 11:58:36
213阅读
Kaka日志的结构概览可见之前的博客。日志段代码解析 日志段是kafka保存消息的最小载体，阅读日志段代码可更好的去定位分析问题，鉴于网上对日志段的说明文档较少，本文对Kafka日志段进行详细说明，重点介绍Kafka日志段LogSegment的声明、append、read、recover方法。日志段代码位置 日志段代码在Kafka的core工程目录下，详细位置:core/scala/kafka
转载
2024-04-11 13:28:18
68阅读
写在前面随着微服务的普及，如何查看系统日志快速排查问题就是一个亟待解决的问题了，此时我们可以考虑使用kafka来统一收集日志，再结合ELK等查看日志，本文就一起来看下如何直接使用日志插件来完成日志写入工作。1：log4j配置一个卡夫卡的appeder，如下：log4j.rootLogger=info, S, KAFKA
#log4j.rootLogger=info, S
log4j.append
转载
2024-03-06 11:56:08
62阅读
目录1、Kafka的客户端缓冲机制2、内存缓冲造成的频繁GC问题3、Kafka设计者实现的缓冲池机制4、总结一下“ 这篇文章，同样给大家聊一个硬核的技术知识，我们通过Kafka内核源码中的一些设计思想，来看你设计Kafka架构的技术大牛，是怎么优化JVM的GC问题的？ 1、Kafka的客户端缓冲机制首先，先得给大家明确一个事情，那就是在客户端发送消息给kafka服务器的时候，一定是有一个内存
转载
2024-05-13 19:59:27
28阅读
消息格式日志一个叫做“my_topic”且有两个分区的的topic,它的日志有两个文件夹组成，my_topic_0和my_topic_1,每个文件夹里放着具体的数据文件，每个数据文件都是一系列的日志实体，每个日志实体有一个4个字节的整数N标注消息的长度，后边跟着N个字节的消息。每个消息都可以由一个64位的整数offset标注，offset标注了这条消息在发送到这个分区的消息流中的起始位置。每个
转载
2024-03-10 17:38:38
49阅读
Kafka日志Kafka日志和我们平时熟悉的程序请求日志、错误日志等不同，kafka日志则属于另一种类型：一种专门为程序访问的日志。 从某种意义上说，kafka日志的设计更像是关系型数据库中的记录，抑或是某些系统中所谓的提交日志（commit log）或日志（journal）。这些日志有一个共同的特点就是：只能按照时间顺序在日志尾部追加写入记录（record）。Kafka其实并不是直接将原生消息写
转载
2024-03-03 22:24:02
280阅读
文章目录1.日志存储设计1.kafka日志2.底层文件系统3.索引文件3.1 .index 位移索引文件3.2 .timeindex 时间戳索引文件 1.日志存储设计1.kafka日志日志格式类型松散结构化的日志（请求日志、错误日志或其他数据），这种日志主要用途就是方便人们阅读。专门为程序访问的日志。（kafka日志属于类型2）kafka日志设计更像是关系型数据库中的记录，或者是某些系统中的提交日
转载
2024-03-04 14:56:58
191阅读
