从来没写过Blog，想想也是，工作十多年了，搞过N多的架构、技术，不与大家分享实在是可惜了。另外，从传统地ERP行业转到互联网，也遇到了很所前所未有的问题，原来知道有一些坑，但是不知道坑太多太深。借着填坑的机会，把过程Log下来。 言归正传，先说说背景吧。Teld的业务平台中存在大量的物联网终端传感数据和车辆运行数据，这些数
定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。消息队列（Message Queue）传统消息队列的应用场景消息队列的两种模式（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）
消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。
消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消
转载
2024-09-24 21:52:39
35阅读
如果说独立和自由是人类所向往的，那么极简和自由则是一款软件的追求。凭借着高吞吐、低延迟的优势深受众多公司青睐的分布式消息队列框架Kafka多年来却重度依赖Zookeeper才能运行，不仅处处缩手缩脚，而且给运维人员的工作带来了不少负担。在Kafka3以前，如果没有zookeeper，Kafka将无法运行管理部署两个不同的系统使得运维复杂度翻倍zookeeper的分区特性限制了Kafka的承载能力而
转载
2024-07-18 07:49:31
235阅读
一、Kafka优化总结1. 设置日志配置参数以使日志易于管理kafka 日志文档 https://kafka.apache.org/documentation/#logkafka 压缩基础知识 https://kafka.apache.org/documentation/#design_compactionbasics 2. 了解 kafka 的 (低)
转载
2024-03-22 10:20:30
123阅读
前言： 上手kafka已有2年的时间，我们的数据处理量也从最初的300g/day发展到今天的T量级在这个过程中也踩了不少坑，在这里分享出来和大家共勉。 一、硬件考量 1.1、内存 不建议为kafka分配超过5g的heap，因为会消耗28-30g的文件系统缓存，而是考虑为kafka的读写预留充足的buffer。Buffer大小的快速计算方法是平均磁盘写入数量的30倍。推荐使用64GB及以上内存的
转载
2024-03-25 16:53:34
529阅读
文章目录一、简介二、部署使用2.1 集群部署2.2 topic 命令2.3 message 命令三、深入架构3.1 文件存储机制3.2 生产者3.2.1 分区策略3.2.2 数据可靠性保证3.2.3 Exactly Once语义3.3 消费者3.4 高效读写3.5 Zookeeper 在Kafka 中的作用3.6 事务四、Kafka API4.1 生产者4.1.1 消息发送流程4.1.2 Kaf
转载
2024-09-06 21:50:03
43阅读
在Windows平台下安装和配置 MySQL 8.0下载 MySQL 安装文件步骤1用浏览器打开网址 https://dev.mysql.com/downloads/installer/ ,打开 MySQL Community Server 8.0.23 下载页面，选择 Microsoft Windows 平台，在这里选择 32为的，单击右侧【Download】按钮开始下载，如图这里的32位安装程
转载
2023-09-19 10:46:07
245阅读
本文针对的是 Kafka 0.11 + 之后的 Kafka ，由于之前的 Kafka 可能出现丢数，数据不一致的问题，建议升级 Kafka 版本。 最近由于之前学习了 Zookeeper 的 ZAB , Raft 协议， Paxos 原型协议，最近对Kafka 的副本策略 也做了一个研究。Kafka 的副本策略 以及 同步方案 与 Raft , Za
转载
2024-08-07 08:17:40
78阅读
如果家里有比较旧的电脑闲置着（我有一台2012年份的中端配置笔记本电脑、一台早于2010年的台式电脑），那么，如果使用Windows10系统的话，操作体验肯定是比较卡顿的了，掉帧会挺严重，感觉肯定不流畅！最简单直接的解决方法就是安装使用比较节约系统资源的Linux系统了，而我比较熟悉Ubuntu系统，它也是当前最流行、最易用的Linux......之一！可是当我安装好Ubuntu18之后才发现，这
转载
2024-10-11 07:31:25
75阅读
文章目录提前准备开启ES安全特性为内置用户配置密码配置Kibana用密码连接ES下边做什么? 开启ES安全特性,然后创建密码为内置用户.之后你可以增加更多用户,但是使用内置用户简化了程序开启安全为你的集群.重要:最少安全场景对生产集群是不够的.如果你集群有多个节点,必需开始 最少安全配置,然后配置TLS在他们之间.提前准备安装配置ES和Kibana.查看入门ES栈
核对你使用license,包含
转载
2024-04-17 14:53:32
231阅读
1.kafka分布式消息队列(1).概述 Kafka是由LinkedIn开发的一个分布式的消息系统，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础 Kafka使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成 设计目标 以
摘要 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态，最后给出了Kafka的性能测试报告。性能测试及集群监控工具 Kafka提供了非常多有用的工具，如Kafka设计解析（三）- Kafka High Availability （下）中提到的运维类工具——Partition Rea
1.1 MySQL安装与基本配置(centos 7.3)安装网址：1、查看系统中是否已安装 MySQL 服务：以下提供两种方式rpm -qa | grep mysqlyum list installed | grep mysql2、如果已安装则删除 MySQL 及其依赖的包yum -y remove mysql-libs.x86_643、下载 mysql57-community-release
转载
2023-09-14 16:38:42
263阅读
这是上网记录详单内容，存储了很多用户上网记录信息，随着系统的发展，为了数据挖掘的需要，联通会进一步提取更多信息存到上网记录系统当中来。整个系统部署情况是这样的，我们采用普通PC服务器部署这个系统，Hadoop本身有三个节点，一个是数据存储节点，现在有178个数据存储节点，每个数据存储节点有14T的容量，集群的监控节点有一台，入库服务节点24台，Web查询应用服务节点20台，在同一个机架上的数据
转载
2023-08-17 19:36:47
128阅读
写在开头其实对于许多小伙伴来说，很多时候在windows本机安装mysql就是作为一个简单的开发数据库来使用，用不上mysql带的一大堆插件，这里我选择的是mysql纯server版本进行安装，占用电脑空间应该是最小的情况，安装包大概100M，安装后大概500M空间。第一步：下载从官网下载，https://dev.mysql.com/downloads/mysql第二步：安装如果下载的是msi安装
转载
2023-09-17 14:59:51
294阅读
修改my.iniinnodb_buffer_pool_size=576M ->256M InnoDB引擎缓冲区占了大头，首要就是拿它开刀query_cache_size=100M ->16M 查询缓存tmp_table_size=102M ->64M 临时表大小key_buffer_size=256m ->32M重启mysql服务后，虚拟内存降到200以下．优化mysql数
转载
2023-06-25 17:42:45
85阅读
# 从小白到专家：掌握如何获取pubg游戏内存占用
作为一名经验丰富的开发者，你可能已经听说过Pubg（绝地求生）这款热门的多人在线射击游戏。在进行游戏开发或调试过程中，我们有时候需要知道该游戏占用了多少内存。今天，我将向你介绍如何获取Pubg游戏的内存占用情况。
## 流程示意图：
| 步骤 | 操作 |
| ------ | ------ |
| 步骤一 | 打开Pubg游戏 |
| 步
原创
2024-04-23 18:38:27
250阅读
性能优化访问模式要想让MySQL集群部署发挥出与预期相符的性能，最重要的一点在于了解数据库结构。有一点需要注意--MySQL集群表格中的数据并不会被保存在MySQL服务器当中。这些数据实际上被划分至由多个数据节点构成的资源池当中，如下图所示。表格中的各行将被拆分成多个区块，每个数据节点保留一个区块的主片段及另一个区块的次片段。如果查询需要多次网络跳转，例如由服务器向数据节点或者在不同数据节点之间，
转载
2024-09-13 13:28:57
58阅读
1、基本结构先来学习一下nginx内存池的几个主要数据结构：[见：./src/core/ngx_palloc.h/.c] ngx_pool_data_t（内存池数据块结构）1: typedef struct {2: u_char *last;3: u_char *end;4: ngx
转载
2024-09-27 20:55:17
196阅读
目的：充分发挥kafka在低时延，高吞吐等不同场景下的优势。参数配置：1）提升吞吐量 2）保证低时延 3）保证高持久4）相关参数设置说明1、内存缓冲的大小：buffer.memoryKafka的客户端发送数据到服务器，一般都是要经过缓冲的，也就是说，你通过KafkaProducer发送出去的消息都是先进入到客户端本地的内存缓冲里，然后把很多消息收集成一个一个的Batch，再发送到Broker上去的
转载
2024-03-12 17:56:21
243阅读
