刚入公司的两周多，对CDX项目有了进一步的认识和理解，在这基础上，也开始了解部门内部甚至公司提供的一些中间服务。CDX项目中涉及到的二方服务和三方服务很多，从之前写过的SSO，Auth，到三方图库的各个接口，以及图片存储的云服务Gift，以及今天说到的内搜系统。 由于内搜推送信息是到一个kafka队列中消费，虽然作为业务开发不涉及消息中间件的建设，但还是希望能了解内部选型的一些思想，一点一点
转载
2024-10-12 14:41:07
49阅读
整理了对kafka消息队列的一些理解，和一些实际应用，可能也有一些面试常问的一些点；前言：一：消息队列的两种模式点对点模式（一对一）
消费者主动拉取数据，收到消息后清除；一个queue支持多个消费者，但是对一个消息来说，只能被一个消费者消费；发布订阅模式（一对多）
消费者消费到数据后，不会删除消息；发布给topic中的消息，会被所有的订阅者消费到；其中kafka是基于发布订阅模式的，主
转载
2024-03-27 11:04:41
62阅读
前面从IP和讲到了产品的整个过程，现在通过一个网卡和一个系统级JZ2440两个产品说明整个产品的工作流程和开发流程。网络适配器又称网卡或网络接口卡(NIC)，英文名Network Interface Card。它是使计算机联网的设备，平常所说的网卡就是将PC机和LAN连接的网络适配器。网卡（NIC）插在
Kafka起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。1 概述Kafka与传统消息系统相比，有以下不同：• 它被设计为一个分布式系统，易于向外扩展; • 它同时为发
转载
2024-07-18 17:12:25
44阅读
生产者事务Exactly Once 语义At Least Once 语义至少发送一次，当生产者ack设置为-1的时候（在发送message后，leader和follower数据全部落盘成功以后，返回ack。但是在follower全部同步完成未完成或已完成，broker发送ack之前，leader发生故障，此时生产者会开始重试message发送，此时会造成数据重复At Most Once 语义将服务
转载
2024-04-09 09:41:32
78阅读
目录前言一、kafka-console-producer1.1 进入到kafka bin目录下1.2 查看kafak中的topic1.3 创建kafkatopic 如果需要的topic已经存在，则无需创建1.4 发送埋点数据1.5 查看发送的数据二、connect-standalone2.1 创建临时文件夹 2.2 修改配置文件 connect-standalone.prope
转载
2024-03-16 09:57:04
171阅读
## 使用 Python 向 Kafka 推送数据的教程
在现代应用程序开发中，消息队列是一种重要的工具，用于处理和传递数据。在本篇文章中，我们将学习如何使用 Python 将数据推送到 Kafka。Kafka 是一个强大的分布式消息系统，广泛用于消息传递、事件驱动架构、日志聚合等场景。以下是主要的步骤和所需的代码。
### 流程概述
下面是实现过程的步骤概览：
| 步骤 | 描述
原创
2024-08-18 04:04:09
194阅读
上一次比较大的更新是做了austin的预览地址，把企业微信的应用和机器人消息各种的消息类型和功能给完善了。上一篇文章也提到了，austin常规的功能已经更新得差不多了，剩下的就是各种细节的完善。不知道大家还记不记得我当时规划austin时，所画出的架构图：至于这个模块吧，我预想它的功能就是把austin相关的实时数据写到数据仓库里。一方面是做数据备份，另一方面是大多数的报表很多都得依赖数据仓库去做
转载
2024-08-27 11:31:31
153阅读
一、消息队列1.1、消息队列的两种方式(1)、点对点模式基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。(这种方式缺点是需要有一个线程实时监听消息队列，消息的推送速度由客户端控制) (2)、发布/订阅模式
发布订阅模型则是一个基于推送的消息传送模型。发布订阅
转载
2024-06-11 22:26:07
46阅读
SparkStreaming读取Kafka数据源并写入Mysql数据库一、实验环境本实验所用到的工具有kafka_2.11-0.11.0.2； zookeeper-3.4.5； spark-2.4.8； Idea； MySQL5.7什么是zookeeper？zookeeper 主要是服务于分布式服务，可以用zookeeper来做：统一配置管理，统一命名服务，分布式锁，集群管理。使用分布式系统就无法
转载
2023-11-04 17:09:19
134阅读
第1步：减少图像色彩因为双边滤波器平滑平坦区域同时能保持边缘清晰，所以很适合于将RGB图像转换为卡通。虽然速度好像慢一些一个技巧是重复（例如，通过num_bilateral = 7七次）应用小双边滤波器，而不是只用一次大双边滤波器。 import cv2
num_down = 2 # 缩减像素采样的数目
num_bilateral = 7 # 定义双边滤波的数目
img_rg
# 使用 Kafka 将数据导入 MySQL 的实例
在现代数据架构中，Apache Kafka 已成为数据流处理和实时数据传输的重要工具。本文将探讨如何将 Kafka 数据高效地导入 MySQL 数据库，结合实际代码示例帮助读者理解这个过程。
## 一、Kafka 简介
Apache Kafka 是一个分布式的流平台，适合处理大量实时数据流。Kafka 提供了高吞吐量、可靠性和可扩展性，使
原创
2024-09-28 04:43:21
116阅读
通用信息linux版本：ubantu 20.04.1以下组件皆由apt安装部署，所有首先确认apt是否能正常使用，apt相关问题见最底部注：1.apt安装组件的文件位置：配置文件：/etc/xxx日志文件：/var/log/xxxPID文件：/run/xxx.pid2.查询安装成功与否：systemctl status xxx3.apt安装的组件通常都已自启动，可以通过systemctl is-e
转载
2024-10-21 19:23:03
29阅读
一、kafka的定义kafka是一个基于发布/订阅模式的分布式消息队列。二、 消息队列的两种模式 （1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）（2）发布/订阅模式（一对多，消费者消费数据之后不会清除消息） kafka是属于发布/订阅模式的拉取模式发布/订阅有两种数据消费模式： Push & Pull 模式（）三、kafka的组件
转载
2024-07-27 16:04:13
106阅读
前言首先明确kafka中的一些概念：Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由 LinkedIn 公司开发，使用 Scala 语言编写，目前是 Apache 的开源项目。1. broker：Kafka 服务器，负责消息存储和转发2. topic：消息类别，Kafka 按照 topic 来分类消息3. partition：topic 的分区，一个 topic 可以包含多个
转载
2023-12-13 10:49:14
102阅读
使用Kafka的Connect监听Mysql数据并同步到ElasticSearch-刘宇一、安装zookeeper1、解压zookeeper的tar包2、创建zookeeper所使用到的文件夹3、修改zookeeper配置文件4、添加zookeeper唯一标识5、启动zookeeper二、安装kafka1、解压2、修改配置文件3、后台启动kafka三、安装Elasticsearch1、解压Ela
转载
2023-09-15 19:55:50
261阅读
Maxwell实时同步MySQL数据到Kafka一、Maxwell概述Maxwell 是由美国Zendesk公司开源，用Java编写的MySQL变更数据抓取软件。它会实时监控Mysql数据库的数据变更操作（包括insert、update、delete），并将变更数据以 JSON 格式发送给 Kafka等流数据处理平台。Maxwell输出的json字段说明：字段解释database变更数据所属的数据
转载
2024-02-16 11:00:52
85阅读
下载以下文件,解压，放置到kafka的libs目录kafka-connect-jdbc-4.1.1从这里选择适合的mysql connectormysql-connector-java-8.0.16.jar将里面的jar文件提取出来，也放到kafka的libs目录在config目录下创建 connect-mysql-source.properties创建 A数据库源表personCREA
转载
2023-06-01 09:32:32
206阅读
现代的互联网分布式系统，只要稍微大一些，就一定逃不开3类中间件：远程调用（RPC）框架、消息队列、数据库访问中间件。Kafka 是消息队列中间件的代表产品，用 Scala 语言实现;基本概念首先，Kafka 中有一些基本的概念需要熟悉。Topic，指消息的类别，每个消息都必须有；Producer，指消息的产生者，或者，消息的写端；Consumer，指消息的消费者，或者，消息的读端；Producer
转载
2024-05-30 01:29:03
49阅读
官网：http://kafka.apache.org/1、kafka概念及原理Apache Kafka® is a distributed streaming platform——分布式的流数据平台1.1 kafak简介kafka具备三项关键能力： ①发布、订阅记录流，类似于消息队列或者企业级消息系统。 ②以一种容错持久化的方式存储记录流（默认可以保存7天）。 ③实时处理加工流数据（kakfa s
转载
2024-02-17 20:35:29
65阅读
