最近需要用一下TOPSIS算法，所以学了一下，然后网上搜了一下python代码，但是download下来的代码感觉有一些问题，所以自己基于download下来的代码修改了一下，并且测试了一下。本文主要是介绍下修改的python TOPSIS代码，至于算法的介绍，给个链接，大家自己花个半小时看下即可，非常容易理解一、TOPSIS算法介绍TOPSIS算法介绍，这是网上的一篇博文，写的非常得清晰易懂，而
转载
2024-03-05 15:03:14
58阅读
文档主题生成模型topic model指一种统计模型,用来从一批文档的集合中发现抽象的主题/论题。如果文本包含多个主题，这个技术能够用来识别和分离这些主题。我们这样做可以发掘给定的一系列文本的隐藏的主题结构。Topic Modeling 以一个最佳的方式帮助我们组织文档，这种方式能够被用来分析。值得注意的是，Topic modeling 算法不需要任何被标记的数据。这就像无监督学习一样，依靠自己本
转载
2023-11-14 08:37:36
79阅读
# 使用Hudi写入多个topic的数据
## 介绍
Apache Hudi 是一款开源的数据湖解决方案，可以用于实时流和批处理场景下的数据管理和分析。在实时流处理中，Spark结合Hudi可以实现对多个topic的数据进行写入和管理。本文将介绍如何使用Spark和Hudi来写入多个topic的数据，并提供相应的代码示例。
## 流程
下面是写入多个topic数据到Hudi的流程图：
`
原创
2024-06-03 03:18:19
45阅读
# Python查询Kafka Topic数据的入门指南
Kafka是一个高吞吐量的分布式消息系统，广泛应用于实时数据流处理。通过Kafka，用户可以以高效的方式发布和订阅消息。本文将介绍如何使用Python查询Kafka Topic数据，并提供代码示例，帮助你快速入门。
## Kafka的基本概念
在深入代码之前，我们先来了解一些Kafka的基本概念：
- **Topic**：Kafka
原创
2024-08-19 08:15:47
157阅读
在本文中，我们将深入探讨如何在Python中解决“topic”相关问题，并详细记录解决方案的各个步骤。我将为你提供清晰的分步指南，涵盖从环境准备到扩展应用的方方面面。
---
## 环境准备
在开始之前，我们需要明确项目的软硬件要求。请确保你的开发环境配备如下：
- **软硬件要求**：
- 操作系统：Windows 10 或 Linux
- Python 版本：>= 3.8
# 使用 Flink CDC 采集 MySQL 数据并写入 Kafka Topic
在现代数据工程中，实时数据流处理成为了一项必要技术。Apache Flink 是一种分布式流处理框架，Flink CDC（Change Data Capture）使得从数据库中实时捕捉变更数据成为可能。以下将帮助你了解如何使用 Flink CDC 从 MySQL 采集数据并将其写入 Kafka Topic。
#
kafka删除topic数据一、概述生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。要求：默认保持24小时，某些topic 需要保留2小时或者6小时二、清除方式主要有3个：1. 基于时间2. 基于日志大小3. 基于日志起始偏移量接下来，主要介绍基于时间的清除！kafka版本为: 2.11-1.1.0zk版本为: 3.4.13三、kafka配置
转载
2023-10-24 07:40:05
718阅读
摘要：Offset 偏移量，是针对于单个partition存在的概念。作者： gentle_zhou。Kafka，作为一款分布式消息发布和订阅系统，被广泛应用于大数据传输场景；因为其高吞吐量、内置分区、冗余及容错性的特点，可谓是一个很好的大规模消息处理应用的解决方案（行为追踪，日志收集）。基本架构组成Kafka里几有如下大基本要素：Producer：消息生产者，向Kafka cluster内的Br
转载
2024-07-18 11:43:26
38阅读
原因有研发同事反馈，kafka集群无法消费了，经查看日志，发现数据磁盘占用100%，修改kafka参数（后续详细说明），删除kafka日志，仍无法启动，经与研发同事商量可以删除topic。过程1.与业务同事确定kafka数据保存时间，确定每个分片保存大小，涉及参数：参数名参数含义默认值此处配置log.retention.hours日志保存的时间，可以选择hours,minutes和ms168(7d
转载
2023-11-27 05:52:18
145阅读
# 使用 Python 获取 Kafka 所有 Topic 数据的过程
在这个指南中，我们将分享如何使用 Python 获取 Kafka 中所有 topic 数据的步骤。我们将通过一个简单而清晰的流程来帮助你明白每一步的需要，以及代码的实现。
## 流程概述
下面的表格总结了我们将要采取的步骤：
| 步骤 | 描述
原创
2024-08-31 09:21:00
352阅读
一、kafka-manager 简介为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个
转载
2024-02-19 22:11:20
453阅读
# Python 查看 Kafka Topic 数据量指南
作为一名经验丰富的开发者，我将指导你如何使用 Python 来查看 Kafka 的 Topic 数据量。本文将为你提供详细的步骤和代码示例，帮助你快速掌握这项技能。
## 流程概览
首先，让我们通过一个表格来了解整个流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 安装必要的库 |
| 2 | 配置 Kafk
原创
2024-07-25 03:30:27
218阅读
在这篇博文中，我们将探讨如何使用 Java 编写代码来删除 Kafka 的 topic。Kafka 是一个流行的分布式消息系统，而在日常操作中，有时需要有效地管理这些 topics，包括删除不再需要的 ones。下面，我们将分步介绍这个过程，包括环境配置、编译过程、参数调优、定制开发、性能对比以及错误集锦。
### 环境配置
我们首先需要设置开发环境。以下是需要的配置步骤和所需的依赖版本。
一:基本概念分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量.当前由apache开源.
整个系统由生产者、Broker Server和消费者三部分组成，生产者和消费者由开发人员编写，通过API连接到Broker Server进行数据操作topic和parti
转载
2024-05-28 09:55:11
203阅读
AdminClientApache提供的AdminClient中针对Topic的操作除了增删以外，自然还会有查询功能。本篇的主要内容是获取Topic列表，获取单个topic的详细信息等等。当然要完成Topic信息的查询，首先还是需要获取AdminClient，参考【Apache Kafka API AdminClient 获取对象】。更多内容请点击【Apache Kafka API AdminCl
转载
2024-03-21 10:55:31
786阅读
结构：nginx-flume->kafka->flume->kafka(因为牵扯到跨机房问题，在两个kafka之间加了个flume,蛋疼。。)现象：在第二层，写入kafka的topic和读取的kafka的topic相同，手动设定的sink topic不生效打开debug日志：source实例化:21 Apr 2015 19:24:03,146&nbs
推荐
原创
2015-04-25 18:42:07
6894阅读
既然使用在项目中使用了MQ，那么就不可避免的需要考虑消息丢失问题。在一些涉及到了金钱交易的场景下，消息丢失还是很致命的。那么在RocketMQ中存在哪几种消息丢失的场景呢？先来一张最简单的消费流程图： 上图中大致包含了这么几种场景：生产者产生消息发送给RocketMQRocketMQ接收到了消息之后，必然需要存到磁盘中，否则断电或宕机之后会造成数据的丢失消费者从RocketMQ中获取消
# Python Kafka Topic详解
## 简介
Apache Kafka是一个分布式流处理平台，它由德国公司Confluent开发。Kafka提供了一种发布/订阅模式的消息传递系统，用于处理大规模数据流。在Kafka中，消息被存储在topic中，而topic则被分区并复制到多个broker中。本文将介绍如何在Python中使用Kafka topic。
## Kafka Topic
原创
2024-05-23 05:15:00
77阅读
# 使用 Python 订阅 Topic 的完整指南
在现代软件开发中，使用消息队列在不同的服务之间传递数据是一个重要的技能。尤其是在微服务架构中，服务之间通过消息主题（topic）进行通信显得尤为重要。本文将指导你如何使用 Python 实现订阅一个消息主题，下面将详细描述整个流程，逐步引导你完成这项任务。
## 整体流程
在开始之前，让我们先列出实现“Python 订阅 topic”的大
# 实现Python RabbitMQ Topic
## 一、整体流程
下面是实现Python RabbitMQ Topic的整体流程，通过以下步骤来完成：
```mermaid
erDiagram
RabbitMQ --> Python: 实现Topic
Python --> RabbitMQ: 发送消息
```
1. 连接RabbitMQ
2. 创建Exchange
3
原创
2024-07-06 04:54:20
21阅读
