基础概念下面的表格给出了 Kafka 中出现的一些高频和重要概念的对照解释英文名中文名解释备注Broker服务端实例已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服务器都是一个代理(Broker)。消费者可以订阅一个或多个话题，并从Broker拉数据，从而消费这些已发布的消息。Partition分区一个独立不可再分割的消息队列，分区中会有多个副本保存消息，他们的状态应该是一致
文章目录前言Broker配置复制系数副本分布不完全的首领选举最少在同步的副本生产者配置发送确认重试可靠的消费者消费组自动重置偏移量自动提交显示提交偏移量再均衡心跳参考 前言这篇内容是保证 Kafka 消息可靠性的相关配置，内容主要来自《Kafka权威指南》这本书，再根据 Apache - Kafka文档2.8 总结出来的。文中每个配置项是个超链接，可以定位到配置的官方文档。代码例子可以访问 Gi
转载
2024-03-19 02:19:33
107阅读
Kafka： Kafka是一个高吞吐量，分布式的发布—订阅消息系统。据kafka官网介绍，当前的kafka已经定位为一个分布流式处理平台，它可以水平扩展，也具有高吞吐量，越来越多开源分布式处理系统（Flume，Apache Storm，Spark）支持与kafka集成。 kafka是一个分布式消息列队，kafka对消息保存时根据topic进行归类，发送消息者称为producer，消息接收者称为co
转载
2024-03-19 02:36:09
121阅读
如果你遇到pydantic验证和自己想要的response不一致，不妨来看看这段代码，优雅的将pydantic的类型提示错误修改为自己response的msg import uvicorn from fastapi import FastAPI, HTTPException from fastapi ...
转载
2021-09-28 14:33:00
76阅读
2评论
在这篇博文中，我将详细记录如何利用 FastAPI 封装 Ollama，以达到部署和使用自然语言处理模型的目的。以下是我整理的过程，包括环境准备、集成步骤、配置详解、实战应用、排错指南和性能优化等方面的内容。
## 环境准备
在开始之前，我们需要先确保环境符合要求，下面是我使用的技术栈兼容性。
```mermaid
quadrantChart
title 技术栈匹配度
x-a
关于fastapi异步接口卡死的坑背景问题细节fastapi依赖注入 背景开发任务是使用fastapi去写一个对工业设备（PLC）的通信接口，方便其他后端服务与设备对接，将设备的功能抽象出来供MES调用。通信协议是使用modbus TCP，由于fastapi是异步框架，很多以前在同步函数里开发的代码移植过来发现出现了异常，这也是不断踩坑的过程，问题解决之后也能体会到异步框架的优美与高效。问题细节
转载
2024-09-23 06:42:42
137阅读
目录1. 简介2. Nuget安装3. Demo开发环境4. 建立连接5. Code First 5.1 实体 5.2 生成数据库6. 插入数据7. 删除数据8. 更新数据9. 查询数据10. 原生SQL11. 事务12. IOC注入1. 简介 SqlSugar 是一款 老牌 .NET 开源ORM框架，由果糖大数据科技团队维护和更
转载
2024-01-12 14:22:30
209阅读
<meta charset="utf-8">
<?php
class LinkData{
private $link;
//连接数据库
public function __construct($host,$user,$pwd,$data)
{
$this->link=mysq
为了方便数据使用，我们将服务器拿到的数据转换为map类型，但是在使用是大量的数据会让使用map时头大，比如每个map都key都需要手动输入，很是麻烦。本文使用了json_serializable将map数据转换为类类型，创建我们自己的实体类。使用时，将转换的对象（点）属性就可以了，方便许多。下文将模型转换进行了封装，包括单个模型以及List嵌套模型，创建BaseEntity泛型模型。 使
转载
2024-05-07 12:47:38
59阅读
从某处调用封装的内容调用被封装的内容时，有两种方式：① 通过对象直接调用② 通过self间接调用通过对象直接调用class MyClass:
def __init__(self, name, age):
self.name = name
self.age = age
obj = MyClass("oldniu", 20)
print(obj.name) # 通过obj对象直接调用里面的name属性
FastAPI 是一个使用 Python 编写的 Web 框架，还应用了 Python asyncio 库中最新的优化。本文将会介绍如何搭建基于容器的开发环境，还会展示如何使用 FastAPI 实现一个小型 Web 服务。起步我们将使用 Fedora 作为基础镜像来搭建开发环境，并使用 Dockerfile 为镜像注入 FastAPI、Uvicorn 和 aiofiles 这几个包。FROM fe
转载
2024-10-30 10:29:09
64阅读
/* 注意： 1、检查提交方式类型：get/post是否和后台一致（该类型接口文档会标注，若一致仍然报错，请与后台再次确认） 2、检查接口url是否写错 3、检查接口是否需要传数据到后台，若需上传，便仔细把自己上传的数据和接口文档上对比， 观察有没有错写、多写、少写，数据格式是否正确（一般和后台人员确认一下要传什么数据格式），观察上传的值是否会出现undefined 4、若以上都正确了还是报错，
转载
2024-04-18 17:49:21
42阅读
文章目录前言一、消息发送二、源码分析1.发送流程2.步骤解析2.1 初始化2.2 序列化消息2.3 路由分区2.3 写入内部缓存2.3 消费缓存三、参数解析1.acks2.batch.size3.retries四、消息重复，丢失？1.provider消息重复2.provider与broker阶段消息丢失总结 前言kafka作为消息中间件，适用于大数据的场景。但是如何保证消息的高效和准确性呢？刨根
转载
2024-02-21 12:08:00
107阅读
Partition 数目与Replication Factor是在创建一个topic时非常重要的两个参数，这两个参数的取值会直接影响到系统的性能与稳定性。尽量在第一次创建一个topic时就指定这两个参数，因为 如果Partition 数目在之后再次做调整，则会打乱key的顺序保证（同样的key会分布到不同的partition上） 如果Replication Factor在之后再次增加，
转载
2024-09-19 17:44:21
145阅读
kafka是一个优秀的分布式发布订阅系统，我们可以很轻易地实现使用kafka Java API做发布消息或者订阅消息的功能。//producer
public class ProducerApi {
public static void main(String[] args) {
Properties props = new Properties();
p
转载
2024-03-20 22:52:38
61阅读
这段时间因为工作关系一直在忙于消息中间件的发开，现在趁着项目收尾阶段分享下对kafka的一些使用心得。 kafka的原理我这里就不做介绍了，可参考http://orchome.com/kafka/index 这里我重点给大家介绍下kafka生产者的使用 kafka可分为新旧版本，旧版本（0.8Scala版本）我们不去研究，新版本（0.9和0.10）增加了异步发送的API 示例代码如下
转载
2024-04-23 16:10:30
36阅读
最近很多事，很长时间没有发表文章了。今天有空，写篇文章。买了一台服务器，天翼云的1核2G，新用户一年几十块钱。【吐槽一下，阿里云，腾讯云，这些也有新用户一年几十块钱的服务器【2核4G】，但是我是老用户了，买不了，歧视老用户，天翼云服务器个垃圾，80、8080、443端口需要备案才能访问，废了我老大的劲，一度怀疑人生，草】服务器是买的centos7登录服务器，第一步：安装python3.9注意：ce
转载
2024-01-10 19:54:51
229阅读
1.Kafka简介 Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量
转载
2024-04-03 15:27:19
52阅读
# Kafka Java 封装教程
在微服务架构中，Kafka 是一个高吞吐量的分布式消息队列，在异步处理、事件驱动架构等方面有广泛应用。对于刚入行的小白开发者，理解如何在 Java 中使用 Kafka 是一项基本技能。本文将详细介绍如何实现 Kafka 的 Java 封装。
## 1. 过程概述
实现 Kafka Java 封装的过程可以分为以下几个步骤：
| 步骤 | 描述 |
|--
原创
2024-09-29 04:46:15
100阅读
这个 Kafka 的专题，我会从系统整体架构，设计到代码落地。和大家一起杠源码，学技巧，涨知识。希望大家持续关注一起见证成长！我相信：技术的道路，十年如一日！十年磨一剑！ 前言 首先还是看一眼 Kafka 生产者中的方法，核心分为三类：构造器，消息发送，其他。 我们今天要探讨的是在构造器中初始化配置时用到的配置类，看起来是构造方法中一个不起眼的参数，但是代
