最近在使用storm做一个实时计算的项目,Spout需要从 KAFKA 集群中读取数据，为了提高开发效率，直接使用了Storm提供的KAFKA插件。今天抽空看了一下KafkaSpout的源码，记录下心得体会。 KafkaSpout基于kafka.javaapi.consumer.SimpleConsume
转载
2024-10-08 19:20:01
126阅读
一：介绍1.官网 kafka.apache.org 2.产生 Kafka由 linked-in 开源 kafka-即是解决上述这类问题的一个框架，它实现了生产者和消费者之间的无缝连接。 kafka-高产出的分布式消息系统(A high-throughput distributed messaging system) 3.状况
【论文解读】Facebook 何凯明 Mask R-CNN 狙击目标实例分割导读：自从将卷积神经网络引入了目标检测领域后，从rcnn到fast-rcnn，然后到end-to-end的faster-rcnn,除了yolo一枝独秀外，基本垄断了整个目标检测领域；而何凯明的resnet基本成了整个图像分类算法的巅峰。这一次，他们强强联手准备狙击实例分割（instance segmentation）了。什
转载
2024-05-17 09:55:30
110阅读
最近开搞spark streaming，记录下一个apache log analysis demo的部署过程。开发环境是Mac os + scala 2.11 + spark 2.0 + kafka 0.10 + Intellij Idea。安装 scala（如果已经安装完毕就跳过） Mac os系统下使用 brew安装 ，为确保版
转载
2024-08-05 16:22:31
120阅读
生产者事务Exactly Once 语义At Least Once 语义至少发送一次，当生产者ack设置为-1的时候（在发送message后，leader和follower数据全部落盘成功以后，返回ack。但是在follower全部同步完成未完成或已完成，broker发送ack之前，leader发生故障，此时生产者会开始重试message发送，此时会造成数据重复At Most Once 语义将服务
转载
2024-04-09 09:41:32
78阅读
windowsjdk安装 下载：http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html安装及环境变量配置，自行百度。zookeeper安装下载地址：Apache ZooKeeperhttps://zookeeper.apache.org/re
使用Kafka Assistant监控Kafka关键指标使用Kafka时，我们比较关心下面这些常见指标。
Kafka Assistant下载地址：http://www.redisant.cn/kabroker度量指标活跃控制器数量该指标表示 broker 是否就是当前的集群控制器，其值可以是 0 或 1。如果是 1，表示
broker 就是当前的控制器。任何时候，都应该只有一个 broke
推荐
原创
2022-12-02 09:55:52
1152阅读
点赞
一、生产者客户端配置参数acks说明1、acks=12、acks=03、acks=-1二、请求在写入Leader的数据管道之前，则会验证Leader的ISR副本数量和配置中的最小ISR数量1、Leader的ISR小于配置文件中minInSyncReplicas，并且acks=-1，则抛异常2、如果acks不等于-1，则就算Leader的ISR小于配置，也会正常执行写入数据管道操作三、请求把数据写
转载
2024-06-19 09:00:02
103阅读
场景：某台机器下线；需将数据迁移到新机器上Kafka系统提供了一个分区重新分配工具（kafka-reassign-partitions.sh），该工具可用于在Broker之间迁移分区。理想情况下，将确保所有Broker的数据和分区均匀分配。分区重新分配工具无法自动分析Kafka群集中的数据分布并迁移分区以实现均匀的负载均衡。因此，管理员在操作的时候，必须弄清楚应该迁移哪些Topic或分区。分区重新
转载
2024-03-27 16:30:16
246阅读
日志存储结构首先我们来看一张 Kafka 的存储结构图。如上图所示，Kafka 中消息是以主题 topic 为基本单位进行归类的，这里的 topic 是逻辑上的概念，实际上在磁盘存储是根据分区存储的，每个主题可以分为多个分区、分区的数量可以在主题创建的时候进行指定。例如下面 kafka 命令创建了一个 topic 为 test 的主题、该主题下有 4 个分区、每个分区有两个副本保证高可用。./bi
转载
2024-03-19 02:44:02
48阅读
简要介绍快速查看所有 Kafka 集群，包括Brokers、Topics和Consumers支持各种认证模式：PLAINTEXT、SASL_PLAINTEXT、SSL、SASL_SSL对Kafka集群进行健康检查查看分区中的消息内容并添加新消息查看消费者订阅了哪些主题，以及分区被分配给了哪些消费者；当出现消息积压时，Kafka Assistant 帮您快速定位问题配合数据模板和定时器，您可以一次发
原创
2023-05-23 20:45:00
220阅读
点赞
通常拥有资源者，能够左右资源分配的人，就会强势一些。即使他的存在本是作为帮助你更好的去完成更重要的工作的。但是某一天你会发现意义完全变了，他是你的上级。
原创
2012-11-01 14:43:00
62阅读
Home Assistant初学者指南 -1之 Home Assistant安装Home Assistant初学者指南 -2 之 Hass.io安装Home Assistant初学者指南 -3 之 如何通过几个简单的步骤更新Home AssistantHome Assistant初学者指南 -4 之 如何在Home Assistant上设置LovelaceHome Assistant初学者指南 -
转载
2024-01-02 22:14:05
443阅读
树莓派3b+安装home assistant安装树莓派操作系统参考网站教程：下载操作系统官网下载RASPBIAN STRETCH WITH DESKTOP版本地址：https://www.raspberrypi.org/downloads/raspbian/下载后文件为：2018-10-09-raspbian-stretch.zip,大小：1.33 GB解压后文件为：2018-10-09-rasp
HA运行指南前言运行core+frontend1. 下载源码2. 安装依赖3. 组装 frontend4. 配置 nodejs5. 运行frontend develop开发指南HA 连接小米网关结语 前言Home Assistant（以下 HA） 是一款智能家居管理系统的开源库。如果想要使用 HA 一般有两种方式：在虚拟机安装 Hassio - HA 提供的内置相关功能的磁盘映像（可以参考：htt
转载
2023-12-22 14:11:07
527阅读
contents 内容signals 信号Detailed Description 详细描述
原创
2022-02-10 11:22:52
57阅读
闲来无事，分享一个小东西——手机小助手，历
原创
2022-07-29 10:43:39
96阅读
关注了就能看到更多这么棒的文章哦～Home Assistant, the Python IoT HubBy John CoggeshallJune 10, 2020原文来自：https://lwn.net/Articles/822350/IoT（物联网，Internet of Things）仍在迅猛发展，有数十万种互连设备已经进入消费者家中，小到灯泡，大到洗碗机都有。Home Assis
转载
2024-01-11 13:29:43
135阅读
The System requirements for the Exchange Troubleshooting Assistant are: Component Requirement Operating system Microsoft Windows 2000 Professional, Windows XP, Windows 2000 Server family, or Windo
原创
2012-11-05 11:35:04
2183阅读
Home Assistant https://github.com/home-assistant/home-assistant
转载
2019-08-02 05:48:00
81阅读
2评论
