01什么是弹性伸缩组随着云计算技术的不断发展与云原生理念的深入人心，更加多种多样的基础部署模式层出不穷。弹性伸缩组作为一个相对较为“传统”的云技术概念，可能还是有不少同学有些陌生。今天我就以云计算鼻祖 AWS 的弹性伸缩组为例，谈一谈这个伴随着云计算发展的基础产品。弹性伸缩组是 Iaas 基础设施发展晚期被提出的一类云产品，相信大家对于 k8s 都会有所了解，基于容器的弹性扩缩容方案不是一个新鲜的
01引言随着大数据技术的飞速发展，Apache Kafka 作为一种高吞吐量、低延迟的分布式消息系统，已经成为企业实时数据处理的核心组件。然而，随着业务的扩展和技术的发展，企业面临着不断增加的存储成本和运维复杂性问题。为了更好地优化系统性能和降低运营成本，企业开始寻找更具优势的消息系统解决方案。其中，AutoMQ [1] 作为一种基于云重新设计的消息系统，凭借其显著的成本优势和弹性能力，成为了企业
01引言在现代企业中，随着数据处理需求的不断增长，AutoMQ [1] 作为一种高效、低成本的流处理系统，逐渐成为企业实时数据处理的关键组件。然而，随着集群规模的扩大和业务复杂性的增加，确保 AutoMQ 集群的稳定性、高可用性和性能优化变得尤为重要。因此，集成一个强大而全面的监控系统对于维护 AutoMQ 集群的健康运行至关重要。夜莺监控系统（Nightingale）[2] 以其高效的数据采集、
7月24日19:00-21:00，本次亚马逊云科技数据开源软件-流式数据湖 Tech Talk 即将举行。本次活动意义非凡，旨在探索在亚马逊云科技上构建和使用开源数据软件产品的实践，尤其是流式数据湖的构建。线上直播，让您足不出户就能与 AutoMQ、Apache paimon 和亚马逊云科技的专家交流互动！文末附预约链接哦～无论您是经验丰富的数据工程师，还是独具慧眼的架构师，亦或是对数
01TL;DR是的，你没有看错。AutoMQ[1] 当前已经支持完全构建于像 S3 这样的对象存储之上。你可以参考快速上手[3] 即刻开始体验。AutoMQ 在已有的流存储引擎之上仅仅通过对顶层 WAL 的抽象进行拓展实现少量代码即可做到一些友商引以为傲的的特性，即将流系统完全构建于像 S3 对象存储之上。值得一提的是，我们也已经将这部分源码完全公开，开发者可以利用 S3Stream[2] 流存储
7 月 13 日，AutoMQ 携手 GreptimeDB**“新能源汽车数据基础设施”** 主题 meetup 在上海圆满落幕。本次论坛多角度探讨如何通过创新的数据管理和存储架构，提升汽车系统的性能、安全性和可靠性，从而驱动行业的持续发展和创新，涵盖 AutoMQ 多模态共享存储架构、长城汽车多云多活架构的实践与探索、GreptimeDB 边云一体化数据库介绍、小红书深度解读 AutoMQ 云原
01前言观测云观测云 [1] 是一款专为云平台、云原生、应用及业务相关需求设计的统一实时监测应用，集成了指标、日志和追踪三大信号，覆盖测试、预发和生产环境，实现对软件开发全生命周期的可观测性。通过观测云，企业能够构建完整的应用全链路可观测性，提升整体 IT 架构的透明度和可控性。作为一个强大的数据分析平台，观测云包括多个核心模块，如 DataKit [2] 统一数据采集器和 DataFlux Fu
通过 Kafka Web UI 更加便利地管理 Kafka/AutoMQ 集群随着大数据技术的飞速发展，Kafka 作为一种高吞吐量、低延迟的分布式消息系统，已经成为企业实时数据处理的核心组件。然而，Kafka 集群的管理和监控却并非易事。传统的命令行工具和脚本虽然功能强大，但对于开发者和运维人员来说，操作复杂且不直观。为了解决这些问题，Kafka Web UI 应运而生，为用户提供了一种更加便利
本期概要欢迎来到 AutoMQ 第十一期双周精选！在过去两周里，主干动态方面，AutoMQ 跟进了 Apache Kafka 3.4.x BUG 修复，并进行了CPU & GC 性能优化，另外，AutoBalancing 的 Reporter 和 Retriever 也将支持指定 Listener Name 配置接入点。社区贡献者名单祝贺 @lifepuzzlefun 成为我们的活跃共享者
活动介绍本次活动旨在探索在亚马逊云科技上构建和使用开源数据软件产品的一些最佳实践，特别关注流式数据湖的构建。活动将在线上举行，汇聚来自 AutoMQ Apache paimon和亚马逊云科技的顶尖专家，分享他们在这一领域的最新进展和实际经验。参与者将有机会深入了解如何利用这些工具来优化数据处理和存储流程，提升数据管理效率。无论您是数据工程师、架构师，还是对数据湖技术感兴趣的从业者，都能在本次活动中
本文所述 AutoMQ 的元数据管理机制均基于 AutoMQ Release 1.1.0 版本 [1]。01前言AutoMQ 作为新一代基于云原生理念重新设计的 Apache Kafka 发行版，其底层存储从传统的本地磁盘替换成了以对象存储为主的共享存储服务。对象存储为 带来可观成本优势的同时，其与传统本地磁盘的接口和计费方式的差异也为 AutoMQ 在实现上带来了挑战，为解决这一问题，AutoM
2024年05-06月动态01云原生 Kafka 内核AutoMQ 发布 1.1.0 版本，兼容 Apache Kafka 到 3.7 版本。AutoMQ 采用存算分离的思路重构 Apache Kafka，计算层 100% 保留 Kafka 代码，可以更好、更快地适配 Apache Kafka 新版本。经过代码 Review、Chaos 测试和 500+ E2E 长时间验证，本月 AutoMQ 升
01前言Kafka 作为流处理平台，在实时流计算和在线业务场景，追尾读追求端到端低延迟。在离线批处理和削峰填谷场景，数据冷读追求高吞吐。两个场景都需要很好的数据缓存设计来支撑，Apache Kafka 的数据存储在本地文件，通过 mmap 将文件映射到内存中访问，天然就可以依托操作系统来完成文件的缓冲持久化、缓存加载和缓存驱逐。AutoMQ 采用存算分离的架构，将存储分离至对象存储，本地没有数据文
原文链接：https://jack-vanlightly.com/blog/2024/6/10/a-cost-analysis-of-replication-vs-s3-express-one-zone-in-transactional-data-systems 作者｜Jack VanlightlyAutoMQ 导读随着 S3 在构建现代化数据基础设施的流行，广大 data infra 领域的开发
近期，AutoMQ 与蚂蚁数科正式签署战略合作协议，将和蚂蚁数科云原生 PaaS 平台 SOFAStack 在产品研发、生态集成、市场合作、技术社区影响力等多方面开展深度合作。AutoMQ 是业内领先的消息和流存储服务提供商，基于云原生基础设施重新设计了 Kafka、RocketMQ，将存储层分离到对象存储，在 100%兼容原有功能的基础上，充分利用云的弹性能力，为客户提供了高达 10 倍的成本优
01前言在 Java 应用程序中，垃圾回收（Garbage Collection，以下简称 GC）是一个不可避免的过程，它负责释放不再使用的内存空间以避免内存泄漏。然而，GC 操作通常会导致短暂的停顿时间（Stop the World，以下简称 STW），这对于对延迟敏感的应用程序来说是一个严重的问题——STW 会导致应用程序暂停响应，从而影响用户体验和系统性能。为了解决这个问题，Java 引入了
Kafdrop [1] 是一个为 Kafka 设计的简洁、直观且功能强大的Web UI 工具。它允许开发者和管理员轻松地查看和管理 Kafka 集群的关键元数据，包括主题、分区、消费者组以及他们的偏移量等。通过提供一个用户友好的界面，Kafdrop 大大简化了 Kafka 集群的监控和管理过程，使得用户无需依赖复杂的命令行工具就能快速获取集群的状态信息。得益于 AutoMQ 对 Kafka 的完全
测试背景当前小红书消息引擎团队与 AutoMQ 团队正在深度合作，共同推动社区建设，探索云原生消息引擎的前沿技术。本文基于 OpenMessaging 框架，对 AutoMQ 进行了全面测评。欢迎大家参与社区并分享测评体验。01测试结论本文主要测评云原生消息引擎 AutoMQ 和 Apache Kafka（3.4 版本）的性能对比。测试结论：实时读写：相同集群规模，AutoMQ 的极限读写吞吐是
作者｜北京宝兰德公司解决方案总监徐清康01前言当我们使用一个软件的时候，经常都会问这个软件怎么监控、监控他的哪些指标？Kafka 的监控挺长时间都是一个老大难的问题，社区在监控方面一直没有投入太大的精力。如果要实现一个全面的 Kafka 监控框架，至少应该囊括 Kafka 所在主机资源、JVM（毕竟 Kafka 的 Broker 就是一个 Java 进程）、Kafka 集群本身等的监控，监控 Ka
本期概要欢迎来到 AutoMQ 第十一期双周精选！在过去两周里，主干动态方面，AutoMQ 跟进了 Apache Kafka 3.4.x BUG 修复，并进行了CPU & GC 性能优化。另外，AutoBalancing 的 Reporter 和 Retriever 也开始支持指定 Listener Name 配置接入点。AutoMQ 主干动态AutoMQ 1.0 跟进 Apac
CubeFS [1] 是新一代云原生存储产品，目前是云原生计算基金会 CNCF托管的孵化阶段开源项目， 兼容 S3、POSIX、HDFS 等多种访问协议，支持多副本与纠删码两种存储引擎，为用户提供多租户、 多 AZ 部署以及跨区域复制等多种特性，广泛应用于大数据、AI、容器平台、数据库、中间件存算分离、数据共享以及数据保护等场景。CubeFS的多级缓存[2]AutoMQ 创新的共享存储架构需要低成
Tigris[1]是一个全球分布式的兼容 S3 的对象存储服务，它允许你存储和访问任意数量的数据，具有广泛的使用场景。Tigris 会自动且智能地将数据分布到靠近用户的位置，让用户无需担心数据复制和缓存复杂性。你可以将 Tigris 用于多种场景，例如：实时应用程序的存储网页内容与媒体（图片、视频等）物联网（IoT）应用程序的存储数据分析、大数据及批处理机器学习模型和数据集的存储备份与归档 Tig
01架构概览Zookeeper 提供了配置服务、分布式同步、命名服务、Leader 选举和集群管理等功能，在大数据时代的开始很多开源产品都依赖 Zookeeper 来构建，Apache Kafka 也不例外。但是随着 Kafka 功能的演进和应用的场景越来越多：基于 Zookeeper 的协作模式，使得 Kafka 的集群一致性维护越来越复杂；受到 Zookeeper 性能的限制，使得 Kafka
01前言Cloud-Init[1] 是跨平台云实例初始化的行业标准。它得到了所有主要公共云提供商的支持，适用于私有云基础设施的配置系统以及裸机安装。Cloud-Init 将在启动时识别其运行所在的云环境，读取来自云端提供的任何元数据，并据此初始化系统。这可能涉及设置网络和存储设备，配置 SSH 访问密钥以及系统的许多其他方面。之后，Cloud-Init 还将解析并处理传递给该实例的任何可选用户或供
作者｜众安保险基础平台 Java 开发专家王凯引言今天给大家带来的是 Kafka 网路通信主要流程的解析（基于 Apache Kafka 3.7[2]）。同时引申分析了业界当前较火的AutoMQ基于Kafka在网络通信层面的优化和提升。01如何构建一个基本的请求和处理响应一个消息队列涉及的网络通信主要有两块：消息生产者与消息队列服务器之间（Kafka 中是生产者向队列「推」消息）消息消费者与消息队
01背景AutoMQ[1] 作为一款流系统，被广泛应用在客户的核心链路中，对可靠性的要求非常的高。所以我们需要一套模拟真实生产场景、长期运行的测试环境，在注入各种故障场景的前提下验证 SLA 的可行性，为新版本的发布和客户的使用提供信心保证。基于这样的考虑，我们研发了一套针对流系统的自动化持续测试平台 Marathon。在实现 Marathon 这套框架之前，我们提炼出三个设计原则：易拓展：随着被
Ceph[1] 是一个开源的分布式对象，块和文件存储系统。该项目诞生于 2003 年，是塞奇・韦伊的博士论文的结果，然后在 2006 年在 LGPL 2.1 许可证发布。Ceph 已经与 Linux 内核 KVM 集成，并且默认包含在许多 GNU / Linux 发行版中。Ceph 的特点在于其同时提供了对象、块、文件系统的存储能力，可以适应各种不同的存储诉求。What is Ceph[2]Aut
MinIO[7] 是一款高性能、分布式的对象存储系统，能够在标准硬件上运行，提供极高的性价比和广泛的适用性。专为高性能私有云设计，MinIO 采用简洁高效的架构，确保在提供全面对象存储功能的同时保持卓越性能。无论是传统的辅助存储、灾难恢复和归档，还是机器学习、大数据、私有云和混合云等新兴领域，MinIO 都展现了其强大的适应性和优越性。得益于 MinIO 对 S3 API 的完全兼容，即使在私有数
GIAC大会2024年5月24日至25日，2024 全球互联网架构大会（简称：GIAC大会）将于深圳华侨城洲际酒店举行。大会将聚焦互联网架构热门的 AIGC、效能提升、 云原生架构、数据智能、新硬件等领域，甄选前沿的有典型代表性的技术创新及研发实践的架构案例。100多位行业领军人物和革新者将出席大会，并通过精彩的主题演讲、实践案例分享，以及前瞻性的技术讨论，帮助和指导听众了解和改进互联网构建方式。
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
