Kafka在字节跳动的实践和灾备方案 转载 蜡笔小新v 2021-06-10 21:23:46 文章标签 Kafka学习 大数据技术 文章分类 大数据 本文是字节跳动的龚云飞发表在2019年05月12日北京Apache Flink x Apache Kafka会议上的演讲稿。我们来看看字节跳动是如何使用Kafka的。 赞 收藏 评论 分享 举报 上一篇:万字长文干货 | Kafka 事务性之幂等性实现 下一篇:Apache Kafka简单入门 提问和评论都可以,用心的回复会被更多人看到 评论 发布评论 全部评论 () 最热 最新 相关文章 Kubernetes灾备演练之优雅处理服务副本数 背景介绍在双中心部署的架构下,为了验证系统的容灾能力,需要进行灾备演练。应用服务部署在kubernetes集群中,通过web控制台修改副本数量为0不可用,比较耗费时间。本文将介绍如何通过脚本优雅地处理一个中心的服务副本数,并在演练后恢复原状。实验环境:使用kind搭建了一个1.26.3的 k8s集群,两个work节点。这里可以随意。只要是k8s环境即可:kubectl get nodes kubernetes devops 运维 容器 数据库高可用架构设计与灾备方案 本文将全面剖析数据库高可用架构的设计原理与实施路径,涵盖主从复制、集群方案、数据同步、容灾切换等核心技术。详细解读MGR、InnoDB Cluster、PG流复制等主流方案,提供从单机房部署到异地多活的全套解决方案,包含详细的配置示例、监控指标和故障演练方案。适合需要构建金融级可靠数据库服务的技术团队。 mysql MySQL 高可用 kafka简单介绍 “这是一篇理论文章,给大家讲一讲kafka”简介在大数据领域开发者常常会听到MQ这个术语,该术语便是消息队列的意思,Kafka是分布式的发布—订阅消息系统。它最初由LinkedIn(领英)公司发布,使用Scala语言编写,与2010年12月份开源,成为Apache的顶级项目。Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统。它主要用于处理活跃的数据(登录、浏览、点击、分享、喜欢等用户 kafka 数据 apache MQ 灾备 RAC (oracle应用集群) 互相备份DATAGARD (灾备) 数据冗余-----------------Data Guard三种保护模式Oracle Data Guard为我们提供了非常人性化的三种保护模式,其目的应用于不同的保护级别和场合,存在的目的就是让我们的数据库,健健康康活着,创造出自己的价值1)保护最大化:主库与备库实时同步数据,如果主库挂 oracle 最大限度 虚拟化灾备 超融合灾备 ## 虚拟化灾备与超融合灾备的实现指南为了帮助刚入行的小白理解如何实现虚拟化灾备与超融合灾备,以下是一个详细的流程和步骤说明。这将包括一系列步骤的表格以及每一步的具体操作和代码示例。### 整体流程首先,我们可以通过下表来概览整个流程:| 步骤 | 描述 ||------|----------------------------- 虚拟化 桥接 bash kafka 灾备 设置宿主机可访问桥接的虚拟机在虚拟机[CentOS 8]上进行如下操作$ systemctl stop firewalld.service # 关闭虚拟机防火墙,需要root权限$ ifconfig # 查看虚拟机ip地址$ nohup ./node_exporter & # 启动各种应用,例:node_exporter$ netstat -tln # 查看监听端口此后可在宿主机 kafka 灾备 kafka zookeeper linux kafka灾备方案 本章我们讨论有关Kafka集群的容错性与高可用性话题在Kafka中,复制的单元是分区,每一个主题中都有一个或者多个分区,每个分区都有一个领导者以及若干个追随者。当创建主题之后,需要指定分区及复制因子,常见的复制因子通常是3,即一个领导者,两个追随者。在Kafka集群中,所有的读写操作都会路由到领导者,追随者只会定期从领导者请求获取最新消息,消费者并不会从追随者分区中获取消息,追随者存在的意义只在于 kafka灾备方案 RabbitMQ Kafka 可用性 持久性 kafka 同城灾备方案 背景:在进行服务上云的时候发生了性能损耗问题,一步步从网络带宽问题、JDK版本问题、公网时延问题、CPU和内存问题走了很多弯路,最后才定位到kafka-producer,当然这也是由于业务排查过程中对于机房之间时延的几毫秒不重视造成问题:对服务本地机房和阿里云压测时,压测结果如下本地机房阿里云 TPS:150KTPS:3K从可以看到的问题就是阿里云的TPS比本地的 kafka 同城灾备方案 sed kafka Time kafka灾备切换 下游重启 方案背景: 假设每天集群需要承载10亿数据。一天24小时,晚上12点到凌晨8点几乎没多少数据。使用二八法则估计,也就是80%的数据(8亿)会在16个小时涌入,而且8亿的80%的数据(6.4亿)会在这16个小时的20%时间(3小时)涌入。QPS计算公式:640000000 ÷ (3x60x60) = 60000,也就是说高峰期的时候Kafka集群要扛住每秒6万的并发。磁盘空间计算,每天10 kafka灾备切换 下游重启 kafka 生产部署 生产方案 数据 kafka容灾主备切换 分析&回答Kafka的架构一个典型的Kafka集群中包含若干Producer,若干broker(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高),若干Consumer Group,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group发生变化时进行rebalance。Producer使用push模 kafka容灾主备切换 kafka 架构 java Group ELK 灾备 emc灾备 EMC云备份一、主要组成1、Data Domain 针对备份和归档的保护存储。2、EMC Avamar 重复数据消除备份软件和系统。3、EMC NetWorker 统一备份和恢复。4、EMC Data Protection Advisor 统一数据保护管理。二、EMC Data DomainEMC Data Domain针对备份和归档的保护存储。利用高速重复数据消除整合备份、归档和灾难恢复。EMC ELK 灾备 EMC 备份 Data 重复数据 PostgreSQL灾备切换 sqlserver 灾备 通过前面的介绍,相信你对各种高可用和灾难恢复技术已经有一定程度的了解。这些技术都已经被广泛的应用在了全世界的各种企业环境中,为应用持续运行提供保障。高可用和灾难恢复技术的比较每一种技术都有其优点和局限,这些因素决定了它适用于怎么样的环境。要比较各种不同的高可用和灾难恢复技术,就要了解它们的优点和局限。这样才能根据你的需求选择最合适的一款。故障转移群集故障转移群集是SQL Server最早的高可用技 PostgreSQL灾备切换 sql server 数据库 服务器 sqlserver 灾备体系架构 灾备定义 目录一、灾备的定义1.1 什么是灾备?1.2 备份和容灾的概念1.2.1 备份1.2.2 容灾1.2.3 两者区别1.2.4 两者关系1.3 灾备提供的保护二、灾备的作用2.1 存在的问题2.1.1 数据中心存在的问题2.1.2 没有灾备会怎么样?2.2 备份的作用2.2.1 存储层面2.2.2 云计算层面2.2.3 复制类型2.3 容灾的作用2.3.1 容灾的应用场景2.3.2 容灾解决方案全景 灾备体系架构 数据 数据复制 服务器 es的灾备 rto灾备 许多企事业单位虽然已经认识到信息安全的重要性,却迟迟没有行动。其中的原因是多方面的,最主要的一个原因就是在如何建立容灾系统的问题上存在种种疑惑。容灾设计指标主要与容灾系统的数据恢复能力有关,最常见的设计指标有RTO 和RPO。RPO是指能把数据恢复到过去的那一个时间点,RTO 是指在出现问题后“什么时候”可以恢复数据。 RPO可简单地描述为企业能容忍的最大数据丢失量。为了更好地理解,可以想一 es的灾备 数据 数据库 数据保护 redis灾备 redis异地灾备 由于项目的服务器分布在重庆,上海,台北,休斯顿,所以需要做异地容灾需求。当前的mysql,redis cluster,elastic search都在重庆的如果重庆停电了,整个应用都不能用了。现在考虑第一步做重庆和上海的异地容灾,大概测试了一下重庆的几台服务器之间大概是13m/s的传输速度也就是说100M的局域网带宽,重庆到上海只有1.2m/s的传输速度,大概10M的局域网带宽。第一个方案先考虑简 redis灾备 redis 服务器 bc 灾备架构展示 灾备模式 各个大型企业都有必要建立异地的灾难备份系统,同时需要重点考虑建设成本,寻求一种用的着,用的起的灾备系统建设模式。根据目前灾备行业发展现状,可以选择以下几种方式建设灾备系统:(1)自建灾备中心模式① 一次性投资巨大IT系统投入、通信网络设备投入,这笔投入是为小概率的事件准备的,平时都处于闲置状态,导致总体投入成本(TCO)和投资回报率(ROI)不对称,灾备中心资源利用率低,也不能对经纪 灾备架构展示 数据库 外包 数据 IT 灾备架构图 灾备技术 容灾技术是灾备系统的核心,技术因素考虑的是否完善,对于灾备系统建设的成败可以说起到非常关键的作用。如果灾备方案提供商在企业灾备建议之初,能从企业切实的容灾系统技术和工程可行性出发,为企业找出最佳的灾备系统建设路线,相信可以帮助企业的灾备系统建设少走不少弯路。那么,企业在构建容灾系统时需要考虑的技术因素有哪些呢?(1)防范的灾难范围灾难的防御范围,常规上大家重点考虑一些硬灾难,包括服务器、存储等硬件 灾备架构图 数据库 运维 数据 数据盘 灾备 存储虚拟化 灾备 rto 灾备重要吗? 当然,如今灾备的重要性毋庸置疑,天灾人祸的出现让人们意识到灾备已经是数据中心必不可少的一环。 如今企业的IT应用环境几乎都运行在数据中心中,数据中心越来越复杂,业务数据也越来越重要,这个时候灾备也就也来越重要。而天灾和人祸是不可避免的,所以需要建立数据中心的灾难恢复系统,来保证数据中心业务的安全性。 建立 灾备 存储虚拟化 数据中心 IT 灾难恢复 redis的灾备 redis灾备方案 华为云分布式缓存服务DCS,具有强大的功能,现在小编教大家如何在DCS管理控制台将两个Redis主备实例建立全球灾备。建立全球灾备,会对主实例和备实例进行升级,实例进程会重启,连接会中断。同时备实例会从主实例同步数据,原有的数据会被覆盖,需要谨慎操作。创建了全球灾备后,不同区域的实例可以相互同步数据。当前,该功能只在华北、华东、华南三个区域支持,请以控制台实际情况为准。1 前提条件已经创建了主实例 redis的灾备 数据库 数据 Redis SSL hadoop 灾备同步方案 hbase灾备 GBase 8s HAC(容灾高可用)采用基于数据库日志的增量数据同步技术实现节点高可用。根据灾备距离不同分为同城容灾高可用和异地灾备高可用。同城容灾高可用支持一主一从的部署方式,异地灾备高可用支持一主多备的部署方式。HAC主节点执行读写业务的同时,备节点可承担查询、报表等读业务。HAC具有安装简单、应用透明无感知、故障自动切换、无须额外付费等特点。 &nb hadoop 灾备同步方案 数据库 高可用 服务器 对Webpack的深度解析 在开发阶段,webpack-dev-server会启动一个本地开发服务器,所以我们的应用在开发阶段是独立运行在localhost的一个端口上,而后端服务又是运行在另外一个地址上,所以在开发阶段中,由于浏览器同源策略的原因,当本地访问后端就会出现跨域请求的问题,通过设置webpack proxy实现代理请求后,相当于浏览器与服务端中添加一个代理者,当本地发送请求的时候,代理服务器响应请求,并将请求转发到目标服务器,目标服务器响应数据后再将数据返回给代理服务器,最终再由代理服务器将数据响应给本地。 webpack 前端 node.js 1024程序员节 Webpack AutoBangumi前端国际化方案:vue-i18n与动态语言切换 在全球化的开源项目中,前端国际化(Internationalization,简称i18n)是提升用户体验的关键环节。AutoBangumi作为一款全自动追番工具,其用户群体遍布全球,因此实现高效、灵活的多语言支持成为必然需求。本文将深入剖析AutoBangumi前端国际化方案的设计与实现,重点介绍基于vue-i18n的技术架构、动态语言切换机制以及在实际开发中的最佳实践。通过本文,你将掌握如何在V... API json ide actuator management 禁止访问路径 在PHP网站开发中,基于WEB服务器和PHP网站程序代码的安全考虑,我们需要对相关的目录或者文件访问权限进行控制,以防止意外情况的发生,那么我们如何来实现这种功能呢?我们可以通过Apache来实现禁止目录访问(禁止游览列出的目录或文件列表)、禁止或允许IP与域名访问目录的功能。环境说明我使用的是DedeCMS DedeAmpz的PHP运行环境,PHP版本5.2.4,Apache版本2.2.4在Ap linux apache拒绝访问目录 Apache 文件列表 PHP pycham连接docker 本文详细介绍了如何配置PyCharm专业版连接远程Docker容器进行开发部署。主要内容包括:1)Linux宿主机SSH服务配置;2)创建并运行Docker开发容器;3)容器内SSH服务安装与配置;4)PyCharm通过SSH连接容器并配置远程Python解释器。教程提供了完整的命令流程和配置方法,帮助开发者实现远程Docker环境下的项目开发与部署。 #docker #容器 #运维 Docker docker mcuxpresso ide 支持S32K 本文主要介绍如何使用Keil4开发ARM9(S3C2440)裸机程序。 说明: 一、平台: 操作系统:Windows XP系统 KEIL版本:4.73 开发板:ARM9(S3C2440) 初始化 加载 仿真器