zsfz_053的博客_51CTO博客

Kafka面试题——20道Kafka知识点

本篇给大家总结了20道Kafka知识点或者说面试题，持续更新中...1.kafka的3个关键功能？发布和订阅记录流，类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。处理记录流。2.kafka通常用于两大类应用？建立实时流数据管道，以可靠地在系统或应用程序之间获取数据构建实时流应用程序，以转换或响应数据流3.kafka特性?消息持久化高吞吐量扩展性多客户端支持KafkaStreams安

Kafka

kafka面试题

kafka知识点

转载 2020-06-29 19:13:36 239 阅读

分布式柔性事务之事务消息详解

消息详解-一、概述在《柔性事务之TCC详解》和《柔性事务之Saga详解》两文中我们详细剖析了柔性事务的第一个分支补偿型事务。在《刚性事务总结和柔性事务概述》中我们介绍过的柔性事务包含补偿型事务和通知型事务。通知型事务主要包含事务消息和最大努力通知型分布式事务两个组成。通知型事务的核心思想是通过MQ来通知其他事务参与者自己事务的执行状态。MQ组件的引入有效的将事务参与者解耦开，各个参与者都可以异步执

分布式

分布式事务

转载 2020-06-29 18:46:16 200 阅读

奈学：数据湖有哪些缺点？

数据湖本身是一个中心化的存储，能够存储任意规模的结构化与非结构化数据。数据湖相比数据仓库有很多的优势，但大多是在理想状态下的，一旦执行起来还有很多技术挑战。（一）数据湖的数据可能并不会真正做到实时。在业务环境下，如果把所有数据都放到数据湖里，那么从数据湖直接调用数据的过程可能比原来数据仓库更慢，因为从数据湖中提取出来的数据，依然要经过清洗实现标准化后才能更好的利用。具体能否达到需求的低时延效果，还

数据湖

转载 2020-06-28 19:22:49 164 阅读

奈学：数据湖和数据仓库的区别有哪些？

储存方面：数据湖中数据为非结构化的，所有数据都保持原始形式；存储所有数据，并且仅在分析时再进行转换。数据仓库就是数据通常从事务系统中提取，在将数据加载到数据仓库之前，会对数据进行清理与转换。数据组织形式：数据湖就是捕获半结构化和非结构化数据。而数据仓库则是捕获结构化数据并将其按模式组织。用途：数据湖的目的就是数据湖非常适合深入分析的非结构化数据。数据科学家可能会用具有预测建模和统计分析等功能的高级

数据湖

数据仓库

转载 2020-06-28 18:58:05 156 阅读

了解概率知识，概率作为机器学习的底层逻辑

爱因斯坦曾说：上帝不玩掷骰子。但是物理界薛定谔的猫和生物界女朋友的脾气就是不可测量，不可揣摩的两大难题。经常听各种段子，女朋友莫名的又生气了。我们试着从概率上解释下，女朋友生气是不是随机的（滑稽脸.jpg）。说到概率，有一个特别经典的问题：存在三个盒子，其中一个盒子中存放着大奖。现在你随机挑选了其中一个，中奖的概率是1/3。接着主持人打开了剩下2个盒子中的一个，没有中奖。问给你一次重选择的机会，你

概率

转载 2020-06-24 19:02:45 173 阅读

奈学教育《大数据架构师》课程大纲

深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等)，对这些基础技术知识动态的排列组合，形成大数据全局架构观，并深入讲述大数据全局架构设计的方方面面，打造真正满足企业万亿级海量数据规模的数据中台，真正赋能前台业务。同时，在企业万亿级真实项目落地环节，采用高性能、高可用、高扩展的架构设计原则，技术上更是融合了企业级主流的离线架构和实时架构，带领大家构建

大数据课程

大数据课程大纲

原创 2020-06-23 15:08:21 686 阅读

奈学教育《P7架构师》课程大纲

孙玄与沈剑联手全新设计，《P7架构师》融合了业界数位大咖超10年开发经验以及他们的架构师成长经验。同时，课程由一线大厂资深架构师（阿里P8+）进行主讲。业内首次将分布式架构全部技术串联，并结合大厂真实案例实践讲解，并提供基于百度、58和转转等真实案例的工业级落地代码，将后端架构技术全面系统的展现，帮助同学们从全局视角掌握分布式架构设计方法，成为一个合格的架构师。我们用名师+好课来改变世界，打破业界

P7架构师

P7架构课程

原创 2020-06-23 14:45:09 1124 阅读

奈学教育《Java资深研发工程师》课程大纲

课程从Java核心基础知识入手，深入JDK、JVM底层源码实现，以及对各种开源框架的优雅设计剖析，为学员打下坚实的基础，让源码学习和底层原理梳理变得更加的简单、清晰、有效。通过结合企业级真实项目案例，融合核心技术知识点与框架级设计思想，进一步夯实核心技术能力的理解和应用。让学员面对企业变化多样的需求，和承担更有挑战性的工作。第一阶段：Java语言核心特性第一单元掌握Java语言核心特性玩转反射在框

ava资深研发工程师课程大纲

原创 2020-06-23 12:03:52 525 阅读

奈学教育《百万架构师》课程大纲

《百万架构师》课程由58集团技术委员会主席孙玄创办于2018年，至今已高质量、高口碑开班多期。奈学教育出品的《百万架构师》是在原有课程基础上全新升级打造而成。课程首次联手业内知名架构师沈剑精心打磨，深度对标阿里P8。更有超强教研团队:陈东、姚劲、李希沅、江士仕、肖秋平、林淮川、吴守星、向寒等P8+老师，提供课程辅导让你的问题不再过夜。本次课程核心:交付7大架构设计思维模型不变应万变的架构设计能力，

架构师培训

百万架构师大纲

架构师课程

原创 2020-06-22 19:00:24 1239 阅读

奈学教育《大数据开发工程师》课程大纲

本课程针对企业不同数据规模技术方案进行讲解，紧贴企业热门需求，深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用真实的企业级实时数仓项目、离线数仓项目、PB级实时用户行为分析系统、千亿级实时广告系统等多个大型项目

大数据开发课程

原创 2020-06-22 17:57:43 537 阅读

奈学教育《大数据架构师》课程大纲（1）

第一阶段：分布式协调组件第一单元掌握ZooKeeper的核心设计ZooKeeper生态体系结构ZooKeeper总体架构设计ZooKeeper读写请求流程深度剖析第二单元掌握ZooKeeper服务端源码流程ZooKeeper启动流程源码深度剖析Master选举算法源码深度剖析服务端通信模型源码深度剖析第三单元掌握ZooKeeper客户端源码流程客户端启动流程源码剖析客户端通信模型源码剖析Sessi

大数据

大数据培训

原创 2020-06-18 18:16:20 506 阅读

奈学教育《百万架构师》课程大纲（1）

第一阶段：基础架构设计与实践之道篇第一单元通过架构演进掌握架构设计核心思维模式智能互联网之总体架构设计(上)第二单元通过架构演进掌握架构设计核心思维模式智能互联网之总体架构设计(下)第三单元掌握高可用架构设计基本原则智能互联网之核心技术实践篇（上）第四单元掌握核心技术之分布式资源哲学本质和思维智能互联网之核心技术实践篇（中）第五单元掌握网关/分布式锁的哲学本质和场景Balance案例（一）企业级分

架构师

百万架构师

原创 2020-06-18 17:29:10 546 阅读

江帅帅：精通 Spring Boot 系列 06

SpringBoot文件的上传下载说真的，在SpringBoot实现文件下载，真的是方便到让我颤抖。Java中实现文件上传可以用两个组件：CommonMultipartResolver和StandardServletMultipartResolver。SpringBoot在web模块中集成了SpringMVC，文件上传这块儿的支持是可以通过即插即用的MultipartResolver实现类：Com

Spring Boot

转载 2020-06-17 18:33:49 114 阅读

江帅帅：精通 Spring Boot 系列 06

SpringBoot文件的上传下载说真的，在SpringBoot实现文件下载，真的是方便到让我颤抖。Java中实现文件上传可以用两个组件：CommonMultipartResolver和StandardServletMultipartResolver。SpringBoot在web模块中集成了SpringMVC，文件上传这块儿的支持是可以通过即插即用的MultipartResolver实现类：Com

Spring Boot

转载 2020-06-17 18:32:48 98 阅读

江帅帅：精通 Spring Boot 系列 05

SpringBoot处理JSON数据JSON是目前主流的前后端数据传输方式，当Controller中返回的是一个Java对象或List集合时，SpringBoot将自动把它转换成JSON数据。SpringBoot中内置了JSON解析功能，当你在项目中，添加了spring-boot-starter-web模块之后，即可看到默认包含Jackson解析器，也可以换成Fastjson等其他解析器。编辑Bo

Spring Boot

转载 2020-06-17 17:36:07 94 阅读

江帅帅：精通 Spring Boot 系列 04

Web开发的支持使用SpringBoot实现Web开发更加便捷了，因为直接依赖spring-boot-starter-web模块即可支持Web开发，此模块预定义了Web开发中常用的依赖包，还有内嵌的Tomcat作为默认Web容器。Thymeleaf模板引擎目前，多数企业级应用开发中都支持前后端分离，但还有少数离不开视图层技术，SpringBoot提供了很多模板引擎来支持视图层技术，比如Thymel

Spring Boot

转载 2020-06-16 17:13:13 258 阅读

江帅帅：精通 Spring Boot 系列 03

关闭指定的自动配置通过上面的@EnableAutoConfiguration注解就能根据指定的依赖，自动进行配置。但如果你想关闭某一项自动配置，就需要使用@SpringBootApplication下的exclude参数来设置。比如，我想关闭DataSource，代码具体如下：1@SpringBootApplication(exclude={DataSourceAutoConfiguration.

Spring Boot

转载 2020-06-16 16:29:24 193 阅读

江帅帅：精通 Spring Boot 系列 02

1@SpringBootApplication注解SpringBoot的启动类，也就是入口类，需要使用@SpringBootApplication注解来标注。在启动类中，我们的main方法就是Java应用程序的入口方法。@SpringBootApplication是一个组合注解，具体源码如下：其中，比较重要的三个注解是：@SpringBootConfiguration、@EnableAutoCon

Spring Boot

转载 2020-06-15 19:50:48 200 阅读

江帅帅：精通 Spring Boot 系列 01

1、SpringBoot概述Spring框架，作为一个非常优秀的轻量级容器，在企业级项目开发中非常受欢迎，但它在使用期间需要整合众多第三方资源，都会导致配置过于臃肿，这也是令大家非常头疼的问题。SpringBoot的出现，就是为了让大家更方便去使用Spring框架进行开发，它基于“约定优于配置（COC）”的设计理念，它实现了自动化配置解决方案，包括自动配置第三方资源，从而简化了Spring应用的创

Spring Boot

转载 2020-06-15 18:44:22 172 阅读

Kafka零数据丢失的配置方案

这两年大数据行业发展前景较好，行业工程师薪资高、人才少、竞争压力小，很多人也因此想要转型成为大数据工程师，但也正是因为行业新、人才少，很多技术解决方案也是缺少很优质的答案。今天，我给大家详细剖析一个大数据工程师面试中的高频面试题——Kafka是如何保证数据零丢失的？如果要想保证Kafka数据不丢，要从Kafka的三个地方入手：生产者、服务端和消费者。生产者01/API使用在生产中Kafka生产者的

Kafka

转载 2020-06-12 18:20:51 118 阅读

Kafka零数据丢失的配置方案

这两年大数据行业发展前景较好，行业工程师薪资高、人才少、竞争压力小，很多人也因此想要转型成为大数据工程师，但也正是因为行业新、人才少，很多技术解决方案也是缺少很优质的答案。今天，我给大家详细剖析一个大数据工程师面试中的高频面试题——Kafka是如何保证数据零丢失的？如果要想保证Kafka数据不丢，要从Kafka的三个地方入手：生产者、服务端和消费者。生产者01/API使用在生产中Kafka生产者的

Kafka

转载 2020-06-12 18:19:43 126 阅读

大中台模式下如何构建复杂业务核心状态机组件

大中台战略下，中台将公司业务的公共能力下沉，并采用更加合理、可复用的架构和技术来实现这些基础能力。在电商行业内，将面临货物的采购、商品上架、交易发生、订单状态变化、客服介入等大量状态维护。每个状态之间具有很强的逻辑关联关系，比如：退款操作在发货前和发货后将是完全不同的流程,如图1订单退款流程。图1退款流程图由此可见，对于复杂状态的管理是一个业务依赖，需求多变的场景。在公司初创期，可以采用硬编码方式

大中台

转载 2020-06-12 17:37:06 344 阅读

Apache Spark有哪些局限性

ApacheSpark是行业中流行和广泛使用的大数据工具之一。ApacheSpark已成为业界的热门话题，并且如今非常流行。但工业正在转移朝向apacheflink。ApacheSpark简介ApacheSpark是为快速计算而设计的开源，闪电般快速的集群计算框架。ApacheSpark扩展了MapReduce模型，以有效地将其用于多种计算，包括流处理和交互式查询。ApacheSpark的主要功能

Apache Spark

转载 2020-06-11 19:20:39 113 阅读

Apache Spark有哪些局限性

ApacheSpark是行业中流行和广泛使用的大数据工具之一。ApacheSpark已成为业界的热门话题，并且如今非常流行。但工业正在转移朝向apacheflink。ApacheSpark简介ApacheSpark是为快速计算而设计的开源，闪电般快速的集群计算框架。ApacheSpark扩展了MapReduce模型，以有效地将其用于多种计算，包括流处理和交互式查询。ApacheSpark的主要功能

Apache Spark

转载 2020-06-11 19:20:25 181 阅读

五分钟学会Elasticsearch查询代理设计

Elasticsearch（ES）是一款基于Lucene的开源分布式搜索引擎。由于其稳定、可靠、快速、安装使用方便等优良特性，目前在业界已广泛使用。ES用途主要分两个方向：分布式实时文件存储以及分布式实时分析搜索引擎。一、为什么需要查询代理屏蔽复杂的DSL某二手交易平台使用ES，主要用来支持商品、用户等(以下统称文档)的搜索和分析。ES为查询功能提供了基于Json的完整QueryDSL，功能非常强

Elasticsearch

原创 2020-06-11 18:40:03 212 阅读

4天如何完爆Kafka源码核心流程！

Kafka至今仍是当今大数据技术中当之无愧的王者，由于高吞吐量、可持久化、分布式、支持流数据处理等特性而被广泛应用。这几年，大数据技术发展迅猛，其中Kakfa凭借高可靠、高吞吐、高可用、可伸缩几大特性，成为数据管道技术的首选。越来越多人开始使用Kafka，对学习源码的需求也愈发强烈，原因主要有以下几个方面：了解Kafka底层原理，从而搞懂Kafka高性能的实现机制；快速分析定位线上问题，有针对性地

Kafka

原创 2020-06-10 17:19:50 212 阅读

ZooKeeper核心原理及应用场景

为什么会有ZooKeeper我们知道要写一个分布式应用是非常困难的，主要原因就是局部故障。一个消息通过网络在两个节点之间传递时，网络如果发生故障，发送方并不知道接收方是否接收到了这个消息。有可能是收到消息以后发生了网络故障，也有可能是没有收到消息，又或者可能接收方的进程死了。发送方唯一的确认方法就是再次连接发送消息，并向他进行询问。这就是局部故障：根本不知道操作是否失败。因此，大部分分布式应用需要

ZooKeeper

原创 2020-06-09 16:09:43 348 阅读

ZooKeeper核心原理及应用场景

为什么会有ZooKeeper我们知道要写一个分布式应用是非常困难的，主要原因就是局部故障。一个消息通过网络在两个节点之间传递时，网络如果发生故障，发送方并不知道接收方是否接收到了这个消息。有可能是收到消息以后发生了网络故障，也有可能是没有收到消息，又或者可能接收方的进程死了。发送方唯一的确认方法就是再次连接发送消息，并向他进行询问。这就是局部故障：根本不知道操作是否失败。因此，大部分分布式应用需要

ZooKeeper

原创 2020-06-09 16:09:35 399 阅读

IT自由职业者是怎么样的感受和体验

“很多人可能对自由职业感兴趣，自由职业在欧美国家比较流行，韩国也越来越多的人开始自由职业方式办公，可能是因为文化观念的不同，欧美国家对各种各样的生活方式都会包容性更强一些，当然中国这方面在大城市也越来越好，所以当我们自由职业的时候，我们只是在体验不同的生活方式。这次我会毫无保留的把我的一些体验分享给大家。希望能给大家一些启发！"为什么从事自由职业？很多人想要自由职业是因为我们可以自由的安

IT职场

转载 2020-06-09 15:13:53 147 阅读

系统梳理主流定时器算法实现的差异以及应用

这一篇文章系统的梳理主流定时器算法实现的差异以及应用地方。定时器介绍程序里的定时器主要实现的功能是在未来的某个时间点执行相应的逻辑。在定时器模型中，一般有如下几个定义。interval：间隔时间，即定时器需要在interval时间后执行StartTimer：添加一个定时器任务StopTimer：结束一个定时器任务PerTickBookkeeping:检查定时器系统中，是否有定时器实例已经到期，相当

定时器

原创 2020-06-08 18:14:20 154 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Jss_forever