zsfz_053的博客_原创

奈学教育《大数据架构师》课程大纲

深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等)，对这些基础技术知识动态的排列组合，形成大数据全局架构观，并深入讲述大数据全局架构设计的方方面面，打造真正满足企业万亿级海量数据规模的数据中台，真正赋能前台业务。同时，在企业万亿级真实项目落地环节，采用高性能、高可用、高扩展的架构设计原则，技术上更是融合了企业级主流的离线架构和实时架构，带领大家构建

大数据课程

大数据课程大纲

原创 2020-06-23 15:08:21 686 阅读

奈学教育《P7架构师》课程大纲

孙玄与沈剑联手全新设计，《P7架构师》融合了业界数位大咖超10年开发经验以及他们的架构师成长经验。同时，课程由一线大厂资深架构师（阿里P8+）进行主讲。业内首次将分布式架构全部技术串联，并结合大厂真实案例实践讲解，并提供基于百度、58和转转等真实案例的工业级落地代码，将后端架构技术全面系统的展现，帮助同学们从全局视角掌握分布式架构设计方法，成为一个合格的架构师。我们用名师+好课来改变世界，打破业界

P7架构师

P7架构课程

原创 2020-06-23 14:45:09 1124 阅读

奈学教育《Java资深研发工程师》课程大纲

课程从Java核心基础知识入手，深入JDK、JVM底层源码实现，以及对各种开源框架的优雅设计剖析，为学员打下坚实的基础，让源码学习和底层原理梳理变得更加的简单、清晰、有效。通过结合企业级真实项目案例，融合核心技术知识点与框架级设计思想，进一步夯实核心技术能力的理解和应用。让学员面对企业变化多样的需求，和承担更有挑战性的工作。第一阶段：Java语言核心特性第一单元掌握Java语言核心特性玩转反射在框

ava资深研发工程师课程大纲

原创 2020-06-23 12:03:52 525 阅读

奈学教育《百万架构师》课程大纲

《百万架构师》课程由58集团技术委员会主席孙玄创办于2018年，至今已高质量、高口碑开班多期。奈学教育出品的《百万架构师》是在原有课程基础上全新升级打造而成。课程首次联手业内知名架构师沈剑精心打磨，深度对标阿里P8。更有超强教研团队:陈东、姚劲、李希沅、江士仕、肖秋平、林淮川、吴守星、向寒等P8+老师，提供课程辅导让你的问题不再过夜。本次课程核心:交付7大架构设计思维模型不变应万变的架构设计能力，

架构师培训

百万架构师大纲

架构师课程

原创 2020-06-22 19:00:24 1239 阅读

奈学教育《大数据开发工程师》课程大纲

本课程针对企业不同数据规模技术方案进行讲解，紧贴企业热门需求，深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用真实的企业级实时数仓项目、离线数仓项目、PB级实时用户行为分析系统、千亿级实时广告系统等多个大型项目

大数据开发课程

原创 2020-06-22 17:57:43 537 阅读

奈学教育《大数据架构师》课程大纲（1）

第一阶段：分布式协调组件第一单元掌握ZooKeeper的核心设计ZooKeeper生态体系结构ZooKeeper总体架构设计ZooKeeper读写请求流程深度剖析第二单元掌握ZooKeeper服务端源码流程ZooKeeper启动流程源码深度剖析Master选举算法源码深度剖析服务端通信模型源码深度剖析第三单元掌握ZooKeeper客户端源码流程客户端启动流程源码剖析客户端通信模型源码剖析Sessi

大数据

大数据培训

原创 2020-06-18 18:16:20 506 阅读

奈学教育《百万架构师》课程大纲（1）

第一阶段：基础架构设计与实践之道篇第一单元通过架构演进掌握架构设计核心思维模式智能互联网之总体架构设计(上)第二单元通过架构演进掌握架构设计核心思维模式智能互联网之总体架构设计(下)第三单元掌握高可用架构设计基本原则智能互联网之核心技术实践篇（上）第四单元掌握核心技术之分布式资源哲学本质和思维智能互联网之核心技术实践篇（中）第五单元掌握网关/分布式锁的哲学本质和场景Balance案例（一）企业级分

架构师

百万架构师

原创 2020-06-18 17:29:10 546 阅读

五分钟学会Elasticsearch查询代理设计

Elasticsearch（ES）是一款基于Lucene的开源分布式搜索引擎。由于其稳定、可靠、快速、安装使用方便等优良特性，目前在业界已广泛使用。ES用途主要分两个方向：分布式实时文件存储以及分布式实时分析搜索引擎。一、为什么需要查询代理屏蔽复杂的DSL某二手交易平台使用ES，主要用来支持商品、用户等(以下统称文档)的搜索和分析。ES为查询功能提供了基于Json的完整QueryDSL，功能非常强

Elasticsearch

原创 2020-06-11 18:40:03 212 阅读

4天如何完爆Kafka源码核心流程！

Kafka至今仍是当今大数据技术中当之无愧的王者，由于高吞吐量、可持久化、分布式、支持流数据处理等特性而被广泛应用。这几年，大数据技术发展迅猛，其中Kakfa凭借高可靠、高吞吐、高可用、可伸缩几大特性，成为数据管道技术的首选。越来越多人开始使用Kafka，对学习源码的需求也愈发强烈，原因主要有以下几个方面：了解Kafka底层原理，从而搞懂Kafka高性能的实现机制；快速分析定位线上问题，有针对性地

Kafka

原创 2020-06-10 17:19:50 212 阅读

ZooKeeper核心原理及应用场景

为什么会有ZooKeeper我们知道要写一个分布式应用是非常困难的，主要原因就是局部故障。一个消息通过网络在两个节点之间传递时，网络如果发生故障，发送方并不知道接收方是否接收到了这个消息。有可能是收到消息以后发生了网络故障，也有可能是没有收到消息，又或者可能接收方的进程死了。发送方唯一的确认方法就是再次连接发送消息，并向他进行询问。这就是局部故障：根本不知道操作是否失败。因此，大部分分布式应用需要

ZooKeeper

原创 2020-06-09 16:09:43 348 阅读

ZooKeeper核心原理及应用场景

为什么会有ZooKeeper我们知道要写一个分布式应用是非常困难的，主要原因就是局部故障。一个消息通过网络在两个节点之间传递时，网络如果发生故障，发送方并不知道接收方是否接收到了这个消息。有可能是收到消息以后发生了网络故障，也有可能是没有收到消息，又或者可能接收方的进程死了。发送方唯一的确认方法就是再次连接发送消息，并向他进行询问。这就是局部故障：根本不知道操作是否失败。因此，大部分分布式应用需要

ZooKeeper

原创 2020-06-09 16:09:35 399 阅读

系统梳理主流定时器算法实现的差异以及应用

这一篇文章系统的梳理主流定时器算法实现的差异以及应用地方。定时器介绍程序里的定时器主要实现的功能是在未来的某个时间点执行相应的逻辑。在定时器模型中，一般有如下几个定义。interval：间隔时间，即定时器需要在interval时间后执行StartTimer：添加一个定时器任务StopTimer：结束一个定时器任务PerTickBookkeeping:检查定时器系统中，是否有定时器实例已经到期，相当

定时器

原创 2020-06-08 18:14:20 154 阅读

系统梳理主流定时器算法实现的差异以及应用

这一篇文章系统的梳理主流定时器算法实现的差异以及应用地方。定时器介绍程序里的定时器主要实现的功能是在未来的某个时间点执行相应的逻辑。在定时器模型中，一般有如下几个定义。interval：间隔时间，即定时器需要在interval时间后执行StartTimer：添加一个定时器任务StopTimer：结束一个定时器任务PerTickBookkeeping:检查定时器系统中，是否有定时器实例已经到期，相当

定时器

原创 2020-06-08 18:14:07 117 阅读

微服务架构中分布式事务实现方案怎样何取舍

提起微服务架构，不可避免的两个话题就是服务治理和分布式事务。数据库和业务模块的垂直拆分为我们带来了系统性能、稳定性和开发效率的提升的同时也引入了一些更复杂的问题，例如在数据一致性问题上，我们不再能够依赖数据库的本地事务，对于一系列的跨库写入操作，如何保证其原子性，是微服务架构下不得不面对的问题。1分布式事务解决方案针对分布式系统的特点，基于不同的一致性需求产生了不同的分布式事务解决方案，追求强一致

微服务架构

架构

微服务

原创 2020-06-08 16:49:31 263 阅读

某二手交易平台大数据平台从 0 到 1 演进与实践

在人口流量红利不再，获客成本越来越高的时代，精益创业、MVP的概念已经深入人心，精细化运营也是大势所趋，而这些背后本质上都依赖数据化运营，那如何根据现有业务，快速从0开始打造一个契合业务的数据产品呢？本文将以某二手交易平台业务为基础，讲述整个数据平台从0到1的演进与实践，希望对大家能有所启发。1、背景在某二手交易平台开始大数据平台建设之前，整个数据从需求提出到研发流程再到数据报表、数据产品，也是经

大数据

原创 2020-06-06 16:47:57 291 阅读

架构师应该具备哪些思维模型？

架构师一直是程序员「羡慕且追求」的高度，今天来说说我（奈学教育CEO：孙玄）眼里优秀的架构师该如何定义。毕竟我也曾经是一名架构师：在开始今天的话题之前我说一个和我前公司P9现在已经是P10的对话。问题是这样的他说公司中间件架构师不熟悉公司业务，很多事落地不了，非常的疑惑。他最近主要任务就是和这些架构师聊天解惑：）接着他说了一个类比的故事大概是这样的，我们（架构师）要建设一条高速公路，来分别看看公路

架构师

高级架构师

原创 2020-06-06 11:47:56 242 阅读

分布式场景之刚性事务-2PC详解

分布式一致性分布式场景下，多个服务同时对服务一个流程，比如电商下单场景，需要支付服务进行支付、库存服务扣减库存、订单服务进行订单生成、物流服务更新物流信息等。如果某一个服务执行失败，或者网络不通引起的请求丢失，那么整个系统可能出现数据不一致的原因。上述场景就是分布式一致性问题，追根到底，分布式一致性的根本原因在于数据的分布式操作，引起的本地事务无法保障数据的原子性引起。分布式一致性问题的解决思路有

分布式

2PC

原创 2020-06-05 10:36:46 182 阅读

5G时代，如何彻底搞定海量数据库的设计与实践

5G时代，业务数据越来越丰富，业务使用MySQL数据库作为后台存储，存储引擎使用InnoDB，会带来哪些挑战？如何针对公司业务特点及MySQL数据库特性，制定若干数据库使用规范供一线RD在设计业务时参考部分内容要求强制执行。本文从介绍MySQL相关关键基础架构，并结合实际案例介绍表和索引的设计技巧，并对规范中重点内容做详细解读。一、基础知识1.1InnoDB记录存储方式大家都知道在InnoDB存储

数据库

原创 2020-06-04 17:39:56 69 阅读

大数据中台之Kafka，到底好在哪里？

今天给大家分享一个大数据里面很火的技术——Kafka，Kafka是一个分布式的消息系统，其高性能在圈内很出名。本人阅读过多个大数据生态的开源技术的源码，个人感觉Kafka的源码质量是比较高的一个，如果有同学感兴趣的话，可以拿来阅读一下。网上也有不少的文章分析Kafka的性能为什么那么好，但是我感觉很多文章都没说到点上，所以今天借着这个机会跟大家交流一下kafka的性能为什么那么好？优秀设计之基于N

Kafka

大数据中台

原创 2020-06-04 16:22:44 421 阅读

分布式架构，刚性事务-2PC必须注意的问题及3PC详细解

2PC必须注意的问题咱们上文介绍了分布式事务的常见方案、类型划分、2PC的起源和流程。但是不幸的是2PC还是存在几个问题：1、全流程的同步阻塞：不管是第一阶段还是第二阶段，所有参与节点都是事务阻塞型。当参与者占有公共资源时，其他第三方访问公共资源可能不得不处于阻塞状态。2、TM单点故障：由于全流程依赖TM的协调，一旦TM发生故障。参与者会一直阻塞下去。尤其在第二阶段，TM发生故障，那么所有的参与者

分布式架构

2PC

2PC注意问题

3PC详解

原创 2020-06-04 11:40:55 238 阅读

Kafka的生产者优秀架构设计

Kafka是一个高吞吐量的分布式的发布订阅消息系统，在全世界都很流行，在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码，感觉Kafka的源码是其中质量比较上乘的一个，这得益于作者高超的编码水平和高超的架构设计能力。Kafka的核心源码分为两部分：客户端源码和服务端源码，客户端又分为生产者和消费者，而个人认为Kafka的源码里面生产者的源码技术含量最高，所以今天给大家剖析Kafka的生

分布式

Kafka

原创 2020-06-03 17:01:53 325 阅读

奈学教育：Hadoop源码编译全流程分享

首先准备一个hadoop源码包，我选择的hadoop版本是：hadoop-2.7.7-src.tar.gz，在hadoop-2.7.7的源码包的根目录下有一个文档叫做BUILDING.txt，这其中说明了编译hadoop所需要的一些编译环境相关的东西。不同的hadoop版本的要求都不一样，对应的版本参照BUILDING.txt安装对应软件（必须联网）安装openssl-develyum-yinst

Hadoop

大数据

原创 2020-06-03 14:14:25 143 阅读

Hive底层执行引擎的深度剖析（免费）

《Hive底层执行引擎的深度剖析》的公开课，助力懵懂小伙伴进阶真正的Hive顶尖高手。

Hive

原创 2020-06-02 18:13:11 520 阅读

面试题：教你如何吃透RocketMQ

最近公司急招架构师，形形色色的人面了很多，但真正懂得设计思维的真的是少之又少。印象最深刻的一个同学，面对我提问的这个问题的时候，回答真的是让我佩服的五体投地！问：“你们公司为什么会选择用RocketMQ，而不是ActiveMQ、RabbitMQ？”当时他给我的答案是：当时领导决定的！一个用消息队列好几年的人，却不知道它的工作原理，也没有评估引入这些不同的组件会给项目带来何种风险的意识，不知道这样的

架构

架构设计

原创 2020-06-02 16:01:46 144 阅读

奈学：传授“带权重的负载均衡实现算法”独家设计思路

分布式系统中，大部分系统调用都会涉及到负载均衡，例如：客户端发往服务端的请求首先到达反向代理，然后反向代理再通过负载均衡算法将请求转发到业务系统；或者后端业务系统各模块间的调用前，也需要通过负载均衡算法选择到一个目标节点

分布式系统

原创 2020-06-01 15:31:20 185 阅读

分布式系统选主怎么玩

分布式系统为了保证其可靠性，一般都会多节点提供服务，各别节点的故障不会影响系统的可用性。对于分布式的存储系统来说，在保证可用性的同时，数据的可靠性（不丢失）也是其要解决的核心问题。目前通用的方案是使用多副本存储。这就会引入一个新的问题，分布式存储系统的又一核心问题——多个副本间的数据一致性保障。所以就有了各种数据一致性协议。例如：Zookeeper的Zab、Etcd使用的Raft和无比复杂的Pax

分布式系统

原创 2020-05-21 11:25:07 272 阅读

干货分享：分布式场景之刚性事务-2PC详解

分布式一致性分布式场景下，多个服务同时对服务一个流程，比如电商下单场景，需要支付服务进行支付、库存服务扣减库存、订单服务进行订单生成、物流服务更新物流信息等。如果某一个服务执行失败，或者网络不通引起的请求丢失，那么整个系统可能出现数据不一致的原因。上述场景就是分布式一致性问题，追根到底，分布式一致性的根本原因在于数据的分布式操作，引起的本地事务无法保障数据的原子性引起。分布式一致性问题的解决思路有

分布式

2PC

原创 2020-05-20 11:18:39 311 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Jss_forever

奈学教育《大数据架构师》课程大纲

奈学教育《P7架构师》课程大纲

奈学教育《Java资深研发工程师》课程大纲

奈学教育《百万架构师》课程大纲

奈学教育《大数据开发工程师》课程大纲

奈学教育《大数据架构师》课程大纲（1）

奈学教育《百万架构师》课程大纲（1）

五分钟学会Elasticsearch查询代理设计

4天如何完爆Kafka源码核心流程！

ZooKeeper核心原理及应用场景

ZooKeeper核心原理及应用场景

系统梳理主流定时器算法实现的差异以及应用

系统梳理主流定时器算法实现的差异以及应用

微服务架构中分布式事务实现方案怎样何取舍

某二手交易平台大数据平台从 0 到 1 演进与实践

架构师应该具备哪些思维模型？

分布式场景之刚性事务-2PC详解

5G时代，如何彻底搞定海量数据库的设计与实践

大数据中台之Kafka，到底好在哪里？

分布式架构，刚性事务-2PC必须注意的问题及3PC详细解

Kafka的生产者优秀架构设计

奈学教育：Hadoop源码编译全流程分享

Hive底层执行引擎的深度剖析（免费）

面试题：教你如何吃透RocketMQ

奈学：传授“带权重的负载均衡实现算法”独家设计思路

分布式系统选主怎么玩

干货分享：分布式场景之刚性事务-2PC详解