shuffle读过程源码分析 上一篇中，我们分析了shuffle在map阶段的写过程。简单回顾一下，主要是将ShuffleMapTask计算的结果数据在内存中按照分区和key进行排序，过程中由于内存限制会溢写出多个磁盘文件，最后会对所有的文件和内存中剩余的数据进行归并排序并溢写到一个文件中，同时会记 ...
转载
2021-05-03 23:11:45
1096阅读
2评论
点击上方“前端印象”，选择“设为星标”第一时间关注技术干货！前言我觉得每个人可能都有过看源码的想法吧，也包括
转载
2021-06-14 22:24:12
158阅读
点击上方“前端印象”，选择“设为星标”第一时间关注技术干货！前言我觉得每个人可能都有过看源码的想法吧，也包括
转载
2021-06-14 22:14:20
119阅读
阅读Java源码的前提条件：1、技术基础 在阅读源码之前，我们要有一定程度的技术基础的支持。 假如你从来都没有学过Java，也没有其它编程语言的基础，上来就啃《Core Java》，那样是很难有收获的，尤其是《深入Java虚拟机》这类书，或许别人觉得好，但是未必适合现在的你。 比如设计模式，许多Java源码当中都会涉及到。再比如阅读Spring源码的时候，势必要
转载
2023-09-30 15:21:27
90阅读
ShuffleManager（一） 本篇,我们来看一下spark内核中另一个重要的模块，Shuffle管理器ShuffleManager。shuffle可以说是分布式计算中最重要的一个概念了，数据的join，聚合去重等操作都需要这个步骤。另一方面，spark之所以比mapReduce的性能高其中一个 ...
转载
2021-05-03 23:12:02
293阅读
2评论
刚才在论坛不经意间，看到有关源码阅读的帖子。回想自己前几年，阅读源码那种兴奋和成就感(1)，不禁又有一种激动。 源码阅读，我觉得最核心有三点：技术基础+强烈的求知欲+耐心。 说到技术基础，我打个比方吧，如果你从来没有学过Java，或是任何一门编程语言如C++，一开始去啃《Core Java》，你是很难从中吸收到营养的，特别是《深入Java虚拟机》这类书，别人觉得好，未必适合
转载
2023-08-29 19:21:42
70阅读
坚持!! 不要放弃学习!!!代码中的C++通读源码之后,我们可以发现, 源码中大多是C和C++写的, 我相信读者大都是java程序员如果是一些if-else,while这些简单的控制流程语句应该是没问题的, 但如果是一些有c/c++特色的就不太好懂了.这篇文章也是我现学现卖整理了一些C++的基础知识点宏语句源码中的宏语句如下所示:使用的地方如下图所示:从图中我们可以看到, 直接使用GB
转载
2023-08-22 16:12:51
175阅读
今天跟大家分享一下我平时阅读源码的几个小技巧，对于阅读Java中间件如Spring、Dubbo等框架源码的同学有一定帮助。
转载
2023-05-26 21:33:08
511阅读
刚才在论坛不经意间，看到有关源码阅读的帖子。回想自己前几年，阅读源码那种兴奋和成就感，不禁又有一种激动。 源码阅读，我觉得最核心有三点：技术基础+强烈的求知欲+耐心。 说到技术基础，我打个比方吧，如果你从来没有学过Java，或是任何一门编程语言如C++，一开始去啃《Core Java》，你是很难从中吸收到营养的，特别是《深入Java虚拟机》这类书，别人觉得好，未必适合现在的你。 虽然Tomcat的
转载
2023-09-27 16:13:54
65阅读
10年阿里架构师告诉你阅读Java源码的正确姿势1、技术基础在阅读源码之前，我们要有一定程度的技术基础的支持。假如你从来都没有学过Java，也没有其它编程语言的基础，上来就啃《Core Java》，那样是很难有收获的，尤其是《深入Java虚拟机》这类书，或许别人觉得好，但是未必适合现在的你。比如设计模式，许多Java源码当中都会涉及到。再比如阅读Spring源码的时候，势必要先对IOC，AOP，J
转载
2023-12-04 21:37:44
92阅读
1. 前言 之前断断续续读过一部分 JDK 常用类的源码，这里想把过程中的一些心得和方法记录下来，如果能帮到需要的小伙伴就再好不过了！本文主要分享一下我的阅读工具和阅读顺序。PS: 由于当前主流使用的 JDK 版本仍是 1.8，因此源码阅读主要是 1.8 版本，有些地方可以参考 1.7（面试可能问到）。2. 工具 工欲善其事，必先利其器。需要的工具不多，IDE + Google 翻译足够了。使用
转载
2024-01-24 12:57:05
59阅读
前言前几天面试，有面试官直接拿 bert 的源码让我分析，emm， 有点厉害呀。还好老宋底子可以， 之前看过 Transformer 的实现，自己也用 Transformer 写了一下文本分类任务，没有难住我，哈哈哈哈。不过，看来，如今，面试官们已经不满足仅仅只问原理了， 倒也是，如何看出一个人的代码能力，看看他读源码的能力就能看得出来。因此，老宋觉得各位真的要看一看 Bert 的源码了， 于是，
原创
2021-03-31 20:46:48
654阅读
一、HiveQL是什么？
1.HiveQL概述
Hive是一种数据仓库分析系统，前面我们也说到过，它主要是将SQL的查询过程通过MapReduce来完成
HiveQL本质上就是一种SQL。Hive通过HiveSQL去查询分析需要的内容，使不熟悉MapReduce的用户也可以很方便的利用SQL来查询、汇总并分析数据。
2.HiveQL及Hive的特点
(
转载
2023-08-04 10:30:22
132阅读
源码阅读目的是为了了解Java原理,学习优秀的类设计,整体阅读顺序和侧重主要参考基础类和常用类,参考网上整体归纳如下:包java.lang1)Object12)String13)AbstractStringBuilder14)StringBuffer15)StringBuilder16)Boolean27)Byte28)Double29)Float210)Integer211)Long212)Sh
原创
2020-04-08 21:35:04
368阅读
# 如何进行Java源码阅读
作为一名经验丰富的开发者，我将向你介绍如何进行Java源码阅读。这对于刚入行的小白来说可能是个挑战，但是掌握这项技能将使你成为一名更好的开发者。在本文中，我将为你提供一个整体的流程，并解释每一步需要做什么，包括相关的代码和注释。
## 流程图
下面是整个Java源码阅读的流程图，以帮助你更好地理解这个过程。
```mermaid
graph TD
A[
原创
2023-09-30 00:48:32
25阅读
Eclipse中第一种：步骤： eclipse?windows?设定?java?build path?classpath变量?新建 名称：JRE_SRC file：jdk/src.zip 这样就ok了第二种：1，你把鼠标放在一个jkd的类上按下F3，如果这时迁移到一个class文件拿去的话 2，class文件画面会有一个“关联源代码”按钮，点击这个按
转载
2024-08-12 14:01:38
116阅读
使用IDEA阅读源码的正确姿势~ 有一句古语，大家都听过的——工欲善其事必先利其器，尤其是生活在这样一个既是最好的时代，又是最坏的时代中，极其智能的编辑器Intellij IDEA因其智能性受到大家推崇，又因其智能性而不熟练于一些设置而苦恼，今天找来一篇文章为大家总结了使用IDEA阅读源码时最惊为天人的几个方式1 秘技-左右横跳 ·选中方法，CTRL+左击，可跳转至方法的定义处 ·在方法定义处执行
转载
2023-09-08 19:47:15
87阅读
vscode的简介：vscode是微软开发的一款轻量级代码编辑器，免费、开源而且功能强大。vscode是用electron开发可在多端运行，可以适用多种语言的开发工具。目的：工欲善其事，必先利其器。通过配置 VSCode 插件来提高生产力。如何配置插件：1.安装vscode；2.打开软件，找到插件入口；3.输入相应的插件名称，基本安装了就可以了。非常好用的插件：1.code spell
转载
2023-11-03 12:48:36
313阅读
vscode插件就像手机里的应用商店一样，可以让我们在高效代码开发、为了美观的代码格式，可以更好的高逼格分享代码等系列功能，本文特意整理了艾编程老师多年来使用vscode的经验，整理的插件集希望对您有帮助！1、简体中文语言包插件名称：Chinese中文（简体）语言包作用：将VSCode操作界面转换为中文，对英语不好的朋友，非常友好安装完成，重启VScode即可查看中文操作界面 2、编辑器
转载
2023-09-20 15:03:44
417阅读
作为一个java程序员，你有没有好好读过一个 java框架类的源码，或者java虚拟机源码，都说读源码可以大大提高我们的编程能力和编程思维，在这过程你可以学到更加底层的技术，从架构的思维上去设计框架。那么，在阅读源码前，有没什么前期准备呢?下面跟着小编来了解下。 扎实的技术基础 比如阅读Spring源码的时候，势必要先对IOC，AOP，Java动态代理等知识点有所了解，如果你连这些知识都不
转载
2023-07-20 06:43:54
43阅读
