目录1. 版本关系2. MySQL MariaDB 安装2.1. MariaDB安装2.1.1. 源码编译安装2.2. docker运行2.3. 安装MySQL3. 文件目录 & 类 概述3.1. 文件3.1.1. 头文件3.2. 类4. MySQL语句解析器 – lex + yacc4.1. 概述4.2. Lex 词法解析器4.3. yacc 语法解析器5. MySQL语句 成员分析5.
转载
2023-09-11 13:33:12
50阅读
hadoop 源代码分析(一)Google 的核心竞争技术是它的计算平台。HadoopGoogle的大牛们用了下面5篇文章，介绍了它们的计算设施。GoogleCluster：http://research.google.com/archive/googlecluster.html
Chubby：http://labs.google.com/papers/chubby.html
GFS：h
转载
2023-09-06 20:43:46
61阅读
由于本人愚笨，光阴似箭、日月如梭、随着年龄的增长，看着那么多大牛，写出了那么多知名的框架，对于框架的知识，不仅仅想知道怎么去使用它，还想为什么别人是这样设计，这样声明类和接口，就好比刚刚开始看的HDFS文件系统一样，为什么会有Fimage类对象和edits对象。我脑子里面总是在想，很多事情是从简单到复杂的，看hadoop的代码也是，所以我就从hadoop的最简单、最基础
转载
2024-02-20 19:49:25
17阅读
Hadoop源代码分析（三五）除了对外提供的接口，NameNode上还有一系列的线程，不断检查系统的状态，下面是这些线程的功能分析。在NameNode中，定义了如下线程：hbthread = null; // HeartbeatMonitor threadpublic Daemon lmthread&nb
转载
2023-09-13 23:39:27
71阅读
Hadoop是一个大数据处理平台，目前在大数据领域应用也非常广泛，刚好最近我们BI组在进行把底层数据仓库迁移到Hadoop平台并且当前BI的数据平台已经深度依赖Hadoop平台，所以在工作之余开始去深入了解下Hadoop内部实现以更好地应用它，在遇到问题的时候有更好的解决思路。本文详细介绍了Hadoop领域中分布式离线计算框架MapReduce的原理及源码分析。 1. MapReduce概述 &
转载
2023-09-13 23:05:57
38阅读
第一章：数据结构和算法1.3 保留最后 N 个元素问题：在迭代操作或其他操作的时候，怎样只保留最后有限几个元素的历史记录？解决方案：保留有限历史记录正是 collections.deque 大显身手的时候。比如，下面的代码 cookbook_deque.py 在多行上面做简单的文本匹配，并返回匹配所在行的最后 N 行：from collections import deque
def s
转载
2023-06-26 00:06:49
47阅读
简介
图片.png
从Python生态系统中发现现代的新一代测序文库，分析大量生物数据主要特点使用最重要的Python库和应用程序执行复杂的生物信息学分析实施新一代测序，宏基因组学，自动化分析，群体遗传学等探索生物信息学数据分析的各种统计和机器学习技术生物信息学是一个活跃的研究领域，它使用一系列简单到高级的计算来从生物数据中提取有价值的信息。本书涵盖了新一代测序，
Python–cookbook–1.数据结构与算法 文章目录Python–cookbook–1.数据结构与算法解压序列赋值给多个变量解压可迭代对象赋值给多个变量文件对比，对比当前行和之前行查找最大或最小的N个元素实现优先级队列字典中的键映射多个值字典排序字典的运算查找两字典的相同点删除序列相同元素并保持顺序命名切片序列出现次数最多的元素通过某个关键字排序一个字典列表排序不支持原生比较的对象通过某个
转载
2023-09-19 22:47:55
52阅读
本节书摘来自异步社区《Python Cookbook（第2版）中文版》一书中的第1章，第1.20节，作者[美]Alex Martelli , Anna Martelli Ravenscrof , David Ascher ，高铁军 译1.20 使用Unicode来处理国际化文本任务需要处理包含了非ASCII字符的文本字符串。解决方案可以在一些使用普通的字节串str类型的场合，使用Python提供的
转载
2023-09-27 10:06:21
43阅读
非常感谢译者熊能的无私奉献，书籍可在线观看python3-cookbookgithub：https://github.com/yidao620c/python3-cookbook 文章目录一、数据结构和算法五、文件与IO 一、数据结构和算法任何的序列（或者是可迭代对象）可以通过一个简单的赋值操作来分解为单独的变量。 唯一的要求就是变量的总数和结构必须与序列相吻合。解压可迭代对象赋值给多个变量保留最
转载
2023-07-05 11:19:34
94阅读
Hadoop源码解读(shuffle机制) 这次主要聊一聊hadoop中比较复杂的shuffle机制。同样是通过源代码来一步一步进行解析。首先，shuffle是mapTask运行写出一个key，value键值对后，收集器收集，开始shuffle的工作。所以入口在MapTask的run()方法中的 runNewMapper(job, splitMetaInfo, umbilical, reporte
转载
2024-04-17 12:11:23
9阅读
具备技能分布式系统知识对分布式系统的网络通信模块，调度模块需要不断补充java相关知识（比如RPC，NIO，设计模式等）具体步骤第一个阶段：学习hadoop基本使用和基本原理，从应用角度对hadoop进行了解和学习尝试使用hadoop，从应用层面，对hadoop有一定了解，使用hadoop shell对hdfs进行操作，使用hdfs API编写一些程序上传，下载文件；使用MapReduce API
转载
2023-08-16 22:09:13
42阅读
Hadoop 源代码分析（2）package
http://caibinbupt.javaeye.com/blog/270378
Hadoop 源代码分析（3）
org.apache.hadoop.io
http://caibinbupt.javaeye.com/blog/277640
Hadoop 源代码分析（4）
转载
2023-09-13 22:57:39
50阅读
# 学习如何实现 Hadoop 源码
当你开始接触大数据处理框架 Hadoop 时，理解其核心源码是掌握这一工具的关键。本文将帮助你了解如何下载、构建和运行 Hadoop 源码，伴随着详细的代码示例和步骤。
## 1. 项目流程
以下是实现 Hadoop 源码的总体步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 安装必要的工具 |
| 2 | 下载
原创
2024-09-16 03:50:22
20阅读
经过近66个工作日的时间，终于搞定了HDFS系统，在我们的项目中，称为Fordim0.1。
为了能够让更多的朋友认识Hadoop在此附上一Google’s Solution --> Open Source Word’s Solution ：
Google File System – Hadoop Distributed FS
Map-R
转载
2023-08-20 14:27:45
65阅读
文章目录一、前期准备工作二、安装编译所需工具2.1 安装JDK2.2 安装Maven2.3 安装Ant2.4 安装ProtoBuf2.5 安装openssl库2.6 安装ncurses-devel库三、开始编译四、常见问题 一、前期准备工作配置CentOS能连接外网，保证Linux虚拟机ping www.baidu.com是畅通的全程使用root用户编译，减少文件夹权限出现问题需要注意，读者如果操
转载
2023-09-20 10:38:46
90阅读
Hadoop源码解读一前言寻找入口类main方法createNameNode方法NameNode构造方法initialize方法loadFromDisk方法loadFSImage方法recoverTransitionRead方法loadFSImage方法saveNamespace方法总结 前言在学习的过程中，我们总是不可避免的以使用为目标，而没有深入的去研究源码的构成，本文简单的分享我阅读源码的
转载
2023-11-18 23:16:32
84阅读
作者 | 吴邪 大数据4年从业经验，目前就职于广州一家互联网公司，负责大数据基础平台自研、离线计算&实时计算研究编辑 | lily关于一门技术源码的解读是很令人头疼的一件事情，很多小伙伴都不知道从何入手，作为一名程序猿，我也是这样经历过来的，在没人指导的情况下不断碰壁，那种想入而不得的感觉相当难受，希望通过这篇文章能帮助同学们学会阅读源码的技巧。前面两篇文章《Had
转载
2023-09-14 22:06:29
96阅读
Hadoop源码分析（16）1、 RPC解析 在文档（15）中解析了实际进行远程调用client类的call方法。在该文档中提到的其本质是使用java的NIO与远端的服务器进行连接。并通过channel将需要执行的方法的数据发送过去，然后等待远端将执行结果返回给客户端。 hdfs的组件中很多都有RPC的server端，之前文档分析到namenode启动的时候会从journalnode中读取其存
转载
2023-08-18 19:33:15
41阅读
学习笔记Chapter2 Layout Management第一节:Arranging several labels within a label frame widget把代码加进上一篇文章中的mainloop(事件循环)labelsFrame=ttk.LabelFrame(win,text=' Labels in a Frame ')
labelsFrame.grid(column=0,row
转载
2023-12-05 21:48:21
42阅读
