LightWeightGSet是名字节点NameNode在内存中存储全部数据块信息的类BlocksMap需要的一个重要数据结构，它是一个占用较低内存的集合的实现，它使用一个数组array存储元素，使用linked lists来解决冲突。它没有实现重新哈希分区，所以，内部的array不会改变大小。这个类不支持null元素，并且不是线程安全的。它在BlocksMap中的初始化如下：
源码安装通过源码包进行源码安装，源码包能直接看到源码，安装时需要人为手工设置安装位置，一般是/usr/local/软件名/。优点： 1、开源的，可以自行修改代码 2、安装的时候可以自定义功能，按需选择功能 3、编译安装，更加适合系统， 4、卸载方便，直接删除安装目录缺点： 1、步骤多，难度大 2、编译时间长 3、错误新手比较难解决我们已经了解到的什么是源码安装，以及它的优缺点，那么接下来我们开始尝
转载
2024-04-10 16:23:20
190阅读
hdfs：分布式文件系统有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。存文件的叫datanode，记录文件的切块信息的叫namenodeHdfs的安装准备四台linux服务器先在hdp-01上进行下面操作配置域名映射vim /etc/hosts主机名：hdp-01 对应的ip地址：192.1
转载
2024-09-06 00:04:59
147阅读
HDFS即Hadoop Distributed File System分布式文件系统，它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上，并且能够提供高可靠性和高吞吐量的服务。分布式文件系统要比普通磁盘文件系统复杂，因为它要引入网络编程，分布式文件系统要容忍节点故障也是一个很大的挑战。我们BI团队作为数据分析团队
转载
2024-04-19 11:54:59
559阅读
在大多数情况下，把变量缓存在寄存器中是一个非常有价值的优化方法，如果不用的话很可惜。C++编译器提供了显式禁用这种缓存优化的机会。如果你声明变量是使用了volatile修饰符，编译器就不会把这个变量缓存在寄存器里——每次访问都将去存取变量在内存中的实际位置。防止了C++编译器对所修饰的变量进行优化。主要应用于多线程编程。volatile 可以用于修饰原生类型也可用于自定义类型。volatile 虽
转载
2024-06-21 07:47:50
44阅读
Hadoop 安装详细步骤安装前 分别在 master、slave1、slave2 三台机器的 root 用户下的主目录下创建目录 bigdata，即执行下面的命令： mkdir ~/bigdata Hadoop 安装包下载 检查 Hadopp 和 java 版本是否对应，在官网中查hadoop-3.1.3 JDK 1.8
hadoop-2.10.2 JDK 1.7 or 1.8
转载
2024-10-20 06:50:52
54阅读
目录1、TTransportException(type=1, message="Could not connect to ('192.168.10.111', 9090)")} 1、分析：错误原因是不能正常连接到thrift服务2、TTransportException(type=4, message='TSocket read 0 bytes')1、分析1：错误原因可能是 hbase
C API libhdfsOverviewLibhdfs是一个基于C的HDFS的JNI。它为一部分HDFS的API提供了一个C的 API
原创
2022-10-28 06:46:11
204阅读
编译安装python31.1安装python前的库环境，非常重要yum install gcc patch libffi-devel python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-dev
转载
2024-08-06 19:13:03
309阅读
**大家好，我是霸王卸甲，很长时间没更新博客了，今天给大家带来的是centospython3的源码安装教程！！！！！python官网：https://www.python.org/下载python3的包装好yum源和epel源解压安装[root@localhosta]#lsPython-3.6.0.tgz[root@localhosta]#tar-xfPython-3.6.0.tgz-C/usr/
原创
2018-05-09 20:53:42
1253阅读
点赞
Linux下默认系统自带python2.6的版本，这个版本被系统很多程序所依赖，所以不建议删除，如果使用最新的Python3那么我们知道编译安装源码包和系统默认包之间是没有任何影响的，所以可以安装python3和python2共存首先去python官网下载python3的源码包，网址：https://www.python.org/进去之后点击导航栏的Downloads，也可以鼠标放到Downloa
原创
2018-06-06 17:23:50
1574阅读
hadoop编译
说明：hadoop版本：hadoop-2.5.0-cdh5.3.6环境：centos6.4必须可联网hadoop 下载网址： http://archive.cloudera.com/cdh5/cdh/5/其实编译还真就是体力活，按照官方的说明，一步步往下做就可以了，不过总会遇到坑。。编译步骤：1、下载源码，解压，本例中解压到
转载
2024-04-30 18:51:25
82阅读
目录HDFSS基础知识特点高容错性适合大数据处理适合批处理流式文件访问可构建在廉价的机器上劣势低延时数据访问小文件存储并发写入，文件随机修改HDFS基本概念机架数据块(block)元数据用户数据fsimagefseditsHDFS ClientNameNodeDataNodeSecondary NameNodeHDFS体系结构进阶数据块大小设置健壮性磁盘数据错误，心跳检测和重新复制集群均衡数据完整
转载
2024-06-13 22:07:00
58阅读
近期研究下源码调试，MySQL5.7版本源码安装还是比较简单的，有很多例子参考。所以这次选择MySQL8.0版本，再整源码编译中，踩到了很多坑多。身心交瘁，最终通过不停地尝试中，终于苦尽甘来。 8.0版本源码编译的同仁，需要把整个内容看完。1.MySQL8.0安装对于操作系统的要求2.环境：OS系统：CentOS Linux release 7.9.2009 (Core) MySQL版本8.0.2
转载
2023-07-21 22:54:09
176阅读
python3安装
1.安装依赖包
yum -y groupinstall 'Development Tools'
原创
2022-03-07 11:53:08
557阅读
其实一般使用redhat或centos中自带的rpm安装bind是十分简单的，但是源码安装可以让你对bind文件的整体结构有了更好的认识先下载一个源码包：https://www.isc.org/downloads/bind/直接下载即可。进入目录后就可以编译了，对于编译的模块就不细说了直接查询即可。但是有几个模块是必须要装的gcc、openssl和perl的相关组件，如果不想安装必须用--with
原创
2014-03-23 15:25:10
3168阅读
点赞
## Python3源码安装mysqlclient教程
### 一、概述
在进行Python开发中，我们有时候需要使用MySQL数据库，而mysqlclient是Python中一个常用的MySQL数据库驱动程序。本文将详细介绍如何使用Python3的源码安装mysqlclient。
### 二、安装步骤
下面是安装mysqlclient的整个流程，可以使用表格形式展示每个步骤：
| 步骤
原创
2023-09-22 22:39:23
240阅读
在这篇博文中，我将详细介绍如何进行“源码编译ruby3安装”。我们会从环境准备开始，到分步指南，再到配置详解、验证测试、排错指南和扩展应用。这篇文章旨在让大家能够轻松理解和执行整个过程。
# 环境准备
在开始之前，我们需要确保所有的软硬件环境已准备就绪。Ruby 3的编译需要一定的系统配置及依赖库。
### 软硬件要求
- **操作系统**：推荐使用Ubuntu 20.04及以上版本或Cen
&n
原创
2014-08-27 09:14:32
1219阅读
CentOS7默认安装了python2.7.5，当需要使用python3的时候，可以手动下载Python源码后编译安装。下载python(https://www.python.org/ftp/python/3.4.3/Python-3.4.3.tar.xz)解压下载好的压缩包
sudo mkdir /usr/local/python3
进入解压目录sudo 
转载
2017-07-04 11:10:59
602阅读
