hdfs：分布式文件系统有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。存文件的叫datanode，记录文件的切块信息的叫namenodeHdfs的安装准备四台linux服务器先在hdp-01上进行下面操作配置域名映射vim /etc/hosts主机名：hdp-01 对应的ip地址：192.1
转载
2024-09-06 00:04:59
147阅读
LightWeightGSet是名字节点NameNode在内存中存储全部数据块信息的类BlocksMap需要的一个重要数据结构，它是一个占用较低内存的集合的实现，它使用一个数组array存储元素，使用linked lists来解决冲突。它没有实现重新哈希分区，所以，内部的array不会改变大小。这个类不支持null元素，并且不是线程安全的。它在BlocksMap中的初始化如下：
HDFS即Hadoop Distributed File System分布式文件系统，它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上，并且能够提供高可靠性和高吞吐量的服务。分布式文件系统要比普通磁盘文件系统复杂，因为它要引入网络编程，分布式文件系统要容忍节点故障也是一个很大的挑战。我们BI团队作为数据分析团队
转载
2024-04-19 11:54:59
559阅读
源码安装通过源码包进行源码安装，源码包能直接看到源码，安装时需要人为手工设置安装位置，一般是/usr/local/软件名/。优点： 1、开源的，可以自行修改代码 2、安装的时候可以自定义功能，按需选择功能 3、编译安装，更加适合系统， 4、卸载方便，直接删除安装目录缺点： 1、步骤多，难度大 2、编译时间长 3、错误新手比较难解决我们已经了解到的什么是源码安装，以及它的优缺点，那么接下来我们开始尝
转载
2024-04-10 16:23:20
196阅读
在大多数情况下，把变量缓存在寄存器中是一个非常有价值的优化方法，如果不用的话很可惜。C++编译器提供了显式禁用这种缓存优化的机会。如果你声明变量是使用了volatile修饰符，编译器就不会把这个变量缓存在寄存器里——每次访问都将去存取变量在内存中的实际位置。防止了C++编译器对所修饰的变量进行优化。主要应用于多线程编程。volatile 可以用于修饰原生类型也可用于自定义类型。volatile 虽
转载
2024-06-21 07:47:50
44阅读
hadoop编译
说明：hadoop版本：hadoop-2.5.0-cdh5.3.6环境：centos6.4必须可联网hadoop 下载网址： http://archive.cloudera.com/cdh5/cdh/5/其实编译还真就是体力活，按照官方的说明，一步步往下做就可以了，不过总会遇到坑。。编译步骤：1、下载源码，解压，本例中解压到
转载
2024-04-30 18:51:25
82阅读
Hadoop 安装详细步骤安装前 分别在 master、slave1、slave2 三台机器的 root 用户下的主目录下创建目录 bigdata，即执行下面的命令： mkdir ~/bigdata Hadoop 安装包下载 检查 Hadopp 和 java 版本是否对应，在官网中查hadoop-3.1.3 JDK 1.8
hadoop-2.10.2 JDK 1.7 or 1.8
转载
2024-10-20 06:50:52
54阅读
1、准备编译环境，Linux中绝大多数软件的源码都是用C语言写的，少部分用C++或其他语言编写。因此想要编译源代码需要先按照gcc编译器和gcc-c++编译器。# 安装编译器和常用库
yum groupinstall -y "Development tools"
yum install -y gcc gcc-c++ autoconf automake make
yum instlal zlib z
转载
2023-11-09 09:39:21
81阅读
在这篇博文中，我将详细介绍如何进行“源码编译ruby3安装”。我们会从环境准备开始，到分步指南，再到配置详解、验证测试、排错指南和扩展应用。这篇文章旨在让大家能够轻松理解和执行整个过程。
# 环境准备
在开始之前，我们需要确保所有的软硬件环境已准备就绪。Ruby 3的编译需要一定的系统配置及依赖库。
### 软硬件要求
- **操作系统**：推荐使用Ubuntu 20.04及以上版本或Cen
本人安装的lnmp环境的相关文件，可以在本人提供的百度云盘资源进行下载链接: http://pan.baidu.com/s/1dD6QZ1B 密码: zcs8一、概述 MySQL是一个跨平台的开源关系型数据库管理系统，目前隶属于Oracle公司。MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，许多中小型网站为了降低
原创
2015-08-15 19:54:52
670阅读
TLSv1.2协议首先明确TLS的作用三个作用 （1）身份认证 通过证书认证来确认对方的身份，防止中间人攻击 （2）数据私密性 使用对称性密钥加密传输的数据，由于密钥只有客户端/服务端有，其他人无法窥探。 （3）数据完整性 使用摘要算法对报文进行计算，收到消息后校验该值防止数据被篡改或丢失。TLS传输过程下面是使用wireshark抓包的结果，其中1-4是握手阶段，5是指握手后双方使用商议好的秘钥
首先安装基础包,安装网络依赖的时候要用[root@localhost tmp]#一、源码编译安装gcc-4.9.21、下载gcc源码包Download (HTTP): http://ftp.gnu.org/gnu/gcc/gcc-4.9.2/gcc-4.9.2.tar.gz2、解压压缩包[root@localhost tmp]# cd /usr/local/[root@loc
转载
2023-10-12 12:24:25
205阅读
1、下载vsftpd，可以从官网（http://vsftpd.beasts.org）下载，也可以百度搜索[root@localhost vsftpd]# wget http://down1.chinaunix.net/distfiles/vsftpd-3.0.2.tar.gz(此地址不能使用)2、解压压缩包并进入解压出来的目录 安装在192.168.125.128上[root@localhost
转载
2023-11-26 19:49:00
155阅读
对编译安装软件包的认识：1. 源文件需要先进行编译，生成二进制程序，之后需要链接，生成可执行程序；2. 在编译的时候需要指定各种参数，为了简化安装者编译的难度，需要用到make管理工具，使用make命令需要用到makefile文件；3. 因为写makefile文件也需要时间，为了减少软件作者的工作量，有了automake，它会自动生成makefile.in文件；4. 为了能够实现对软件的定制，所以
转载
2024-03-16 13:24:24
83阅读
前言 在Linux系统上一般会预安装python，但有时候版本过低，通过apt或yum无法安装较新的python版本，只能通过编译python源码进行安装。然而通过源码安装会依赖大量的库，手动安装这些依赖库也是一件很烦心的事情。而且还可能出现依赖库冲突的问题，装不好可能会破坏系统的正常使用。 有
转载
2024-02-29 13:24:25
95阅读
一、环境操作系统：centos 6.3 64bitsHadoop版本：1.0.4本文假设Hadoop的安装目录为<Hadoop>，Java的安装目录为<Java>二、编译：在<Hadoop>目录下，执行ant compile-c++-libhdfs -Dislibhdfs=true三、配置 主要解决g++ 寻找头文件和动态链接库的问题。1、头
原创
2013-10-15 09:49:17
10000+阅读
1评论
在linux下面安装一个源码包是最常用的，在日常的管理工作中，大部分软件都是通过源码安装的。安装一个源码包，是需要我们自己把源代码编译成二进制的可执行文件。如果你读得懂这些源代码，那么你就可以去修改这些源代码自定义功能，然后再去编译成你想要的。使用源码包的好处除了可以自定义修改源代码外还可以定制相关的功能，因为源码包在编译的时候是可以附加额外的选项的。源码包的编译用到了linux系统里的编译器，常
原创
2017-06-11 23:28:22
618阅读
除了用rpm、yum安装包外，还可以用源码编译安装源码包：代码可见的，要想在系统里运行，要翻译成机器语言，编译就是翻译的过程。源码包下载最好去官方网站以httpd为例下载地址以后下载的源码包最好放在/usr/local/src下，目的是为了以后方便维护有时候，需要去看一下它里面的文件，比如INSTALL README 安装指引源码包安装三个步骤：第一步： ./config
原创
2017-01-13 16:23:56
859阅读
linux中安装程序有两种方式，下载源码编译安装和利用已经编译好的RPM（yum）安装
1.编译源码和tarball
使用类似 gcc 的编译器来进行编译的过程并不简单，因为一套软件并不会仅有一支程序， 而是有一堆源程序文件。所以除了每个主程式与副程式均需要写上一笔编译过程的指令外，还需要写上最终的连结程序。
此时，make指令就显得比较重要了。当执行 make 时，make 会在当时的
原创
2011-06-30 10:22:03
574阅读
在日常管理工作中，大部分软件都是通过源码安装的。安装一个源码包，是需要我们自己把源代码编译成二进制的可执行文件。使用源代码的好处有可以自定义修改源代码，还可以定制相关的功能，因为源代码在编译时是可以附加额外的选项的。 源码包的编译用到了linux系统的编译器，常见的源码包一般都是用C语音开发
原创
2016-07-04 18:53:58
662阅读
