hdfs：分布式文件系统有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。存文件的叫datanode，记录文件的切块信息的叫namenodeHdfs的安装准备四台linux服务器先在hdp-01上进行下面操作配置域名映射vim /etc/hosts主机名：hdp-01 对应的ip地址：192.1
转载
2024-09-06 00:04:59
147阅读
LightWeightGSet是名字节点NameNode在内存中存储全部数据块信息的类BlocksMap需要的一个重要数据结构，它是一个占用较低内存的集合的实现，它使用一个数组array存储元素，使用linked lists来解决冲突。它没有实现重新哈希分区，所以，内部的array不会改变大小。这个类不支持null元素，并且不是线程安全的。它在BlocksMap中的初始化如下：
HDFS即Hadoop Distributed File System分布式文件系统，它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上，并且能够提供高可靠性和高吞吐量的服务。分布式文件系统要比普通磁盘文件系统复杂，因为它要引入网络编程，分布式文件系统要容忍节点故障也是一个很大的挑战。我们BI团队作为数据分析团队
转载
2024-04-19 11:54:59
559阅读
源码安装通过源码包进行源码安装，源码包能直接看到源码，安装时需要人为手工设置安装位置，一般是/usr/local/软件名/。优点： 1、开源的，可以自行修改代码 2、安装的时候可以自定义功能，按需选择功能 3、编译安装，更加适合系统， 4、卸载方便，直接删除安装目录缺点： 1、步骤多，难度大 2、编译时间长 3、错误新手比较难解决我们已经了解到的什么是源码安装，以及它的优缺点，那么接下来我们开始尝
转载
2024-04-10 16:23:20
190阅读
在大多数情况下，把变量缓存在寄存器中是一个非常有价值的优化方法，如果不用的话很可惜。C++编译器提供了显式禁用这种缓存优化的机会。如果你声明变量是使用了volatile修饰符，编译器就不会把这个变量缓存在寄存器里——每次访问都将去存取变量在内存中的实际位置。防止了C++编译器对所修饰的变量进行优化。主要应用于多线程编程。volatile 可以用于修饰原生类型也可用于自定义类型。volatile 虽
转载
2024-06-21 07:47:50
44阅读
hadoop编译
说明：hadoop版本：hadoop-2.5.0-cdh5.3.6环境：centos6.4必须可联网hadoop 下载网址： http://archive.cloudera.com/cdh5/cdh/5/其实编译还真就是体力活，按照官方的说明，一步步往下做就可以了，不过总会遇到坑。。编译步骤：1、下载源码，解压，本例中解压到
转载
2024-04-30 18:51:25
82阅读
Hadoop 安装详细步骤安装前 分别在 master、slave1、slave2 三台机器的 root 用户下的主目录下创建目录 bigdata，即执行下面的命令： mkdir ~/bigdata Hadoop 安装包下载 检查 Hadopp 和 java 版本是否对应，在官网中查hadoop-3.1.3 JDK 1.8
hadoop-2.10.2 JDK 1.7 or 1.8
转载
2024-10-20 06:50:52
54阅读
一、环境操作系统：centos 6.3 64bitsHadoop版本：1.0.4本文假设Hadoop的安装目录为<Hadoop>，Java的安装目录为<Java>二、编译：在<Hadoop>目录下，执行ant compile-c++-libhdfs -Dislibhdfs=true三、配置 主要解决g++ 寻找头文件和动态链接库的问题。1、头
原创
2013-10-15 09:49:17
10000+阅读
1评论
目录1、TTransportException(type=1, message="Could not connect to ('192.168.10.111', 9090)")} 1、分析：错误原因是不能正常连接到thrift服务2、TTransportException(type=4, message='TSocket read 0 bytes')1、分析1：错误原因可能是 hbase
C API libhdfsOverviewLibhdfs是一个基于C的HDFS的JNI。它为一部分HDFS的API提供了一个C的 API
原创
2022-10-28 06:46:11
204阅读
C是典型的编译语言，为了运行C语言编写的代码，我们需要通过C 编译器来运行。在linux 环境下，我们通常使用gcc 编译程序把C语言编写的代码变成机器代码，从而可以在特定的系统运行。编译性语言写的程序可以简单地使用编译完的文件运行。使用编译性语言的好处是，1. 相对于解释语言。运行更快。一次编译，处处执行【特定的系统上】。2. 在编译过程中有一些错误会浮现出来，从而保证你在早期修复。缺点是： w
转载
2024-04-11 08:33:30
39阅读
编译安装为什么要编译安装包管理系统是绝大多数发行版的必备组件，也是一个发行版区别于其它发行版的主要特征。但是有些软件，并不能通过包管理系统安装，这就需要下载源码编译安装。一个软件可能有许多功能，但是发行版中提供的安装包，通常只具有一些常见的功能。如果提供所有功能，那么无疑会占用更多的资源，而这些功能，大多数用户不会用到；而你会用到的功能，可能安装包中刚好没有。编译安装可以灵活地定制软件，选择自己需
转载
2024-03-27 13:20:09
42阅读
安装CentOS7.4后，执行#Python与#python -V，看到版本号是2.7.5现安装python3.X，但是不能删除2.x版本的。#python官方下载地址https://www.python.org/downloads/第1步：更新gcc，因为gcc版本太老会导致新版本python包编译不成功复制代码代码如下:#yum -y install gcc第2步：下载Python-3.6.4
转载
2023-11-23 15:35:56
74阅读
# Python3编译安装指南
## 简介
在本文中，我将向你介绍如何通过编译安装的方式在你的计算机上安装Python3。这种安装方式适用于那些想要从源代码构建Python的开发者，以便更好地了解Python的内部工作原理。
## 准备工作
在开始安装之前，请确保你的计算机已经安装了以下软件：
- C编译器（建议使用GCC）
- make工具
- zlib库
- OpenSSL库
- SQLi
原创
2023-11-19 03:07:34
136阅读
目录HDFSS基础知识特点高容错性适合大数据处理适合批处理流式文件访问可构建在廉价的机器上劣势低延时数据访问小文件存储并发写入，文件随机修改HDFS基本概念机架数据块(block)元数据用户数据fsimagefseditsHDFS ClientNameNodeDataNodeSecondary NameNodeHDFS体系结构进阶数据块大小设置健壮性磁盘数据错误，心跳检测和重新复制集群均衡数据完整
转载
2024-06-13 22:07:00
58阅读
在我们开始装机的时候很多同学选的是 minmal install最小化安装(就会缺少很多软件包，依赖包)那么假设你在编译安装py3，mysql，nginx等软件的时候，就会依赖于这些组件的基础运行解决这个依赖包的问题吧，最好的方式就是 yum install *****一，首先解决依赖包yum install gcc patch libffi-devel python-devel zlib-dev
转载
2023-06-27 11:19:21
155阅读
自动化脚本
原创
2022-06-21 12:18:44
101阅读
## 如何实现Linux免编译安装Redis 3
### 整体流程
下面是安装Redis 3的整体流程：
| 步骤 | 操作 |
| ---- | ---- |
| 步骤一 | 下载Redis源码包 |
| 步骤二 | 解压Redis源码包 |
| 步骤三 | 配置Redis |
| 步骤四 | 编译Redis |
| 步骤五 | 安装Redis |
| 步骤六 | 启动Redis |
#
原创
2024-05-07 07:21:03
30阅读
# 在 Ubuntu 上编译安装 Redis 3：一步一步来
Redis 是一个开源的内存数据结构存储系统，广泛用于数据库、缓存和消息代理。今天，我们将指导您如何在 Ubuntu 上编译并安装 Redis 3。通过以下步骤，您将能够轻松部署 Redis，以便在您的开发项目中使用。
## 先决条件
在开始之前，请确保您的系统上已安装以下软件包：
- `build-essential`: 这个
SQLServer2017+SSMS+SSDT安装注意事项：本次记录的是在虚拟机中的win10上的安装win10的版本受到SSMS18.7.1的要求，版本需在1607以上才能安装，为避免安装失败或在虚拟机中升级系统耗费大量时间，请下载WIN10且版本在1607以上SSDT的安装要求 安装 SSDT for Visual Studio 2017 (15.9.6) 前,请卸载“Analysis Ser
