Hadoop 安装详细步骤安装前 分别在 master、slave1、slave2 三台机器的 root 用户下的主目录下创建目录 bigdata，即执行下面的命令： mkdir ~/bigdata Hadoop 安装包下载 检查 Hadopp 和 java 版本是否对应，在官网中查hadoop-3.1.3 JDK 1.8
hadoop-2.10.2 JDK 1.7 or 1.8
转载
2024-10-20 06:50:52
54阅读
目录HDFSS基础知识特点高容错性适合大数据处理适合批处理流式文件访问可构建在廉价的机器上劣势低延时数据访问小文件存储并发写入，文件随机修改HDFS基本概念机架数据块(block)元数据用户数据fsimagefseditsHDFS ClientNameNodeDataNodeSecondary NameNodeHDFS体系结构进阶数据块大小设置健壮性磁盘数据错误，心跳检测和重新复制集群均衡数据完整
转载
2024-06-13 22:07:00
58阅读
hadoop编译
说明：hadoop版本：hadoop-2.5.0-cdh5.3.6环境：centos6.4必须可联网hadoop 下载网址： http://archive.cloudera.com/cdh5/cdh/5/其实编译还真就是体力活，按照官方的说明，一步步往下做就可以了，不过总会遇到坑。。编译步骤：1、下载源码，解压，本例中解压到
转载
2024-04-30 18:51:25
82阅读
hdfs：分布式文件系统有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。存文件的叫datanode，记录文件的切块信息的叫namenodeHdfs的安装准备四台linux服务器先在hdp-01上进行下面操作配置域名映射vim /etc/hosts主机名：hdp-01 对应的ip地址：192.1
转载
2024-09-06 00:04:59
147阅读
目录1、TTransportException(type=1, message="Could not connect to ('192.168.10.111', 9090)")} 1、分析：错误原因是不能正常连接到thrift服务2、TTransportException(type=4, message='TSocket read 0 bytes')1、分析1：错误原因可能是 hbase
源码安装通过源码包进行源码安装，源码包能直接看到源码，安装时需要人为手工设置安装位置，一般是/usr/local/软件名/。优点： 1、开源的，可以自行修改代码 2、安装的时候可以自定义功能，按需选择功能 3、编译安装，更加适合系统， 4、卸载方便，直接删除安装目录缺点： 1、步骤多，难度大 2、编译时间长 3、错误新手比较难解决我们已经了解到的什么是源码安装，以及它的优缺点，那么接下来我们开始尝
转载
2024-04-10 16:23:20
194阅读
C API libhdfsOverviewLibhdfs是一个基于C的HDFS的JNI。它为一部分HDFS的API提供了一个C的 API
原创
2022-10-28 06:46:11
204阅读
LightWeightGSet是名字节点NameNode在内存中存储全部数据块信息的类BlocksMap需要的一个重要数据结构，它是一个占用较低内存的集合的实现，它使用一个数组array存储元素，使用linked lists来解决冲突。它没有实现重新哈希分区，所以，内部的array不会改变大小。这个类不支持null元素，并且不是线程安全的。它在BlocksMap中的初始化如下：
HDFS即Hadoop Distributed File System分布式文件系统，它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上，并且能够提供高可靠性和高吞吐量的服务。分布式文件系统要比普通磁盘文件系统复杂，因为它要引入网络编程，分布式文件系统要容忍节点故障也是一个很大的挑战。我们BI团队作为数据分析团队
转载
2024-04-19 11:54:59
559阅读
形式如下：程序 菜单 命令（和Linux命令相似） 绝对路径1.hadoop fs -ls / 查看根目录下的文件（HDFS是一个单独的文件系统，使用时只能用绝对路径）2.hadoop fs -lsr / lsr表示递归显示根路径下的文件3.hadoop fs -mkdir /upload 在根路径下新建一个upload文件夹4.hadoop fs -pu
转载
2023-05-22 14:38:59
226阅读
一、环境操作系统：centos 6.3 64bitsHadoop版本：1.0.4本文假设Hadoop的安装目录为<Hadoop>，Java的安装目录为<Java>二、编译：在<Hadoop>目录下，执行ant compile-c++-libhdfs -Dislibhdfs=true三、配置 主要解决g++ 寻找头文件和动态链接库的问题。1、头
原创
2013-10-15 09:49:17
10000+阅读
1评论
## 使用libhdfs设置ugi_config文件路径
在Hadoop中，libhdfs是一个C语言库，用于与HDFS交互。当我们使用libhdfs操作HDFS时，有时候需要设置一个名为ugi_config的配置文件，来指定用户和组信息。本文将介绍如何在使用libhdfs时设置ugi_config文件路径。
### 什么是ugi_config文件
ugi_config文件是一个文本文件，用
原创
2024-05-07 07:36:49
170阅读
HDFS、文件系统
1、HDFS系统的特点1.1、特点廉价且稳定的存储解决方案高吞吐量的文件系统超大文件的支持简单一致性的文件系统流式的数据访问方式低时间延迟的数据访问大量的小文件多用户写入，任意修改文件1.2、不适合使用HDFS的场景低时间延迟的数据访问大量的小文件多用户写入，任意修改文件2、HDFS文件系统2.1 HDFS系统组成 Name
转载
2024-06-01 10:00:25
64阅读
一、下载JDK到Oracle官网下载JDK，这里我们选择64位。
二、安装JDK安装JDK时，除了修改安装目录，其他的一路【下一步】，傻瓜式安装。注：当提示安装JRE时，可以选择不要安装。因为JDK已经自带了JRE。安装JDK
三、配置环境变量1、单击"计算机-属性-高级系统设置"，单击"环境变量"。
2、编辑-&g
转载
2024-04-26 11:29:53
0阅读
我是个操作系统迷，爱好收藏各种各样的操作系统。近日，下载了微软MSDN版的win7，32位的约2.43G，64位的约3.11G，单独刻盘觉得有点“浪费”，能将它们做个合盘就好了。然而，别人修改过的系统像往往被怀疑暗藏木马，因此还是自己做的放心。 以下是本人的合盘方法，贴出来供大家参考。欢迎拍砖。合盘后完全可以刻到一张普通的DVD光盘中。 一、
转载
2024-01-01 08:49:19
34阅读
在Windows上使用Git，可以从Git官网直接下载安装程序，然后按默认选项安装即可，除了选择git安装路径之外，其他的全部next安装完成后，在开始菜单里找到“Git”->“Git Bash”，蹦出一个类似命令行窗口的东西，就说明Git安装成功！ 安装完成后，还需要最后一步设置，在命令行输入：$ git config --global user.name "Your Name"
$ gi
转载
2024-03-18 20:03:21
277阅读
Win10安装程序出现了一些问题如何解决呢？在安装Win10正式版过程中，无论采用“升级方式”还是“全新方式”进行安装，都可能会遇到“安装过程出现问题”的提示，对此我们可以尝试通过以下方法来解决。首先，安装Win10正式版系统的电脑必须满足最低硬件配置要求：屏幕：800x600以上分辨率固件：UEFI 2.3.1，支持安全启动内存：1GB(32位版);2GB(64位版)硬盘空间：16GB以上(32
转载
2024-02-15 09:23:11
39阅读
提要：上一讲我们介绍了一些基本的知识，这一讲我们就说说，怎么把系统镜像刻录到光盘和U盘，如何制作U盘启动盘，以及如何设置你的BIOS三、制作系统光盘/U盘1)光盘制作刻录前的准备，我们需要提前下载好软碟通，windows系统镜像，安装并注册好UITRAISO后双击运行，文件--打开--找到本地文件存放目录 这里我们选择win7旗舰版 x64位系统打开 将光盘放入光驱，选择工
转载
2024-05-02 14:51:20
82阅读
可能是太过于懒惰的原因，研究个windows 服务的安装程序都花了大半天时间。在网上看了一些示例，大部分都言过其实，把过程搞得太过复杂，老是需要去研究如何利用InstallUtil.exe及其参数。事实上，既然要安装.net下制作的windows服务，肯定首先得在目标机器上安装有.net框架。因此，InstallUtil.exe也一定已经存在目标机器上了，因而利用微软的傻瓜式操作就能很好地解决wi
转载
2023-10-21 00:27:42
0阅读
目录一、前言二、下载三、安装1. 打开安装包2. 进入安装界面3. 选择安装路径4. 选择安装组件5. 创建开始菜单中的快捷方式6. 选择Git默认编辑器7. 设置初始化新项目（仓库）的主干名字8. 调整你的PATH环境变量9. 选择SSH执行文件10. 选择HTTPS后端传输11. 配置行尾符号转换12. 配置终端模拟器与Git Bash一起使用13. 选择默认的“git pull”行为14.
转载
2024-03-25 19:57:20
110阅读
