文章说明本文主要是记录我在安装单虚拟机伪分布式hadoop集群与HBase中遇到的一些问题与处理方式。 主要的安装步骤基于林子雨老师的大数据软件安装和基础编程。虚拟机我采用的虚拟机工具是VMware WorkStations，没有选用VirtualBox（这里与林子雨老师的教程不同） 下面是我的虚拟机配置： 需要说明的是网络配置没有用桥接（在多个虚拟机构建伪分布式或者真分布式的时候是需要桥接的，同
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 给力星
本教程由厦门大学数据库实验室 / 给力星出品，转载请注明。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利安装并运行Hadoop。另外有Hado
以前装Hadoop-3.1.2是跟着厦大林子雨的详细教程装的，所以遇到的问题不多，自己没怎么思考，导致跟着官网再装了一个Hadoop-2.9.2（为了装Hbase2.2.0）时装了两天，现在把遇到过的问题记下来以免以后再犯。 首先，安装软件首先看官网教程。但官网的教程是很简单的，比如Hadoop的安装。默认会创建hadoop用户；给hadoop权限；所有都在hadoop用户下操作（不然会出错
转载
2023-07-31 17:31:38
313阅读
本教程主要参考厦门大学林子雨老师的安装过程，使用VMware Workstation Pro、centos7，配置一个主节点（master)，两个从节点(slave01,slave02)的全分布式hadoop集群安装教程，主要记录一下本次实验完成过程，大家有疑问之处欢迎在留言区评论~在此奉上林子雨老师的原安装教程，本教程具体代码完全参考林老师的，重在流程，故不再赘述代码，大家在安装过程中若发现不确
# 林子雨与Hadoop的奇妙旅行
在大数据时代，“林子雨”和“Hadoop”这两个词汇逐渐走入我们的视野。林子雨作为一个数据科学爱好者，借助Hadoop这个强大的工具，探索大数据的无穷奥秘。本文将介绍Hadoop的基本概念，并通过代码示例展示其使用方法。
## 什么是Hadoop？
Hadoop是一个开源的分布式计算框架，主要用于大规模数据存储和处理。它的核心组件包括Hadoop分布式文件
Windows10下Linux子系统Ubuntu的JDK环境、Hadoop环境配置以及Scala安装中出现的问题 安装前提： 平台：Windows10电脑，预先下载好的Ubuntu子系统，不会下载的见教程：Windows10使用Linux子系统 这里我使用的是Ubuntu18.04.2我们要开始学习大数据的相关内容，老师要求我们自行安装好Linux系统下的Scala软件并且配置好它所需要的JDK
1.首先打开一个全新的虚拟机系统,centos6.4版本如下图所示(同时打开终端):2.然后第一步创建hadoop用户(并且给用户设置密码):3.给hadoop用户添加权限:输入visudo进入,然后找到下图位置，添加下图画红色线的内容，然后保存并退出4.然后切换Hadoop用户登陆5.使用 hadoop 用户登录后，还需要安装几个软件才能安装 Hadoop。所以先要给虚拟机配置网络。连接网络后，
Hadoop安装安装环境本人开发用的电脑操作系统是ubuntu14.04 64位，因此本文讲述的是Hadoop在ubuntu14.0464bit系统下的安装，实际上Hadoop目前也只支持Linux系统。有人号称在Windows下成功安装了Hadoop，我是没有见过。新建用户首先要为Hadoop的安装创建一个新用户：sudouseradd -d /home/hadoop -m hadoop
sud
一、集群环境及安装： 1.1 集群环境- 系统： Ubuntu Kylin 14.04 LTS- Hadoop版本：Apache Hadoop-2.6.0 节点类型网络地址机器名配置信息Master192.168.0.100masterCPU：4核，内存：8GBackup&Slave192.168.0.99backupCP
实验五总共有三个小实验，其中第三个是其中逻辑最复杂的一个，我今天结合官方的实现代码来讲解其中的执行过程。首先是以如下形式表示的表明亲子关系的输入文件，左列为孩子名字，右列为父母名字，中间以空格分隔。其中第一行是表头，第二行开始才是真实的数据，所以在处理数据时不考虑第一行。child-parent.txtchild parent
Steven Lucy
Steven Jack
Jone Lucy
J
1.前言本文档适用于Hadoop3.x版本分布式测试集群搭建。HDFS组件包括：NameNode、DataNode、SecondaryNameNodeYarn组件包括：ResourceManager、NodeManagerMapReduce组件包括：JobHistoryServer2. 集群搭建前提条件关闭防火墙确保集群主机节点时间同步（可以安装ntp服务保持集群时间同步）集群间配好免密，包括免密
转载
2023-09-14 14:00:28
48阅读
「清华集训 2017」小 Y 和二叉树原题数据好像没有卡这个情况5
1 2
2 1 3
3 2 4 5
1 3
1 3输出是1 2 3 4 5首先考虑一个\(O(n^2)\)的暴力：枚举一个点为根，向下展开树，此时只需要决策左儿子和右儿子的顺序当两个子树都存在时，由于两个子树包含的元素不同，所以可以直接把 两个子树序列首较小 (显然不会出现相同的情况) 的一个放在前面即可实际上我们可以发现，这样得
转载
2023-07-16 22:14:48
78阅读
Hadoop是基于Java语言开发的，具有很好跨平台的特性。Hadoop的所要求系统环境适用于Windows，Linux，Mac系统，我们推荐选择使用Linux或Mac系统。Mac系统存在于苹果电脑上，由于Mac系统对硬件有定制化要求，没法在Windows上使用虚拟机和双系统来使用Mac系统,我们下面也会给出Mac系统安装Hadoop的相关教程。而Linux系统则可以在Windows上使用虚拟机或
转载
2023-07-25 00:17:46
0阅读
Hadoop是一个开源的分布式存储和计算框架，适用于大数据处理。在Hadoop中，集群的配置是非常重要的，可以影响到集群的性能和稳定性。本文将介绍如何在厦门大学林子雨服务器上配置Hadoop集群。
在配置Hadoop集群之前，首先需要确保服务器上已经安装了Java和SSH。接下来，我们将逐步配置Hadoop集群。
第一步是配置Hadoop的环境变量。我们需要编辑Hadoop的配置文件，以便集群
以前装Hadoop-3.1.2是跟着厦大林子雨的详细教程装的，所以遇到的问题不多，自己没怎么思考，导致跟着官网再装了一个Hadoop-2.9.2(为了装Hbase2.2.0)时装了两天，现在把遇到过的问题记下来以免以后再犯。首先，安装软件首先看官网教程。但官网的教程是很简单的，比如Hadoop的安装。默认会创建hadoop用户；给hadoop权限；所有都在hadoop用户下操作(不然会出错)；会更
转载
2023-08-04 10:32:14
50阅读
目录前言一、修改配置文件1. 配置 .bashrc 文件2. 配置伪分布式二、初始化文件系统三、验证安装1. 启动HDFS 2. 部分报错总结 前言 Hadoop 的伪分布式安装需要建立在 Hadoop 的单机安装之上 Java 版本为1.8.0_301，Hadoop 版本为3.3.1
转载
2023-08-18 19:46:49
73阅读
一、包管理工具及CentOS的yum1、包管理工具如何发现可以用的包包管理工具依赖一系列软件源，工具下载源的信息存储在配置文件中，其位置随某包管理工具不同而变化使用yum的RedHat/CentOS存储在：/etc/yum.repos.d使用apt-get的Debian/Ubuntu在：/etc/apt/apt.conf （额外的源采用*.list文件指定，存储在/etc/apt/sources.
hadoop自动安装脚本 大数据老师说hadoop安装非常容易失败，我在安装过程中确实踩了不少坑，仅仅按照林子雨老师的教程可能会出问题。所以我总结了遇到的问题，写了一个自动安装脚本，直接能在ubuntu上装好伪分布式hadoop。 因为水平有限，如果在你的的电脑上不能正常安装也请见谅。sudo userdel -r hadoop命令可以删除新建的hadoop用户。 本脚本可以顺便装java，
转载
2023-09-06 22:22:59
57阅读
云计算于大数据入门 —— 环境安装本教程采用厦门大学数据库实验室的林子雨老师的同等开发环境： 所需软件及环境所有文件整合的安装包我会放在文末本案例所涉及的系统及软件Linux系统(Ubuntu16.04或14.04或18.04)，这里使用 Ubuntu 20.04.5 LTS 系统进行安装MySQL(版本无要求)，这里使用清华大学镜像源中的默认版本Hadoop(2.7.1或2.7.3，
转载
2023-07-24 10:55:41
159阅读
本文主要参考林子雨老师的教程，以下是参考源：2.3.2 Hadoop的安装与使用详解_哔哩哔哩_bilibili本文希望通过部署Hadoop为主线，对Hadoop的框架组成、各部分协同工作的原理、技术细节形成一个初步的认知和了解。Hadoop安装前置知识现在比较常见的Linux系统安装方式是选择虚拟机安装，在安装前进行方法调研的时候笔者发现：近三年几乎所有方法都是基于虚拟机安装的。而林子雨老师视频
转载
2023-07-29 14:59:04
87阅读
