Hadoop生产环境搭建
1. 将安装包hadoop-2.x.x.tar.gz存放到某一目录下，并解压。
2. 修改解压后的目录中的文件夹etc/hadoop下的配置文件（若文件不存在，自己创建。）
包括hadoop-env.sh,mapred-site.xml,core-site.xml,hdfs-site.xml,yarn-site.xml
3. 格式化并启动HDFS
4. 启动YA
转载
2023-08-10 09:32:31
38阅读
1. 卸载CentOS自带的JDK和多余的软件yum remove java* libreoffice* -y2. 关闭防火墙,SELINUXsystemctl stop firewalld.servicesystemctl disable firewalld
原创
2017-10-28 17:56:39
799阅读
点赞
IDEA使用GUI Form开发的时候，到产品发布打包的阶段，由于IDEA的GUI Form需要依赖IDEA提供的一个jar包，使用IDEA自带的构建、运行方法，在run和debug的时候，都运行的很好，但是，如果使用ant或者gradle等构建工具构建或打包后，运行时会报空指针异常等错误，排查发现是由于没有找到IDEA自动生成的Swing组件。在查阅网上相关的帖子，和IDEA自带的帮助手册以后，
转载
2023-09-06 12:58:55
9阅读
前情回顾之前在搭建大数据集群的时候，一直使用的是VMware虚拟机中直接搭建集群，这样的操作需要考虑到硬件设备的综合性能。今天为大家介绍一下如何使用Docker容器中安装Hadoop集群，接下来将会为大家详细的介绍搭建的方法以及需要注意的事项。一、准备环境1. 安装Dockersudo apt-get install docker2.准备Hadoop的压缩包在这里直接将我之前使用的tar包提供给大
转载
2023-08-26 15:28:07
177阅读
学习HDFS绕不开的一个重要的知识点就是Hadoop RPC框架。但是能将RPC框架从客户端->服务端，再从服务端到客户端这一套通信脉络顺着讲明白的资料很少。不少都是给出各个类的定义啊，调用了什么方法啊，很难让读者直观的理解Hadoop RPC框架。因此决定写这样一篇文章，我觉得只要认真读这篇文章，同时跟着本文的流程走一遍，掌握Hadoop RPC框架绝对是不在话下。本文通过流程图+文字详细
转载
2023-07-12 12:56:35
68阅读
Docker官方的站点已经有构建好了的hadoop镜像，可以直接下载下来使用，但是这样的话要下载下来时间太长，所以我们完全可以下载Dockerfile文件，自己构建。从github上找到了该Dockerfile，在附件中，可以根据readme来构建该镜像。
原创
2014-11-28 13:38:46
586阅读
Hadoop的可执行版本可以从网上下载，比如，hadoop-2.6.0.tar.gz;同时，也可以下载hadoop的源码，比如，hadoop-2.6.0-src.tar.gz;现在介绍如何从源码构建hadoop-2.6.0.首先，解决代码依赖性，有如下几个软件需要装好：java-1.7.0-openjdk-devel - java开发环境的开源版本maven 3.0及以上 - java项目的构建管
原创
2016-04-02 11:49:29
489阅读
自己制作Hadoop集群的镜像踩坑记录WORKDIRFROMRUNCOPY总结 不容易，真不容易。几乎是每一行都踩到坑里了。而且现在docker还在跑，最后的结果对不对还未知。索性把整件事记录下来 WORKDIR这是一个设置运行容器路径的命令，一开始我天真地认为，这里写 /root ，后面COPY的时候写的/tmp 就是类似服务器的绝对路径了。真是又一个坑，它这里的意思就是把workdir的路
# 构建Hadoop集群心得
近年来，以大数据为核心的技术越来越受到重视，Hadoop作为大数据处理的重要框架，其集群的搭建成为了许多数据工程师的重要任务。在本文中，我将分享我在构建Hadoop集群过程中遇到的一些心得体会以及简单的代码示例，助你更好地理解这一过程。
## Hadoop集群架构
Hadoop集群主要由以下几个组件组成：
- **NameNode**：负责管理文件系统元数据。
IntelliJ IDEA 支持多种构建工具，这些工具帮助自动化项目构建、依赖管理、编译、测试和部署过程。以下是几种常见的构建工具及其在 IntelliJ IDEA 中的集成和支持：1. Maven简介: Maven 是一个非常流行的Java项目管理工具，它使用POM（Project Object Model，项目对象模型）来描述项目结构、依赖关系、构建过程等。IntelliJ IDEA集成: I
Hadoop入门环境搭建1.基础环境 1.1安装版本 Hadoop2.8.4， JDK1.8， Centos7， VMware Workstation14 1.2在虚拟机安装服务器并配置 我在虚拟机上安装3个centos系统，分别命名为master，slave1，slave2。 1.2.1 修改服务器名称 使用hostname命
转载
2024-06-07 12:20:47
60阅读
一、倒排索引简介倒排索引是文档检索系统中最常用的数据结构，被广泛用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档的存储位置映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行了相反的操作（根据关键字来查找文档），因而称为倒排索引（Inverted Index）。二、Map过程首先使用默认的TextInputFormat 类对输入文件进
转载
2023-11-28 10:29:10
104阅读
1， 概念：--------Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。 1.1 理论 1）集群：  
转载
2023-08-04 12:20:25
238阅读
大数据系列(一)之hadoop介绍及集群搭建系列介绍:本系列针对大数据这门综合技术逐一展开。大数据必备技术栈hadoop简介大数据技术涉及两方面，一是数据存储，二是数据运算 hadoop是一种分布式框架，可利用集群对用户业务逻辑海量数据进行分布式处理，hadoop是一个生态圈，跟springcloud概念类似，包含多种技术，如下表组件技术描述hdfs分布式文件系统MapReduce分布式计算框架Y
转载
2023-09-09 19:04:17
243阅读
# 构建Hadoop集群实验总结
Hadoop是一个开源框架，允许分布式处理大规模数据集。构建Hadoop集群可以帮助我们理解分布式计算的机制。对于刚入行的小白而言，虽然最初可能会感到困惑，但下面的步骤将清晰地引导你完成整个过程。
## 流程概述
以下是构建Hadoop集群的基本步骤：
| 步骤 | 描述 |
|------|----
原创
2024-09-14 03:20:18
55阅读
前言Hadoop的MapReduce环境是一个复杂的编程环境，所以我们要尽可能地简化构建MapReduce项目的过程。Maven是一个很不错的自动化项目构建工具，通过Maven来帮助我们从复杂的环境配置中解脱出来，从而标准化开发过程。所以，写MapReduce之前，让我们先花点时间把刀磨快！！当然，除了Maven还有其他的选择Gradle(推荐), Ivy….后面将会有介绍几篇MapR
原创
精选
2023-06-07 11:53:45
543阅读
Sep 30, 2013 用Maven构建Hadoop项目Hadoop家族系列文章
原创
2022-09-22 23:24:40
156阅读
# Hadoop集群构建实验总结
## 1. 流程概述
为了构建一个Hadoop集群，我们需要按照以下步骤进行操作。你可以参考下面的表格来了解整个流程：
| 步骤 | 操作 |
| ---- | ---- |
| 步骤一 | 准备Hadoop安装文件 |
| 步骤二 | 配置Hadoop环境 |
| 步骤三 | 配置Hadoop集群 |
| 步骤四 | 启动Hadoop集群 |
## 2.
原创
2024-07-09 03:48:39
53阅读
# Java连接Hadoop构建FileSystem
随着大数据的快速发展，Hadoop已经成为数据处理和存储的重要工具。Hadoop生态系统提供了许多组件，其中Hadoop的分布式文件系统（HDFS）允许我们在集群中存储和访问大量数据。在Java中与HDFS进行连接和操作是一个常见的场景。本文将介绍如何通过Java连接Hadoop并构建`FileSystem`，并提供相关的代码示例。
##
一、了解Hadoop关于Hadoop的官方说明是：Apache Hadoop 是一款支持 数据密集型 分布式 应用程序并以 Apache 2.0 许可协议发布的 开源软体框架。拆开来说，其中包含学习 Hadoop 必须要理解的三个知识点：（1）Hadoop是一个框架； （2）可以用来处理大规模数据； （3）Hadoop被部署在集群上。二、Hadoop传统意义上，我们常说的Hadoop是包含了 Co
转载
2023-07-20 17:52:00
549阅读
