Harbor 是一个基于 Apache 协议的开源软件，主要开发语言为 Go。Harbor 是由 VMware 公司开源的企业级的Docker Registry 管理项目，它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复制和中文支持等功能，具有 web 管理功能。Docker 容器应用的开发和运行离不开可靠的镜像管理，虽然 Docker 官方也提供了公共的镜像仓库，但是从
转载
2023-07-21 17:01:17
52阅读
docker部署apache2 目录docker部署apache2**快速部署直接看命令就行：**1.启动ubuntu16.04容器2.设置docker镜像自动启动并且镜像内apache2服务自动启动 快速部署直接看命令就行：
docker run -itd -v /mnt:/mnt --name ubuntu16 -p 81:81 ubuntu:16.04开启docker容器
sudo dock
转载
2023-08-31 22:10:53
158阅读
分布式集群:
Hadoop
收集：flume kafka
存储：HDFS
计算：MapReduce
分布式集群存储（HDFS）：
配置jdk环境变量： vim/etc/proflile
JAVA_HOME=/usr/jdk1.8.0
PATH=$JAVA_HOME/bin:$PATH($:连接到之前的PATH)
e
转载
2024-04-30 17:10:43
48阅读
一、HDFS实验：部署HDFS指导2.1 实验目的1． 理解HDFS存在的原因；2． 理解HDFS体系架构；3． 理解master/slave架构；4． 理解为何配置文件里只需指定主服务、无需指定从服务；5． 理解为何需要客户端节点；6． 学会逐一启动HDFS和统一启动HDFS；7． 学会在HDFS中上传文件。2.2 实验要求要求实验结束时，已构建出以下HDFS集群：1． master
转载
2024-03-05 08:17:09
82阅读
大数据环境部署一（hdfs集群搭建）
大数据分析使用的数据源是shp文件，目前存储方案是存储在HDFS中。Hdfs文件服务器部署起来比较简单，简述一下。
hdfs版本选择比较随意，3.x都可以。
hdfs部署正常情况下10分钟就够了，需要注意的就是免密登录哪里，不要随便chomd权限，不然会很麻烦的。
如果是新机器，几乎不需要改权限就可以正常部署。1：安装软件和前提环境服务器：c
转载
2023-07-13 16:57:12
184阅读
文章目录Hadoop简介:大数据4V特征：Hadoop三大核心：Hadoop4大特征：Hadoop与普通数据库差别：HDFS环境搭建： Hadoop简介:大数据4V特征：Volume： 90%的数据是过去两年产生----大数据量Velocity： 数据增长速度快，时效性高----速度快Variety： 数据种类和来源多样化：结构化数据，半结构化数据，非结构化数据----多样化Value： 需挖掘
转载
2024-04-15 11:43:01
42阅读
最近课堂作业需要使用hadoop环境，正好前段时间学了一下docker教程的用法，而自己又只有一台电脑，所以就趁着这次机会学习下怎么利用docker搭建伪分布式的hadoop环境。 我主要时参考这篇博主的教程,教程很好，跟着这个教程大部分都是很顺利的，但是加上自己docker的使用也不太熟练，配置过程中难免遇到一些问题，所以就用这篇博客记录一下。启动动并挂载本地目录docker run -it -
转载
2024-05-30 11:34:39
53阅读
# 使用Docker搭建Spark集群连接远程HDFS
在大数据处理领域，Apache Spark 以其强大的计算能力和出色的性能，越来越受到开发者的青睐。而Hadoop分布式文件系统（HDFS）则为数据的存储和管理提供了高效的解决方案。将Spark与HDFS结合，可以充分发挥它们的优势。在本文中，我们将通过Docker搭建一个Spark集群，并使其能够连接到远程HDFS。
## 环境准备
HDFS入门（三）—— HDFS的API操作刚刚（二）讲的是用Shell/Hadoop fs/HDFS/dfs的一些相关操作，相当于是在集群内部，跟集群的一些客户端打交道，这章讲的是：我们希望在Windows环境（办公环境）对远程的集群进行一个客户端访问，于是现在就在Windows环境上写代码，写HDFS客户端代码，远程连接上集群，对它们进行增删改查相关操作。 文章目录HDFS入门（三）—— HD
HDFS的简单分布式集群集群搭建前言本文介绍简单的HDFS完全分布式集群搭建操作，之所以说是简单的分布式集群，因为它并不是高可用的HDFS。下篇文章将介绍如何搭建HA的HDFS分布式集群。一、集群搭建规划共需准备4台机器。 一台机器作为NomeNode节点，4台机器作为DataNode节点，其中一个DataNode节点和NameNode节点公用一台机器。 hadoop3（192.168.23.13
转载
2023-10-18 18:44:09
45阅读
实验内容： 使用HDFS命令上传和下载文件； 编写JAVA程序读写、删除文件； 实验步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用）1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/tech
转载
2024-07-23 11:02:16
78阅读
4.1 hdfs集群组成结构：4.2 安装hdfs集群的具体步骤：一、首先需要准备N台linux服务器学习阶段，用虚拟机即可！先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点二、修改各台机器的主机名和ip地址主机名：hdp-01 对应的ip地址：192.168.33.61主机名：hdp-02 对应的ip地址：192.168.33.62
转载
2024-05-07 14:28:24
112阅读
安装基于CentOS 7 安装，系统非最小化安装，选择部分Server 服务，开发工具组。全程使用root用户，因为操作系统的权限、安全，在启动时会和使用其它用户有差别。Step 1:下载hadoop.apache.org 选择推荐的下载镜像结点； https://hadoop.apache.org/releases.html Step 2:下载JDK http://www.oracle.com/
随着知识付费普遍被大众所接受，微课赚钱项目越来越火，有人单单靠微课就能月入上万，而且这是很普通的收益，随着互联网的发展知识付费会越来越主流。知识付费平台搭建不是很难，但是个人要进行付费变现，首先得有足够多的消费者才行，也就是说个人需要有一定的影响力，比如社交平台粉丝规模。借由这些个人影响力，才能引导消费者到平台上进行消费，最终实现变现。要搭建个人知识付费平台，也就是搭建自己的知识平台，不依赖别人的
文章目录Win + Linux双系统安装制作启动盘PYTORCH GPU版更新驱动程序安装CUDA11.3WindowsLinux服务器TENSORFLOW GPU版Win10 1050Ti搭建tensorflow-gpu环境解压Cudnn添加PATH环境变量（根据自己路径设置）检查安装结果安装tensorflow-gpu验证tensorflow是否连上gpuUbuntu 20.04 + 309
目录最简单的Hadoop架构... 1伪分布式搭建... 1JDK的配置... 1Hadoop下载与安装... 4Windows系统的特殊点1. 10Windows系统的特殊点2. 11Windows的注意事项主要就是在 10 11 页，其它步骤没有太大区别，个人建议在Linux搭建，避免更多问题发生，Hadoop的设计压根就没有考虑过Windows哦！如果配置文件写好就可以直接进入到
转载
2024-10-08 13:10:17
47阅读
# 通过 Docker 部署 HDFS：一个简单的指南
在大数据技术的世界中，Hadoop 分布式文件系统（HDFS）作为一个关键组件，提供了高效的存储解决方案。HDFS 允许在集群中存储大规模的数据，并且能够高效地进行读写。然而，手动安装和配置 HDFS 可能会让人感到复杂，因此使用 Docker 来部署 HDFS 成为一个简便的选择。
## 什么是 HDFS？
Hadoop 分布式文件系
# 在Docker中实现HDFS的完整指南
Apache Hadoop 的 Hadoop Distributed File System (HDFS) 是一个用于存储大数据的分布式文件系统。使用 Docker 容器化部署 HDFS 可以使得环境的设置和管理变得更加简便。本文将指导你如何在 Docker 中实现 HDFS。整个过程包括环境准备、Dockerfile 创建、镜像构建和容器运行等步骤。
HDFS只是Hadoop最基本的一个服务，很多其他服务，都是基于HDFS展开的。所以部署一个HDFS集群，是很核心的一个动作，也是大数据平台的开始。 安装Hadoop集群，首先需要有Zookeeper才可以完成安装。如果没有Zookeeper，请先部署一套Zookeeper。另外，JDK以及物理主机的一些设置等。请参考： Hadoop集群
转载
2023-12-19 10:39:28
68阅读
搭建spark和hdfs的集群环境会消耗一些时间和精力，今天咱们就借助docker，极速搭建和体验spark和hdfs的集群环境
推荐
原创
2022-08-17 00:04:38
1660阅读
1评论
