一、HDFS实验：部署HDFS指导2.1 实验目的1． 理解HDFS存在的原因；2． 理解HDFS体系架构；3． 理解master/slave架构；4． 理解为何配置文件里只需指定主服务、无需指定从服务；5． 理解为何需要客户端节点；6． 学会逐一启动HDFS和统一启动HDFS；7． 学会在HDFS中上传文件。2.2 实验要求要求实验结束时，已构建出以下HDFS集群：1． master
转载
2024-03-05 08:17:09
82阅读
目录一 Homebrew安装二 SSH免密登录配置三 Hadoop安装四 伪分布式配置a.hadoop-env.sh配置b.core-site.xml配置c.hdfs-site.xml配置d.mapred-site.xml配置e.yarn-site.xml配置五 启动运行六 测试WordCount一 Homebrew安装Homebrew是一个包管理器，是Mac上的软件安装管理工具，类似于Linux
转载
2024-09-09 10:03:25
122阅读
分布式集群:
Hadoop
收集：flume kafka
存储：HDFS
计算：MapReduce
分布式集群存储（HDFS）：
配置jdk环境变量： vim/etc/proflile
JAVA_HOME=/usr/jdk1.8.0
PATH=$JAVA_HOME/bin:$PATH($:连接到之前的PATH)
e
转载
2024-04-30 17:10:43
48阅读
大数据环境部署一（hdfs集群搭建）
大数据分析使用的数据源是shp文件，目前存储方案是存储在HDFS中。Hdfs文件服务器部署起来比较简单，简述一下。
hdfs版本选择比较随意，3.x都可以。
hdfs部署正常情况下10分钟就够了，需要注意的就是免密登录哪里，不要随便chomd权限，不然会很麻烦的。
如果是新机器，几乎不需要改权限就可以正常部署。1：安装软件和前提环境服务器：c
转载
2023-07-13 16:57:12
184阅读
文章目录Hadoop简介:大数据4V特征：Hadoop三大核心：Hadoop4大特征：Hadoop与普通数据库差别：HDFS环境搭建： Hadoop简介:大数据4V特征：Volume： 90%的数据是过去两年产生----大数据量Velocity： 数据增长速度快，时效性高----速度快Variety： 数据种类和来源多样化：结构化数据，半结构化数据，非结构化数据----多样化Value： 需挖掘
转载
2024-04-15 11:43:01
42阅读
HDFS入门（三）—— HDFS的API操作刚刚（二）讲的是用Shell/Hadoop fs/HDFS/dfs的一些相关操作，相当于是在集群内部，跟集群的一些客户端打交道，这章讲的是：我们希望在Windows环境（办公环境）对远程的集群进行一个客户端访问，于是现在就在Windows环境上写代码，写HDFS客户端代码，远程连接上集群，对它们进行增删改查相关操作。 文章目录HDFS入门（三）—— HD
HDFS的简单分布式集群集群搭建前言本文介绍简单的HDFS完全分布式集群搭建操作，之所以说是简单的分布式集群，因为它并不是高可用的HDFS。下篇文章将介绍如何搭建HA的HDFS分布式集群。一、集群搭建规划共需准备4台机器。 一台机器作为NomeNode节点，4台机器作为DataNode节点，其中一个DataNode节点和NameNode节点公用一台机器。 hadoop3（192.168.23.13
转载
2023-10-18 18:44:09
45阅读
文章目录VMWare15 安装 Mac OS 系统安装环境工具准备准备工作MAC虚拟机设置启动MAC前准备工作安装系统安装VMware Tool注意事项参考链接安装环境WIN10VMware Workstation Pro 15.0.0 Build 10134415工具准备VMware Workstation Pro 15.0.0 Build 10134415官网下载地址：http://downl
致我2011年买的macbook pro 15寸一封信Macbook Pro：你好，很想你！其实你还在我家里面放着，大部分时间呈安静状态，少数时候我会打开你，用garageband Finalcut Pro、PS等软件做一些视频、音乐方面的处理。但多数时候，我还是用上了nuc的黑果和2018在HONGKONG购买的2018 macbook 12。nuc8 i5 8259u胜任了我一般的影音制作角色
转载
2024-10-22 19:42:28
14阅读
实验内容： 使用HDFS命令上传和下载文件； 编写JAVA程序读写、删除文件； 实验步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用）1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/tech
转载
2024-07-23 11:02:16
78阅读
4.1 hdfs集群组成结构：4.2 安装hdfs集群的具体步骤：一、首先需要准备N台linux服务器学习阶段，用虚拟机即可！先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点二、修改各台机器的主机名和ip地址主机名：hdp-01 对应的ip地址：192.168.33.61主机名：hdp-02 对应的ip地址：192.168.33.62
转载
2024-05-07 14:28:24
112阅读
一、安装JDK1.8以上都可以，不想去官网下载的直接戳这里 提取码: abfb解压JDKtar –zxvf jdk-8u111-linux-x64.tar.gz /Users/wyd/software
复制代码配置JDK环境变量vim ~/.bash_profile
复制代码文件中添加（注意看自己的安装路径）export JAVA_HOME= /usr/local/jdk1.8.0_111/
转载
2024-06-04 23:27:55
80阅读
上一篇我们已经准备好三台虚拟机，计划一主两从搭建hadoop集群。没安装的可以参考一下。虚拟机安装传送门：mac搭建hadoop集群之虚拟机安装集群规划主机角色node1NN DN RM NMnode2SNN DN NMnode3DN NM集群配置hadoop3.3安装包下载更改主机名分别将三台虚拟机分别更改为node1、node2、node3。vim /etc/hostname新增host映射v
转载
2024-01-04 23:50:39
73阅读
安装基于CentOS 7 安装，系统非最小化安装，选择部分Server 服务，开发工具组。全程使用root用户，因为操作系统的权限、安全，在启动时会和使用其它用户有差别。Step 1:下载hadoop.apache.org 选择推荐的下载镜像结点； https://hadoop.apache.org/releases.html Step 2:下载JDK http://www.oracle.com/
随着知识付费普遍被大众所接受，微课赚钱项目越来越火，有人单单靠微课就能月入上万，而且这是很普通的收益，随着互联网的发展知识付费会越来越主流。知识付费平台搭建不是很难，但是个人要进行付费变现，首先得有足够多的消费者才行，也就是说个人需要有一定的影响力，比如社交平台粉丝规模。借由这些个人影响力，才能引导消费者到平台上进行消费，最终实现变现。要搭建个人知识付费平台，也就是搭建自己的知识平台，不依赖别人的
文章目录Win + Linux双系统安装制作启动盘PYTORCH GPU版更新驱动程序安装CUDA11.3WindowsLinux服务器TENSORFLOW GPU版Win10 1050Ti搭建tensorflow-gpu环境解压Cudnn添加PATH环境变量（根据自己路径设置）检查安装结果安装tensorflow-gpu验证tensorflow是否连上gpuUbuntu 20.04 + 309
目录最简单的Hadoop架构... 1伪分布式搭建... 1JDK的配置... 1Hadoop下载与安装... 4Windows系统的特殊点1. 10Windows系统的特殊点2. 11Windows的注意事项主要就是在 10 11 页，其它步骤没有太大区别，个人建议在Linux搭建，避免更多问题发生，Hadoop的设计压根就没有考虑过Windows哦！如果配置文件写好就可以直接进入到
转载
2024-10-08 13:10:17
47阅读
1. 实验目的初步了解虚拟化技术，理解云计算的相关概念为后续课程提供统一的编程与实验环境理解系统工程师面临的困境2. 实验内容搭建自己的私有云3. 实验步骤（1）下载安装Virtual Box第一步：从Virtual Box官网上下载最新版的Virtual Box，下载完成后根据安装程序的提示完成安装即可（我这里使用VirtualBox 5.1.38版本，更高的版本本机在创建虚拟网卡的时候出现无法
转载
2023-08-25 07:09:06
97阅读
购买存储阵列柜已经有很长一段时间了，以前由于使用TimeMachine直接搜索内网网段时发现不能此设备，后来就一直搁置了，最近由于Mac的风扇出了问题（使用才两年多）刚更换了风扇，感觉到自己的电脑已经人到中年了，怕突然某天遭遇不幸，所以数据备份需要尽快搞起来，防止重要数据丢失，现在已经通过NAS在进行备份了，记录下操作流程，希望能帮助到感兴趣的同学。配置samba服务使TimeMac
转载
2023-11-27 13:02:42
226阅读
第一步：下载需要的文件搭建android暂时需要这么三个文件，jdk、ide和sdk；国内镜像网址http://www.android-studio.org；其中jdk下载这个：jdk下载.pngide下载这个：ide下载.pngsdk下载这个：sdk下载第二步：安装文件我们把这三个文件解压放到工作目录中，因为后面要链接这里，你要记住这个目录地址；然后我们先安装jdk，网上有人说记住jdk安装的地
转载
2024-09-29 18:45:46
19阅读
