一、安装JDK1.8以上都可以，不想去官网下载的直接戳这里 提取码: abfb解压JDKtar –zxvf jdk-8u111-linux-x64.tar.gz /Users/wyd/software
复制代码配置JDK环境变量vim ~/.bash_profile
复制代码文件中添加（注意看自己的安装路径）export JAVA_HOME= /usr/local/jdk1.8.0_111/
转载
2024-06-04 23:27:55
80阅读
一、HDFS实验：部署HDFS指导2.1 实验目的1． 理解HDFS存在的原因；2． 理解HDFS体系架构；3． 理解master/slave架构；4． 理解为何配置文件里只需指定主服务、无需指定从服务；5． 理解为何需要客户端节点；6． 学会逐一启动HDFS和统一启动HDFS；7． 学会在HDFS中上传文件。2.2 实验要求要求实验结束时，已构建出以下HDFS集群：1． master
转载
2024-03-05 08:17:09
82阅读
文章目录VMWare15 安装 Mac OS 系统安装环境工具准备准备工作MAC虚拟机设置启动MAC前准备工作安装系统安装VMware Tool注意事项参考链接安装环境WIN10VMware Workstation Pro 15.0.0 Build 10134415工具准备VMware Workstation Pro 15.0.0 Build 10134415官网下载地址：http://downl
致我2011年买的macbook pro 15寸一封信Macbook Pro：你好，很想你！其实你还在我家里面放着，大部分时间呈安静状态，少数时候我会打开你，用garageband Finalcut Pro、PS等软件做一些视频、音乐方面的处理。但多数时候，我还是用上了nuc的黑果和2018在HONGKONG购买的2018 macbook 12。nuc8 i5 8259u胜任了我一般的影音制作角色
转载
2024-10-22 19:42:28
14阅读
HDFS存放副本时会优先在同一个数据节点备份一份，然后在不同的虚拟机架上备份namenode的HA是靠主备方式保证的，自动切换时要用到zookeeper，手动切换可以通过命令，备节点可以在数据节点上，一套HDFS-HA最少需要3台机子安装步骤：#yum install java#wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-
原创
2015-08-20 16:11:13
715阅读
一、前言任务调度管理作为基础架构通常会出现于我们的业务系统中，目的是让各种任务能够按计划有序执行。比如定时给用户发送邮件、将数据表中的数据同步到另一个数据表都是一个任务，这些相对耗时的操作通过任务调度系统来异步并行执行，既能提高任务的执行效率又能保障任务执行的可靠性。实现的方式也是多种多样，比如使用Timer进行简单调度或者使用Quartz类似的框架，本文基于淘宝开源框架TbSchedule实
实验内容： 使用HDFS命令上传和下载文件； 编写JAVA程序读写、删除文件； 实验步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用）1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/tech
转载
2024-07-23 11:02:16
78阅读
目录一 Homebrew安装二 SSH免密登录配置三 Hadoop安装四 伪分布式配置a.hadoop-env.sh配置b.core-site.xml配置c.hdfs-site.xml配置d.mapred-site.xml配置e.yarn-site.xml配置五 启动运行六 测试WordCount一 Homebrew安装Homebrew是一个包管理器，是Mac上的软件安装管理工具，类似于Linux
转载
2024-09-09 10:03:25
122阅读
Hadoop环境的搭建和配置还是有些麻烦的，尤其是mac,此处整理下自己搭建的过程和步骤。作者：studytime原文：https://www.studytime.xin/ 安装 JavaHadoop运行环境基于Java、所以Java环境是必须的。至于怎么安装JDK、自行谷歌，各位小哥，此处不做赘述。配置ssh开启mac远程登录功能，且将当前用户加入允许的用户列表中避免使用hadoop
转载
2024-04-19 17:23:20
38阅读
第一步，给Mac安装jdk环境。 直接百度”jdk for Mac“，找到其中一个版本进行安装就可以了，安装完成后，打开终端，输入“java”或“javac”，如果出现java命令的使用说明，那么说明你的Mac上的jdk环境已经配置好，这个比起windows系统来说，简单方便很多。 第二步，下载tomcat。 可以直接到apatch的官网（http://to
转载
2023-10-02 23:19:17
125阅读
# Docker 部署 HDFS
## 简介
本文将介绍如何使用 Docker 部署 HDFS（Hadoop Distributed File System），帮助刚入行的开发者快速上手。
## 流程概览
下面的表格展示了部署 HDFS 的整个流程。
| 步骤 | 描述 |
| ------- | -------------- |
| 步骤一 | 安装 Docker |
| 步骤二 | 拉取
原创
2024-01-15 08:39:40
382阅读
背景HDFS有两个主要层:Namespace命名空间由目录、文件和块组成它支持所有与命名空间相关的文件系统操作，如创建、删除、修改和列出文件和目录Block管理服务块管理(在 Namenode 中完成)
通过处理注册和周期性心跳提供数据阳极群集成员资格处理块报告并维护块的位置支持块相关操作，如创建，删除，修改和获取块位置管理复制块的副本放置和复制，并删除复制过多的块存储-是由数据节点通过存储块在本
引言最近由于科研的需要，从零开始搭建hadoop集群，包括单独的zookeeper以及hbase。对于linux、hadoop等相关的基础知识掌握比较少，所以这一系列的分享适用于各种小白，想体验hadoop集群的。同时，提出一些在搭建集群的过程中遇到的问题+解决方法。主要是针对真正的集群搭建过程，也就是Distributed。本篇主要介绍前期工作及常见问题，也算是对我最近几天的摸索进行一个总结。一
在这篇博文中，我们将深入探讨如何在Docker中部署HDFS（Hadoop分布式文件系统）。HDFS作为一个用于大数据存储与管理的核心组件，能够有效地处理海量数据，而Docker则为我们提供了一个轻量级的容器化解决方案，能让我们快速地进行环境搭建和应用部署。
### 环境准备
首先，我们需要确保我们的开发环境是准备好的。这包括安装必要的前置依赖，包括Docker和Docker Compose。
Hadoop 02 核心介绍1. HDFSHDFS（Hadoop Distributed File System） 是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口,
转载
2024-09-05 18:12:24
55阅读
Hadoop 和Spark完全分布式部署1. 配置相关服务器1.1 修改主机名hostname master1.2 修改/etc/hosts文件, 添加如下配置，方便通过主机名访问服务器127.0.0.1 localhost
master_ip master
worker1_ip worker01
worker2_ip worker021.3 配置ssh免密登录cd ~/.ssh
ssh-keyg
转载
2023-08-25 22:34:13
81阅读
一、HDFS运行机制 概述：用户的文件会被切块后存储在多台datanode节点中，并且每个文件在整个集群中存放多个副本，副本的数量可以通过修改配置自己设定。 HDFS：Hadoop Distributed file system，分布式文件系统。 HDFS的机制： HDFS集群中，有两种节点，分别为Namenode，Datanode； Namenode它的作用时记录元数据信息，记录块
转载
2024-02-29 14:58:32
47阅读
大数据环境部署一（hdfs集群搭建）
大数据分析使用的数据源是shp文件，目前存储方案是存储在HDFS中。Hdfs文件服务器部署起来比较简单，简述一下。
hdfs版本选择比较随意，3.x都可以。
hdfs部署正常情况下10分钟就够了，需要注意的就是免密登录哪里，不要随便chomd权限，不然会很麻烦的。
如果是新机器，几乎不需要改权限就可以正常部署。1：安装软件和前提环境服务器：c
转载
2023-07-13 16:57:12
184阅读
一、HBase概念 HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。HBase不同于Oracle、SQL Server等关系型数据库，它不支持标准SQL语言，也不是以行存储的关系型结构存
转载
2023-08-18 21:59:03
90阅读
Kubernetes (K8s) 是一个用于自动部署，扩展和管理容器化应用程序的开源平台。本文将介绍如何使用Kubernetes部署Hadoop分布式文件系统（HDFS）。
### 一、部署Kubernetes集群
在使用Kubernetes部署HDFS之前，我们首先需要拥有一个可用的Kubernetes集群。如果还没有搭建Kubernetes集群，可以参考以下步骤进行搭建：
| 步骤 |
原创
2024-01-18 14:36:18
102阅读
