kubernetes，简称K8s，是用8代替8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。1、传统的应用部署方式是通过插件或脚本来安装应用。这样做的缺点是应用的运行、配置、管理、所有生存周期将与当前操作系统
转载
2024-03-13 10:40:26
66阅读
一、搭建完全分布式hdfs集群上一张我们学习了HDFS伪分布式集群的搭建。实际上完全分布式集群的搭建也大同小异。我们前一章在同一个node1节点上分别部署配置了namenode、datanode、snn 三个角色，同理，这里讲下完全分布式环境的搭建。完全分布式环境搭建，将hdfs中的多个角色分布在不同的物理机上，而不是同一台我们多准备出2台机器，如果在多台机器的情况下，namenode所在的机器就
转载
2024-02-13 19:57:07
28阅读
# 从Kubernetes到HDFS: 构建分布式存储系统的关键
e
转载
2024-04-30 17:10:43
48阅读
大数据环境部署一（hdfs集群搭建）
大数据分析使用的数据源是shp文件，目前存储方案是存储在HDFS中。Hdfs文件服务器部署起来比较简单，简述一下。
hdfs版本选择比较随意，3.x都可以。
hdfs部署正常情况下10分钟就够了，需要注意的就是免密登录哪里，不要随便chomd权限，不然会很麻烦的。
如果是新机器，几乎不需要改权限就可以正常部署。1：安装软件和前提环境服务器：c
转载
2023-07-13 16:57:12
184阅读
文章目录Hadoop简介:大数据4V特征：Hadoop三大核心：Hadoop4大特征：Hadoop与普通数据库差别：HDFS环境搭建： Hadoop简介:大数据4V特征：Volume： 90%的数据是过去两年产生----大数据量Velocity： 数据增长速度快，时效性高----速度快Variety： 数据种类和来源多样化：结构化数据，半结构化数据，非结构化数据----多样化Value： 需挖掘
转载
2024-04-15 11:43:01
42阅读
Hadoop 02 核心介绍1. HDFSHDFS（Hadoop Distributed File System） 是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口,
转载
2024-09-05 18:12:24
55阅读
Kubernetes (K8s) 是一个用于自动部署，扩展和管理容器化应用程序的开源平台。本文将介绍如何使用Kubernetes部署Hadoop分布式文件系统（HDFS）。
### 一、部署Kubernetes集群
在使用Kubernetes部署HDFS之前，我们首先需要拥有一个可用的Kubernetes集群。如果还没有搭建Kubernetes集群，可以参考以下步骤进行搭建：
| 步骤 |
原创
2024-01-18 14:36:18
102阅读
HDFS的简单分布式集群集群搭建前言本文介绍简单的HDFS完全分布式集群搭建操作，之所以说是简单的分布式集群，因为它并不是高可用的HDFS。下篇文章将介绍如何搭建HA的HDFS分布式集群。一、集群搭建规划共需准备4台机器。 一台机器作为NomeNode节点，4台机器作为DataNode节点，其中一个DataNode节点和NameNode节点公用一台机器。 hadoop3（192.168.23.13
转载
2023-10-18 18:44:09
45阅读
HDFS入门（三）—— HDFS的API操作刚刚（二）讲的是用Shell/Hadoop fs/HDFS/dfs的一些相关操作，相当于是在集群内部，跟集群的一些客户端打交道，这章讲的是：我们希望在Windows环境（办公环境）对远程的集群进行一个客户端访问，于是现在就在Windows环境上写代码，写HDFS客户端代码，远程连接上集群，对它们进行增删改查相关操作。 文章目录HDFS入门（三）—— HD
实验内容： 使用HDFS命令上传和下载文件； 编写JAVA程序读写、删除文件； 实验步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用）1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/tech
转载
2024-07-23 11:02:16
78阅读
4.1 hdfs集群组成结构：4.2 安装hdfs集群的具体步骤：一、首先需要准备N台linux服务器学习阶段，用虚拟机即可！先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点二、修改各台机器的主机名和ip地址主机名：hdp-01 对应的ip地址：192.168.33.61主机名：hdp-02 对应的ip地址：192.168.33.62
转载
2024-05-07 14:28:24
112阅读
Hadoop的核心就是HDFS和MapReduce，而两者只是理论基础，不是具体可使用的高级应用，Hadoop旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapReduce发展出来的。要想了解Hadoop，就必须知道HDFS和MapReduce是什么。
1.概要
HDFS（Hadoop Distributed File System
转载
2024-02-26 13:26:46
23阅读
一、HDFS一、HDFS的基本概念 HDFS：Hadoop Distributed File System ，Hadoop分布式文件系统。主要用来解决海量数据的存储问题。 二、HDFS的写文件过程首先我要将一个文件存到HDFS集群中。客户端通过RPC（远程服务）访问NameNode，请求写入一个文件。NameNode检查客户端是否有权限写入，如果有权限返回一个响应。如果没有客户端就会抛
转载
2024-04-01 10:29:52
48阅读
说明这次是使用的是1个master、2个node为的是模拟搭建环境，真实环境是多master(n>1) 且为奇数安装k8s的节点必须是大于1核心的CPU使用的系统centos7,6的话好多命名空间有很多不支持内核3.1以上才是较好的运行环境，最好是4.4内核以上网络采用Flannel(官方推荐)方式ps: 第2点是因为为了防止单节点故障,高可用一般都为3,5,7
###资料地址
链接: ht
原创
2023-05-06 18:18:20
142阅读
# Kubernetes搭建教程
## 1. 整体流程
下面是搭建Kubernetes的整体流程：
| 步骤 | 描述 |
| --- | --- |
| 1. 安装Docker | 安装和配置Docker容器引擎 |
| 2. 安装Kubernetes组件 | 安装和配置Kubernetes Master和Node组件 |
| 3. 初始化Kubernetes集群 | 初始化Kuberne
原创
2023-11-17 11:18:08
31阅读
搭建Kubernetes集群的流程及代码示例
作为一名经验丰富的开发者，我将帮助你了解如何搭建Kubernetes集群。下面是整个流程的步骤以及每一步所需的代码示例。
步骤1：准备环境
在开始之前，你需要确保已经安装了以下工具：
- Docker：用于构建和管理容器镜像。
- kubeadm：用于初始化集群。
- kubectl：用于与集群进行通信。
步骤2：初始化Master节点
要
原创
2024-02-01 15:58:19
79阅读
# 搭建Kubernetes
## 前言
作为一名经验丰富的开发者，我将带你一步步搭建Kubernetes。Kubernetes是一个用于自动化部署、扩展和管理容器化应用程序的开源系统。下面是整个搭建过程的步骤概述：
| 步骤 | 描述 |
|---|---|
| 1 | 安装Docker |
| 2 | 安装Kubernetes工具（kubectl，kubeadm，kubelet）|
| 3
原创
2023-10-03 06:01:07
33阅读
Kubernetes（k8s）是一个分布式系统，搭建需要一定的技术基础和实践经验。下面是一个详细的k8s搭建步骤：准备环境确认主机满足Kubernetes要求的最低硬件配置，并安装Docker、kubelet、kubeadm等软件。具体准备工作包括：确认操作系统版本：推荐使用Ubuntu 16.04及以上版本，CentOS 7及以上版本。安装Docker：在所有节点上安装Docker CE，并启动
转载
2023-09-01 23:55:26
62阅读
