概述 随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的设计适合一
转载
2023-07-14 10:49:12
237阅读
近年来，“边缘”这个词的热度不断上升，特别是随着物联网、5G、工业互联网的概念逐步深入人心，围绕着“边缘”这个关键词，边缘、边缘计算、边缘网络，边缘云等等定义和概念被越来越多地提及。本文想就边缘云的建设为切入点，探讨一下SDN/NFV技术在边缘领域的应用。首先，笔者觉得有必要略微梳理下概念，在“边缘”这个领域，新名词和新概念还是比较多的。首先，“边缘”是一个领域，工控领域首先提出了“边缘计算”，然
# Hive的组成模块解析
Hive 是 Apache Hadoop 生态系统中一个重要的组成部分，主要用于处理大规模数据集。它提供了数据仓库级别的功能，允许用户使用类似于 SQL 的查询语言来访问存储在 Hadoop 中的数据。本文将详细介绍 Hive 的三个主要模块，并通过代码示例和类图、流程图的形式为您提供更清晰的理解。
## Hive 的三个组成模块
Hive 的主要模块包括：
1
一、Hive 是什么 Hive 是构建在 Hadoop 之上的数据仓库平台；它通过 SQL 解析引擎把 SQL 语句转译成 MapReduce 作业，并在 Hadoop 上运行；Hive 表是 HDFS 的文件目录，一个表对应一个目录名，如果有分区，则分区值对应子目录。二、Hive 架构解释图中元素：1、解析器 1）译器：完成 HQL 语句从词法分析、语法分析、编译、优化以及执行计划的生成。 2）
转载
2023-10-23 09:57:32
105阅读
一、基础部分 1.计算机组成：cpu,内存，硬盘，操作系统 2.python类型：解释型（一行一行执行，效率高，跨平台，但运行速度慢） 3.python2和python3的区别：可以首行添加#-*- encoding:utf-8 -*-解决 2）输入。python2输入raw_input()之后，输入内容可以执行。但python3的输入input，默认输入的类型全部都是str，不可执行，
转载
2024-03-11 17:28:47
321阅读
HDFS的架构采用master/slave模式，一个HDFS集群是由一个Namenode和多个Datanode组成。 在HDFS集群中，只有一个Namenode结点。Namenode作为HDFS集群的中心服务器，主要负责： 1、管理HDFS集群中文件系统的名字空间（Namespace），例
转载
2023-07-14 10:48:57
638阅读
HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS定义HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很
转载
2024-03-20 20:53:53
171阅读
Java基础组成分为8个部分 1、关键字 2、标识符 3、注释 &nbs
转载
2023-11-03 21:10:23
64阅读
一、Python中的类与对象（类的三要素：类名、属性、方法） 1、类(class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。
类是一个图纸、模板（例如：飞机图纸）
类不能直接使用，类的行为叫方法，类的特性是属性
2、属性称为变量（变量在类里面叫属性）==》类中的变量成为属性
3、方法称为行为（函数在类里面叫方法）==》类中的函数成
转载
2023-08-21 12:11:39
490阅读
一、官方文档我这里学习的是Hadoop3.1.3版本，所以，查看的也是3.1.3版本的文档Architecture模块最下面二、HDFS架构介绍HDFS架构的主要组成部分，是一下四个部分1、NameNode(NN)就是Master节点，它是集群管理者。1、管理HDFS的名称空间 2、配置副本策略 3、管理数据块（Block）映射信息 4、处理客户端读写请求2、DataNode就是Slave节点，干
转载
2024-07-12 12:51:42
41阅读
UML由图和元模型组成，图是语法，元模型是语义。UML主要包括三个基本构造块：事物（Things）、关系（Relationships）和 图（Diagrams）。本次连载我们将对UML的这些基本组成部分及UML工具和应用进行介绍，使读者对UML形成初步的整体印象。在其后的几次连载 里，再以数个实例对这些内容逐步展开。 1.1 UML的基本构造块 1.1.1事物 事物是是实体抽象化的最终结果，
转载
2023-07-16 20:45:53
384阅读
Java技术主要分成三个部分：Java语言、Java运行环境和Java类库。（一般情况下并不区分指哪个部分）
即Java并不只是一门编程语言，也是一个完整的平台，有一套庞大的开发类库（包含很多可以重复利用的代码）和提供跨平台的可移植性、自动垃圾回收以及安全性等服务的执行环境。
转载
2023-07-25 16:12:23
25阅读
一、大纲形式##一、Linux
1. 操作系统
2. 开源
3. 免费
4. 多用户
5. 多进程
6. 多线程
7. 性能稳定
8. 安全(权限的管理)
##二、Hadoop的核心模块之一HDFS
解决了大数据集如何存储的问题
##三、Hadoop的核心模块之一Mapreduce
解决了分布式系统上的大数据集如何快速，高效的分析与计算的问题，是一个运行在hdfs上的并发的计算
转载
2023-07-12 16:40:49
360阅读
1 . 原子性(Atomicity) Java中，对基本数据类型的读取和赋值操作是原子性操作，所谓原子性操作就是指这些操作是不可中断的，要做一定做完，要么就没有执行。比如： i = 2; //原子
j = i; //非原子 （1 读i，2 赋值j）
i++; //非原子 （1 读i，2 +1 ，3 赋值i）
i = i + 1； //非原子 （1 读i，2 +1 ，3 赋
转载
2024-01-13 23:10:56
79阅读
Java对象由三个部分组成：对象头、实例数据、对齐填充。 对象头
原创
2023-05-13 00:41:58
268阅读
Docker 大部分的操作都围绕这它的三大核心概念：镜像、容器和仓库。因此，准确把握这三大核心概念对于掌握 Docker 技术尤为重要。Docker 镜像Docker 镜像类似于虚拟机镜像，可以将它理解为一个只读的模板。例如，一个镜像可以包含一个基本的操作系统环境，里面仅安装了 Apache 应用程序（或用户需要的其他软件）。可以把它称为一个 Apache 镜像。镜像是创建 Docker 容器的基
转载
2023-09-26 22:06:45
56阅读
一、Docker 的三个进本概念？了解 Docker 的三个基本概念，就可以大致了解 Docker 的生命周期。镜像（Image）容器（Container）仓库（Repository）二、镜像1.Docker 镜像 我们都知道，操作系统分为内核和用户空间。对于 Linux 而言，内核启动后，会挂载 root 文件系统为其提供用户空间支持。而 Docker 镜像（Image），
转载
2023-09-22 21:37:35
32阅读
第一章 两大编程思想1.编程思想两者是相辅相成的，不是对立的。 2.类和对象 字符串对象，字典对象…都可以看作是对象。3.类的创建下面介绍如何在python中定义类语法： class 类名 缩进之后开始写类地下的内容类应该有三部分组成：id （内存空间），type（类型），值class Student():
pass
print(id(Student)) 类的内存空间
print(typ
转载
2023-08-28 15:24:15
120阅读
Python是面向对象的高级编程语言，在Python里面“一切都是对象”：数字、字符串、元组、列表、字典、集合等内置数据类型，以及函数、方法、类、模块都是对象。语言本身提供了上述的基本对象，但在实际编程中，我们要创造各种各样的对象，Python就为我们提供了创造我们自己的对象的方法：类。类(Class)，就是组合数据和功能的方法，它让我们创建一个新类型的对象，并可以创建该类型的新实例。类组合的数据
转载
2024-01-14 19:53:34
45阅读
1.线程：它是一个并发执行的顺序流，一个进程包括多个顺序执行流程，这个执行流程称为线程。 线程是由操作系统创建并维护的一个资源，JVM就是一个进程。对于单个CPU来说。某个时刻只有一个线程在运行。
转载
2023-08-21 13:32:46
119阅读
