HDFS的架构采用master/slave模式，一个HDFS集群是由一个Namenode和多个Datanode组成。 在HDFS集群中，只有一个Namenode结点。Namenode作为HDFS集群的中心服务器，主要负责： 1、管理HDFS集群中文件系统的名字空间（Namespace），例
转载
2023-07-14 10:48:57
638阅读
2.2 官方定义SparkSQL模块官方定义：针对结构化数据处理Spark Module模块。 主要包含三层含义： 第一、针对结构化数据处理，属于Spark框架一个部分结构化数据：一般指数据有固定的 Schema(约束)，例如在用户表中，name 字段是 String 型，那么每一条数据的 name 字段值都可以当作 String 来使用；schema信息，包含字段的名称和字段的类型，比如：JSO
转载
2023-08-31 20:29:47
68阅读
概述 随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的设计适合一
转载
2023-07-14 10:49:12
237阅读
分布式Tensorflow是由高性能的gRPC框架作为底层技术来支持的。RPC协议，即远程过程调用协议，是指通过网络从计算机程序上请求服务。计算机网络七层模型：应用层http协议、表示层、会话层、传输层tcp/udp、网络ip、数据链路层ppp、物理层rj45RPC框架：远程过程调用单机单卡：一台服务器上多台设备（GPU）多机多卡：多太服务器，更多设备分布式tensorflow把服务器分为参数服务
转载
2024-05-30 20:28:32
75阅读
1、java介绍：Java的发展可以归纳如下的几个阶段：---------------第一阶段(完善期)1995-1998 ---------------第二阶段(平稳期)：JDK 1.3一JDK 1.4； ---------------第三阶段(发展期)：JDK1.52005年推出-----JDK 1.7(被Oracle收购后推出)。 （1）在开发上更是分为了Jav
转载
2023-08-28 19:58:23
247阅读
1 HDFS概述 1）HDFS是什么 源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版 易于扩展的分布式文件系统。运行在大量普通廉价机器上，提供容错机制。 为大量用户提供性能不错的文件存取服务适合一次写入，多次读取的场景，不支持文件的修改，适合用来做数据分析，不适合做网盘应用2）HDFS的优点 高容错性：数据自动保存多个副本（默认3个副本），副本丢失后自动恢复 适合
转载
2024-10-28 10:44:25
31阅读
# Java程序三个部分
Java是一种面向对象的编程语言，其程序主要由三个部分组成：类、方法和语句。在Java中，类是程序的基本组成单位，方法是类中的功能实现，语句则是方法中的具体指令执行。下面将逐一介绍这三个部分，并给出相应的代码示例。
## 类
在Java中，一个类就是一个对象的模板，它定义了对象的属性和行为。一个类由字段（数据）和方法（行为）组成。类的定义通常包括访问修饰符、类名和类
原创
2024-06-15 03:24:31
64阅读
一. 简介二. 架构1. 核心sparksession rdd sparkcontext sparksql sqlcontent dstream streammingcontext hivesql hivecontextsparksql->Catalyst hive->Calcite2. 关系数据库中sql执行流程那么在关系数据库中，当我们写完一个查询语句进行执行时，发生的过程如下：
转载
2023-06-19 16:27:15
168阅读
Spark SQL兼容Hive，这是因为Spark SQL架构与Hive底层结构相似，Spark SQL复用了Hive提供的元数据仓库（Metastore）、HiveQL、用户自定义函数（UDF）以及序列化和反序列工具（SerDes），下面通过图1深入了解Spark SQL底层架构。 可以看出，Spark SQL架构与Hive架构相比，除了把底层的MapReduce执行引擎更改为Spark，还修改
转载
2023-08-27 12:13:37
51阅读
近年来，“边缘”这个词的热度不断上升，特别是随着物联网、5G、工业互联网的概念逐步深入人心，围绕着“边缘”这个关键词，边缘、边缘计算、边缘网络，边缘云等等定义和概念被越来越多地提及。本文想就边缘云的建设为切入点，探讨一下SDN/NFV技术在边缘领域的应用。首先，笔者觉得有必要略微梳理下概念，在“边缘”这个领域，新名词和新概念还是比较多的。首先，“边缘”是一个领域，工控领域首先提出了“边缘计算”，然
JavaScript是一种专为网页交互而设计的脚本语言,JavaScript的实现由核心ECMAScript、文档对象模型DOM以及浏览器对象模型BOM组成,如图ECMAScriptECMAScript,由ECMA-262定义,提供核心语言功能,通常说的ECMAscript其实指的是JavaScript,因为JavaScript的含义要比ECMAScript规定的要多得多,而ECMAScript仅
转载
2023-08-09 10:56:58
79阅读
一、Spark SQL的基本概念1，Spark SQL的组成Spark SQL是Spark的一个结构化数据处理模块，提供一个DataFrame编程抽象，可以看做是一个分布式SQL查询引擎。 Spark SQL主要由Catalyst优化、Spark SQL内核、Hive支持三部分组成。 （1）Catalyst优化 处理查询语句的整个过程，包括解析、绑定、优化、物理计划等，主要由关系代数（relati
转载
2023-06-19 18:40:14
217阅读
JavaScript主要包括三部分：1、ECMAScript： JavaScript的核心，仅仅是一个描述，定义了脚本语言的所有属性，方法和对象。具体地，ECMAscript描述了以下内容： 语法、类型、语句、关键字、保留字、运算符、对象每个浏览器都有它自己的 ECMAScript 接口的实现，然后这个实现又被扩展，包含了 DOM 和 BOM。2、DOM：DOM(文档对象模型)是 HTML 和 X
转载
2023-07-22 16:02:29
38阅读
随着终端系统智能化、移动化的发展，越来越多的设备开始加入互联网，而对于提供数据服务的企业来说，负载的增加将直接导致运营成本增加，这就意味着这些企业需要更加有效地利用网络资源。互联网将分散在各处的硬件、软件以及数据等资源有效地连接在一起组成一个巨大的整体，从而让人们可以有效地利用分散在各地的网络资源，完成大规模且复杂的计算和数据处理任务。 什么是云平台云平台，也叫云计算平台，是基于硬件资
转载
2023-10-18 15:30:14
171阅读
简述Qt 本身提供了插件相关的技术，但并没有提供一个通用的插件框架！倘若要开发一个较大的 GUI 应用程序，并希望使其可扩展，那么拥有这样一个插件框架无疑会带来很大的好处。根据 深入理解插件系统 一文，对插件系统有了一定的了解之后，我们可以很快的构建一个属于自己的 Qt 插件系统。 简述插件系统的构成程序流插件管理器 版权所有：一去丶二三里，转载请注明出处：插件系统的构成插件系统，可以分为
一、Python中的类与对象（类的三要素：类名、属性、方法） 1、类(class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。
类是一个图纸、模板（例如：飞机图纸）
类不能直接使用，类的行为叫方法，类的特性是属性
2、属性称为变量（变量在类里面叫属性）==》类中的变量成为属性
3、方法称为行为（函数在类里面叫方法）==》类中的函数成
转载
2023-08-21 12:11:39
490阅读
一些知识和问题Hadoop的了解查询了一些有关Hadoop的资料，进行了一些了解。有关Hadoop的生态圈，牵扯东西太多，作为一个初学者根据自己的需要进行相关的了解再慢慢学习更多的东西吧有关生态圈，转载一篇文章吧，下面是结合自己所学对Hadoop的一些了解 Hadoop概述Hadoop是一个由Apache基金会所开发的分布式系统基础架构； 充分利用集群的威力进行高速运算和存储。 具有可靠、高效、可
转载
2023-07-12 13:51:23
77阅读
1. 背景介绍 Flume是cloudera于2009年7月开源的日志系统。 Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。它的主要目标是把应用程序中的数据传送到Hadoop的分布式
1、虚拟化产生的背景2、虚拟化概念指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机。虚拟化是资源的逻辑表示，其不受物理限制的约束；虚拟化是云计算的基础；简单的说，虚拟化使得在一台物理的服务器上可以跑多台虚拟机，虚拟机共享物理机的CPU、内存、IO 硬件资源，但逻辑上虚拟机之间是相互隔离的。从而显著提高计算机的工作效率。传统虚拟化： IAAS（基础设施及服务）PAAS（平台及服务）SAAS（软件及服
HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS定义HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很
转载
2024-03-20 20:53:53
171阅读
