什么是MapReduceMapReduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(归纳)”映射和归纳映射 一个映射函数就是对一些独立元素组成的概念上的列表(例如,一个测试成绩的列表)的每一个元素进行指定的操作(比如,有人发现所有学生的成绩都被高估了一分,他可以定义一个“减一”的映射函数,用来修正这个错误。)。事实上,每个元
转载
2024-04-26 13:39:46
18阅读
docker实战,需要了解基础知识的可以翻阅一下我的上篇文档,这篇文档用到的知识在上篇文档里都有提到。希望与大家共勉。
原创
2016-10-09 15:56:45
7191阅读
SparkSql基础实战:1.import org.apache.spark.sql.{DataFrame, DataFrameReader, Dataset, SparkSession}object MyDataFrame{ case class Person(name: String, age: Long) def main(args:Array[String]): Uni...
原创
2021-07-08 14:28:33
120阅读
一、资源创建方式命令行yaml或yml文件二、Namespace命名空间主要是用来隔离资源的通过命令创建命名空间kubectl create ns hello
kubectl delete ns hello #删除命名空间通过yaml文件创建命名空间apiVersion: v1
kind: Namespace
metadata:
name: hello三、Pod定义:运行中的一组容器,P
原创
2023-06-25 18:34:06
193阅读
SparkSql基础实战:1.import org.apache.spark.sql.{DataFrame, DataFrameReader, Dataset, SparkSession}object MyDataFrame{ case class Person(name: String, age: Long) def main(args:Array[String]): Uni...
原创
2022-01-28 13:46:46
69阅读
函数面向对象采用面向对象的程序设计方法对数据建模异常处理使用异常处理和文件相关的错误,
原创
2023-01-15 10:24:30
256阅读
android基础组件是一个Android的开发人员必须要了解,且深刻理解的东西:1、应用程序基础2、应用程序组件
2.1、活动(Activities)2.2、服务(Services)2.3、广播接收者(Broadcast receivers)2.4、内容提供者(Content providers)一、应用程序基础aapt工具捆绑成一个Android包,归档文件以.apk为后缀。这个文件是分发
转载
2023-07-26 21:43:35
88阅读
报名了阿里大学的AI,一直没有学习,今天开始正式学习。 今天是第一节,Python的基础编程实战,里面包含两个示例。 一:任务实现文件的批量重命名。 1.创建一个目录 2.程序 二:21点小游戏 1.题目规则 规则:2-9代表2-9,10-k代表10点,A可代表1点或者10点。 庄家或者玩家各发两张
转载
2019-02-03 20:36:00
89阅读
2评论
8.1 实验目的基于MapReduce思想,编写两文件Join操作的程序。8.2 实验要求能够理解MapReduce编程思想,然后会编写MapReduce版本Join程序,并能执行该程序和分析执行过程。8.3 实验背景8.3.1 概述对于RDBMS中的Join操作大伙一定非常熟悉,写SQL的时候要十分注意细节,稍有差池就会耗时巨久造成很大的性能瓶颈,而在Hadoop中使用MapReduce框架进行
转载
2024-09-05 12:19:39
41阅读
3月21晚上8点的直播PPT材料和视频回放地址,没有来得及看的小伙伴可以收藏抽空看。B站收看地址:
转载
2022-06-06 16:27:59
170阅读
上周和文正的同学交流,忽然发现原来很多同学对“基础、理论、实践、实战”四个概念有理解错误呢。
基础是完成技能的必要性训练,一些简单的,重复的,但在以后的实战中需要大量运用的,这些内容叫基础。比如对类型的正确认识,代码结构的无差错处理等。
实践是指在基础之上,通过短小的模块训练,学习掌握并熟练运用技能的练习。你在这个实践的过程中,能发现自己原先基础还很薄弱的地方,能加强你
原创
2008-12-28 14:38:00
493阅读
总之,Redis提供了多种基本数据类型,包括字符串、哈希、列表、集合和有序集
原创
2023-04-01 07:47:02
145阅读
本文包含以下内容: 1)Centos oracle 11g express安装与使用; 2)oracle最基本的增insert into、删delete、改u
原创
2022-10-18 20:46:20
21阅读
一、DockerFile是什么用来构建镜像的文本文件, 由一条条构建指令及参数构成的脚本构建三步骤:编写DockerFile文件docker build命令构建镜像docker run 依照镜像运行容器实例二、DockerFile基础知识每条保留字指令都为大写字母且至少跟随一条参数指定从上至下,顺序执行#表示注释每条指令都会创建一个新的镜像层并对镜像进行提交三、DockerFile构建大致流程Do
转载
2023-09-03 08:25:49
83阅读