存储过程如同一门程序设计语言，同样包含了数据类型、流程控制、输入和输出和它自己的函数库。 --------------------基本语法-------------------- 一.创建存储过程 create procedure sp_name() begin ......... end 二.调用存储过程 1.基本语法：call sp_name() 注意：存储过程名称后面必须加括号，哪怕该存储
转载
2023-08-11 08:47:01
48阅读
一、实验目的了解Mapper类，Reducer类和Job类掌握什么是MapReduce及使用MapReduce进行运算掌握挖掘父子辈关系，给出祖孙辈关系的表格二、实验内容使用Map/Reduce计算班级中年龄最大的学生使用Map/Reduce编程实现文件合并和去重操作对给定的表格进行信息挖掘编写实现日期操作的程序三、实验步骤（一）使用Map/Reduce计算班级中年龄最大的学生什么是MapRedu
转载
2024-07-26 10:08:28
132阅读
目录一、了解Scala1.1 了解Scala语言1.2了解Scala特性1.3 函数组合器1.3.1 map()方法1.3.2foreach()方法1.3.3flter()方法1.3.4flatten()方法1.3.5flatMap()方法1.3.6.groupBy()方法二、Scala编程基础2.1创建RDD2.1.1从内存中读取数据创建RDD2.1.2从外部存储系统中读取数据创建RDD2.2R
转载
2024-06-01 12:08:24
203阅读
RDD基础概念创建RDD 创建RDD的方法： 1.载入外部数据集 2.分布一个对象的集合前边几次的笔记已经提到过多次了，因此，这里只列出几个注意事项： 1.利用sc.parallelize创建RDD一般只适用于在测试的时候使用，因为这需要我们将整个数据集放入一台机器的内存中。因此，除了我们学习使或者测试时，很少使用。 2.更通用的方法是从外部存储系统上加载数据创建RDDSpark支持两种
转载
2023-12-31 14:59:41
59阅读
大数据课程——MapReduce编程基础实验内容以及要求在文档规模较小的时候，使用传统编程方式也能统计出文本中出现的单词数量，但是当文档规模巨大的时候（比如数据大小达到GB、PB级别的时候），就必须使用MapReduce来进行统计了。 请使用MapReduce编程框架， 编写程序WordCount，统计文本中，每个单词出现的次数，并给予详细的步骤以及实验测试结果。自己说两句该实验主要是学习MapR
转载
2024-05-29 16:17:47
244阅读
系列博客：Spark学习笔记(一）：Spark概述与运行原理 RDD编程位置
RDD创建（1）从文件中加载数据创建调用SparkContext的textFile（）lines=sc.textFile("word.txt")
lines.foreach(print) （2）通过并行集合（列表）创建RDD调用SparkContext的parallelize方法array=[1
转载
2023-11-23 18:26:06
74阅读
【题目】
Spark
上机练习题：统计人口平均年龄 （
1
）请编写
Spark
应用程序，该程序可以在本地文件系统中生成一个数据文件
peopleage.txt
，数据 文件包含若干行（比如
1000
行，或者
100
万行等等）记录，每行记录只包含两列数据，第
1
列是序 号，第
2
列是年龄。效果如下： 1 89 2
转载
2024-07-04 10:21:31
81阅读
Spark 第四章 Spark RDD 实验手册实验4.1：RDD 的创建创建一个文档：324.txt虚拟机创文件： 上传文件到虚拟机里：把文件拖到finalshell启动pyspark：pyspark（小写）使用文件创建RDD实验4.2：常见RDD算子练习 注意：用英文空格（文档和操作中中英文符号要一致）>>> rdd=sc.textFile("/home/
转载
2024-06-25 16:30:47
155阅读
文章目录一、实验目的二、实验平台三、实验步骤1. 准备工作（1）安装spark及其API程序（2）配置环境变量（3）启动Hadoop2. Spark读取文件系统的数据3. 编写独立应用程序实现数据去重4. 编写独立应用程序实现求平均值问题四、实验总结 一、实验目的掌握使用 Spark 访问本地文件和 HDFS 文件的方法掌握 Spark 应用程序的编写、编译和运行方法二、实验平台操作系统：Ubu
转载
2023-10-26 21:55:00
580阅读
Spark编程指南V1.4.0· 简介· 接入Spark· Spark初始化
转载
2023-12-07 14:31:21
33阅读
一、spark编程api套路 二、配置Spark运行环境2.1配置Spark选择“Libraries”选项，单击“+”按钮，选择“Java”选项在弹出的界面中找到Spark安装目录下的jars文件夹，将整个文件夹导入，如图所示点击“OK” 2.2编写Spark程序任何Spark程序都是以SparkContext对象开始的，因为SparkContext是Spark应用程序的上下文
转载
2024-06-25 17:16:42
47阅读
首先mapreduce的核心思想是分而治之:即将大的任务拆分成若干个小的任务(map阶段) ,之后再将小的任务的结果合并(reduce阶段)Mapreduce编程指导思想:(8个步骤记下来)mapReduce编程模型的总结：MapReduce的开发一共有八个步骤其中map阶段分为2个步骤，shuffle阶段4个步骤，reduce阶段分为2个步骤Map阶段2个步骤第一步：设置inputFormat类
转载
2024-07-08 22:19:13
240阅读
Spark编程基础1、创建RDD1）从集合（内存）中创建 RDD从集合中创建RDD，Spark主要提供了两个方法：parallelize和makeRDD// 创建 Spark 运行配置对象
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("CreateRDD01")
// 创建 Spark 上下文
实验1 JAVA编程基础一、 实验目的：安装JDK并配置环境变量；熟悉Eclipse集成开发工具环境；初步了解、体会Java程序的特点；熟悉java的数据类型、数组的用法；熟悉java程序的控制语句。二、 实验内容：1. 安装JDK2. 学习Eclipse开发工具3. 能在DOS命令窗口中运行Java程序；能在Eclipse开发环境中运行Java程序4. 阅读以下java程序，了解Java程序的基
转载
2023-10-19 06:11:04
133阅读
文章目录一、网络编程入门1. 网络编程三要素2. IP 地址3. InetAddress4. 端口5. 协议二、UDP 通信程序1. UDP 发送数据2. UDP 接收数据3. UDP 案例三、TCP 通信程序1. TCP 发送数据2. TCP 接收数据3. 服务器给出反馈4. 客户端录入键盘数据5. 服务器数据写入文件6. 客户端数据来自文件7. 文件上传并给出反馈8. 多线程实现上传文件 一
转载
2023-08-29 22:01:48
110阅读
【Java基础】11.网络编程11.1 网络编程内容11.1.1 软件结构C/S结构：用户/服务器结构。例如QQ等B/S结构：浏览器/服务器结构。11.1.2 网络通信协议网络通信协议：通过计算机网络使多台计算机实现连接，连接通信时需要遵守一定的规则。TCP/IP协议：传输控制协议/因特网互联协议，是最基本最广泛的协议。采用四层分层模型。11.1.3 协议分类UDP： User Datagram
转载
2023-05-23 11:42:31
118阅读
使用的文件内容如下：用户表： 电影表：评分表：三个表数据详情如下：1、求被评分次数最多的 10 部电影，并给出评分次数（电影名，评分次数）package com.spark.homework.movie
import org.apache.spark.{SparkConf, SparkContext}
object code_01{
def main(args: Array[Stri
转载
2023-11-25 20:28:39
157阅读
3.5 常见的转化操作和行动操作 3.5.1 基本RDD 1. 针对各个元素的转化操作 两个最常用的转化操作是map()和filter()。转化操作map()接受一个函数，把这个函数用于RDD中的每个元素，将函数的返回结果作为结果RDD中对应元素的值。而转化操作filter()则接收一个函数，并将RDD中满足该函数的元素放入新的RDD中返回。 inputRDD{1，2，3，4}
转载
2024-01-21 10:54:13
51阅读
面向对象——Java实验报告
实验一：
Java基础编程
实验一 java基础编程（预习报告）
<center>
<strong>姓名：</strong>
<u>XXX</u>
<strong>班级：</strong>
<u>
转载
2023-10-06 11:20:36
142阅读
文章目录一、RDD行动算子1.1 reduce1.2 collect1.3 count1.4 first1.5 take1.6 takeOrdered1.7 aggregate1.8 fold1.9 countByKey1.10 foreach1.11 save相关算子二、RDD序列化三、RDD依赖关系四、RDD持久化五、RDD文件读取与保存 一、RDD行动算子行动算子不会产生新的RDD，而是触
转载
2023-12-01 11:56:55
74阅读
