太久没写博客了，我，回来了。忙完毕业，写点啥呢，写点实习中的东西吧，主要关于spark的使用相关，相当于之前spark-scala的进阶版？惯例，我主要是做个笔记自己看的，如有雷同，算我抄你的。rdd与dataframe选哪个用dataframe的几个操作一些环境参数的配置与submit的问题一些语法细节的坑rdd与dataframe先说重点：尽量使用dataframe 看下，谢谢作者。rdd
上周终于把coursera上的一门数据课程结束了，并且通过了，周四根据课程assignment做的实验印象很深，觉得有必要记下来。
Hadoop Platform and Application Framework by University of California, San Diego
https://www.coursera.org/learn/hadoop/home/
一、RDD.fold和Scala.fold使用之间的差别1.Scala中fold的使用val t1=Array(("C++", (1,"1")), ("Java", (2,"2")),("Java", (2,"2")), ("SQL", (3,"3")), ("Python", (4,"4")))
val rst=t1.foldLeft(("",0,""))((sum,obj)=>{
(s
一：分布式基础架构 二：Spark大数据分析计算引擎Spark在传统的MapReduce 计算框架的基础上，对计算过程的优化，从而大大加快了数据分析、挖掘的运行和读写速度，并将计算单元缩小到更适合并行计算和重复使用的RDD计算模型。软件是完整的，框架是不全的，我们自己写的代码逻辑，需要部署到环境中才能够运行；val spakConf = new SparkConf
项目实训131. 背景本项目中后端使用了两个基本的数据库进行数据的存储，分别是mongodb和mysql，两个数据库均存于云端服务器。本篇文章主要讲一下数据库的设计2. mysql的设计mysql分了三个主要的表,分别是用户user表，源图片source表以及上传图片upload表。为了便于统计表，所以每个表都设计了AUTO_INCREMENT的id字段。user表中的openid是绑定在小程序上
一、实训目的1、 贯彻坚强实践环节和理论联系实际的教学原则，增加学生对专业感性认识的深广度，运用所学知识和技能为后续课程奠定较好的基础。2、通过实习，开阔学生眼界和知识面，获得计算机硬件安装和系统维护的感性认识。与此同时安排适量的讲课或讲座，促进理论同实践的结合，培养学生良好的学风。3、实习中进行专业思想与职业道德教育，使学生了解专业、热爱专业，激发学习热情，提高专业适应能力，初步具备职业道德观念
这次实训涉及的知识点有： Java基本语法、Java流程控制（顺序、选择、循环）、Java数据库编程（JDBC）、Java面向对象编程（封装、继承、多态、接口）、Java核心API（List、Vector……）、MySQL数据库操作、MVC模式分层架构（M：模型层、V：视图层、C：控制层）、单元测试（JUnit4: @Test, @Before, @After）首先，对Java知识比以前有了更深的
转载
2023-06-28 17:57:44
179阅读
1. 前言通过基于MapReduce云计算平台的海量数据处理实验，我们了解了Hadoop的基本架构，已经如何编写MapReduce程序，本实验中我主要使用到的两个程序分别是WordCount（词频统计）和InvertedIndex（反向索引）。在将这两个程序之前，我会介绍我对Hadoop的理解。2. Hadoop简介及特性2.1. Hadoop分布式文件系统（HDFS）Hadoop分布式文件系统(
一、实验目的与要求： （简述本次实验要求达到的目的，涉及到的相关知识点，实验的具体要求） 1、实验目的 1）编写HTML网页，掌握HTML表单、表格等常用标签的使用，掌握CSS的语法和应用。 2）编写JavaScript代码，熟悉并掌握JavaScript的基本语法、控制结构及函数，掌握JavaScript预定义对象、浏览器对象的使用。 2、实验要求 1)掌握HTML表单、表格等常用标签的使用，理
# Python实训目的实现指南
## 1. 介绍
在这篇文章中，我将指导你如何实现“Python实训目的”。作为一名经验丰富的开发者，我会向你展示整个实现流程，并提供每个步骤所需的代码和解释。让我们开始吧！
## 2. 流程图
首先，让我们通过以下流程图来了解整个过程的步骤和顺序。这将帮助你更好地理解每个步骤的意义和实施顺序。
```mermaid
graph LR
A[开始] --> B
原创
2023-08-25 08:37:08
103阅读
# Python实训目的实现指南
## 引言
作为一名经验丰富的开发者，我将向你介绍如何实现“Python实训目的”。本文将为你提供一个详细的步骤指南，包含每一步所需的代码和相关注释。希望这篇文章能够帮助你顺利完成实训目的。
## 整体流程
下面是实现“Python实训目的”的整体流程。我们将通过一系列步骤逐步实现目标。
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 在
原创
2023-08-27 12:48:55
213阅读
## Java实训目的
作为一名经验丰富的开发者，我将向你介绍如何实现Java实训目的。在本篇文章中，我将指导你完成Java实训的整个流程，并提供每个步骤所需的代码和注释。
### 流程图
```mermaid
flowchart TD
A[准备工作] --> B[理解需求]
B --> C[设计解决方案]
C --> D[编写代码]
D --> E[测试代码
原创
2023-08-28 09:21:02
118阅读
实验报告一、实验目的与要求：实验目的：1. 使用JDK编译、运行简单的Java程序2.使用Eclipse 编辑、编译、运行、调试Java程序实验要求：1.没有Linux基础的同学建议先学习《Linux基础入门（新版）》《Vim编辑器》 课程2.完成实验、撰写实验报告，实验报告模板见QQ群，注意实验报告重点是运行结果，遇到的问题(工具查找，安装，使用，程序的编辑，调试，运行等)、解决办法分析（从中可
Java程序设计实训指导书适用专业：软件技术、计算机应用技术、计算机网络技术、软件技术(软件测试)、电子商务专业等专业。 一、总体目的：使学生加深对JAVA基本理论知识的理解，巩固课堂教学内容。以培养学生的实际操作能力为基本目标，学生经过一学期的系统训练后，能基本掌握Java语言的编程思想，能独立编写Java程序，并为后续课程的学习打下良好的基础。 二、实训总体安排： Java课程实训分为三个基本
转载
2023-09-14 22:43:53
1063阅读
北京电子科技学院（BESTI） 实 验 报 告 课程：Java 班级： 1352 姓名：黄晓妍 学号：2013
转载
2023-09-15 13:32:09
76阅读
JavaScript is the scripting language of the Web! JavaScript是WEB上的一种脚本语言，这种脚本语言用在不计其数的网页上用于页面设计，表单验证，探测浏览器和创造COOKIES等等！JS脚本很好学，下面我们就一起开始学习JS吧！-_- :) &nbs
文章目录前言概述Spark和MR的数据处理流程对比Spark的组成示意图Spark模块Spark特点Spark的运行模式Spark官方测试案例SparkWebUISpark通用运行简易流程Spark核心概念RDD特点WordCount案例数据分区算子转换算子行动算子序列化血缘关系：RDD的持久化和检查点：RDD的分区器：文件数据的读取和存储广播变量：累加器：自定义累加器：案例：练习： 计算每个省
## Java实训的目的
Java实训是指通过实际的项目开发经验，培养学生在Java编程语言方面的能力。它的目的是让学生在实践中掌握Java语言的核心概念、基本语法和常用工具，以及面向对象编程的思维方式。通过实际的项目开发，学生能够更好地理解和应用Java语言，提升自己的编程能力。本文将通过一个简单的Java实训项目来介绍Java实训的目的和实施方法。
### 项目介绍
我们将以一个学生成绩
原创
2023-08-21 04:12:41
317阅读
# JavaScript实训目的
JavaScript是一种广泛应用于Web开发中的脚本语言，它可以为网页增加交互性和动态效果。通过学习和实践JavaScript，我们可以掌握以下目标：
## 1. 理解JavaScript的基本概念和特性
JavaScript是一种解释型的脚本语言，与HTML和CSS相互配合，可以实现网页的动态效果和交互功能。在开始实训之前，我们需要了解JavaScrip
原创
2023-08-29 12:36:37
244阅读
