一、RDD.fold和Scala.fold使用之间的差别1.Scala中fold的使用val t1=Array(("C++", (1,"1")), ("Java", (2,"2")),("Java", (2,"2")), ("SQL", (3,"3")), ("Python", (4,"4")))
val rst=t1.foldLeft(("",0,""))((sum,obj)=>{
(s
转载
2023-12-15 17:54:45
78阅读
上周终于把coursera上的一门数据课程结束了，并且通过了，周四根据课程assignment做的实验印象很深，觉得有必要记下来。
Hadoop Platform and Application Framework by University of California, San Diego
https://www.coursera.org/learn/hadoop/home/
转载
2023-12-11 22:07:31
96阅读
学习Spark的心得体会 自从大二学习大数据以来,我知道了什么是大数据,大数据是一种现象,并非是一种技术,大数据的体量要特别大,类别要特别多.大数据是海量数据+复杂数据类型。 大数据解决的问题: 1.快速的数据流
转载
2024-08-15 15:16:40
56阅读
RDD及其特点1、RDD是Spark的核心数据模型，但是个抽象类，全称为Resillient Distributed Dataset，即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以被并行操作。（分布式数据集）3、RDD通常通过Hadoop上的文件，即HDFS文件或者Hive表，来进行创建；
转载
2023-10-11 15:49:45
1132阅读
一、实验目的 （1）熟悉 Spark 的 RDD 基本操作及键值对操作； （2）熟悉使用 RDD 编程解决实际具体问题的方法。 二、实验平台 操作系统：centos6.4 Spark 版本：1.5.0 三、实验内容实验一：1．spark-shell 交互式编程 请到本教程官网的“下载专区”的“数据集”中下载 chapter5-data1.txt，该数据集包含 了某大学计算机系的
转载
2023-06-19 05:34:50
710阅读
太久没写博客了，我，回来了。忙完毕业，写点啥呢，写点实习中的东西吧，主要关于spark的使用相关，相当于之前spark-scala的进阶版？惯例，我主要是做个笔记自己看的，如有雷同，算我抄你的。rdd与dataframe选哪个用dataframe的几个操作一些环境参数的配置与submit的问题一些语法细节的坑rdd与dataframe先说重点：尽量使用dataframe 看下，谢谢作者。rdd
转载
2023-12-29 18:11:31
133阅读
在本博文中，我们将深入探讨一个“Spark实训项目”，分析其背景、演进历程、架构设计、性能攻坚和扩展应用，并梳理出我们的复盘总结，以便为今后的类似项目提供经验和借鉴。
## 背景定位
在处理大规模数据时，企业面临着许多挑战。尤其是在需要快速分析和处理数据时，传统技术往往显得无能为力。我们的业务场景涉及实时数据分析，电商平台需要通过用户行为数据分析来推送个性化推荐。通过对数据的实时处理，我们能够
最近在实习，公司用的Spark，需要学习一下，废话少说，开始学习旅程。说到Spark，不得不提一下MapReduce，众所周知，Spark的出现，正是用来替代原来的MapReduce计算框架，对于传统的MapReduce来说，存在许多局限性：1. 只支持Map和Reduce两种操作，编程不够灵活2. 处理效率低：map中间结果写入磁盘，reduce写HDFS，多个MR间通过HDFS交换数据&nbs
转载
2023-10-20 17:10:25
483阅读
本人小菜鸡一只，虽然发育缓慢，但是愿意努力从基础中进阶。第一篇博客，装作也是很专业的样子，希望坚持下来，学有所成！撒花花~~~Docker学习笔记（一）Docker初印象在学习Docker之前本菜鸡需要花上一个周的时间重新学习和熟悉一下Linux常用命令，当然仔细一想发现，其实在学习Docker的过程中来学习Linux的效率应该是会更高一些。Docker的应用场景web应用的自动打包和发布；自动化
转载
2023-09-21 08:52:07
143阅读
学Java必须做到三步走： 1.课前认真预习。 2.课上认真听讲。 3.课下认真复习。 我想只有做好这三步，自己才能跟上老师的步子。 Java学起来很有趣，通过学习Java可以提高自己的逻辑思维能力。在学习Java期间我们做了一些程序，我们班的同学也都积极准备，完成的还不错！在做程序时，我遇到了一些难题，有时也会出现错误，耐心的调试解决问题，我知道只有坚持下去才会成功。 因为Java是一种面向对象
转载
2021-12-23 21:14:11
171阅读
spark-core 实战案例目标：独立实现Spark RDD的word count案例独立实现spark RDD的PV UV统计案例4.0 Pycharm编写spark代码环境配置准备pycharm环境1，对接到centos服务器，下载环境1.1 选择Tools -->Deployment–>Configuration注：选择Type为SFTP，写入主机名，登陆的用户名和密码注：选择
转载
2023-11-14 10:04:21
330阅读
一：分布式基础架构 二：Spark大数据分析计算引擎Spark在传统的MapReduce 计算框架的基础上，对计算过程的优化，从而大大加快了数据分析、挖掘的运行和读写速度，并将计算单元缩小到更适合并行计算和重复使用的RDD计算模型。软件是完整的，框架是不全的，我们自己写的代码逻辑，需要部署到环境中才能够运行；val spakConf = new SparkConf
转载
2023-10-11 15:26:55
494阅读
<!--
案例一：
改变 id 为 one 的元素的背景色为 # bbffaa
改变 class 为 mini 的所有元素的背景色为 # bbffaa
改变元素名为 <div> 的所有元素的背景色为 # bbffaa
改变所有元素的背景色为 # bbffaa
改变所有的<span>元素和 id 为 two 的元素的背景色为 # bbffaa
转载
2023-12-28 18:39:45
37阅读
容器（Docker）学习心得 文章目录容器（Docker）学习心得一、容器是什么1、隔离容器内外的环境2、将容器内的物品完整传输到另一个地方二、Image（镜像）与Container（容器）的概念三、Docker与虚拟机的对比四、DockerFile五、Docker的基本命令与使用Docker发布一个SpringBoot应用1.Docker安装2.打开CMD3.构建Image镜像4.将构建好的ia
转载
2023-07-25 22:38:09
346阅读
# JavaScript实训心得
作为一名经验丰富的开发者，我将教给你如何实现“JavaScript实训心得”。在本文中，我将与你分享整个实现过程的步骤，并提供每个步骤所需的代码和注释。
## 实现流程
下面是实现“JavaScript实训心得”的整个流程。可以使用表格展示每个步骤。
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建一个空的HTML文件 |
| 2 |
原创
2023-07-27 12:48:45
175阅读
2009-12-23 13:50
静电多由绝缘体物体间互相磨擦或干燥空气与绝缘物磨擦产生.当它能量积累到一定程度,防碍它中和的绝缘体再也阻挡不住时,即发生剧烈放电,即静电放电(ESD),这时的最高电压可达几千乃至几万伏.势必对静电敏感组件造成损害 生活,生产中静电可谓无处不在,无时不在,从举手投足间服装的磨擦,到干燥空
四大组件 1.Activity（活动，页面） 必学 2.Service（服务） 选学 3.Broadcast（广播）、 必学 4.Content Provider（内容提供者） 不学 【Activity】一、自定义Activity 1.AndroidManifest.xml 清单文件 2.单独写一个java文件二、页面跳转 1. 显式跳转 显式跳转需要知道要跳转到的页
转载
2023-08-29 15:41:55
34阅读
[size=large]
android简单学习总结：
在学习android之前，我们必须了解用Ecplice搭建android开发平台；在搭建平台之前、我们需要下载
或拷贝两个文件：ADT-10.0.1 (1)和android-sdk_r06-windows；这两个文件很大，建议向有资源的同学拷
贝；注意:这两个文件要和自己电脑所配置操作系统统
转载
2023-07-10 00:41:25
178阅读
1.我用的软件为 mysql5.7 和一个开发的mysql query browser,很好用，但是，对于较大的数据，该browser很容易崩溃，no responding. 所以，这个时候，我常常选择mysql cmd。很nice。cmd中sql语句必须以；结尾。2.设备不能用，登不进去，往往要查看my.ini文件。然后从电脑上的services.msc中看一下mysql
转载
2023-06-04 17:58:26
253阅读
1、首先进行SDK的安装和下载，我们这次使用的是安卓4.4.2版本。2、创建第一个安卓模拟器，配置好相关属性，页面大小，内存等等，然后耐心的等待设备的启动吧。3、创建第一个安卓工程——lesson01。时间也比较长。4、在HelloWorldActivity.java文件中创建textView来显示第一个文件HelloWorld。。。并在activity_hello_world.xml中通过拉扯按
转载
2024-01-11 20:43:25
86阅读
