编码优化： ①
RDD
复用 ②
RDD
持久化 ③ 巧用
filter ④ 选择高性能算子 ⑤ 设置合并的并行度 ⑥ 广播大变量 ⑦
Kryo
序列化 ⑧ 多使用
Spark SQL ⑨ 优化数据结构 ⑩ 使用高性能库
参数优化： ①
Shuffle
调优 ② 内存调优 ③ 资源分配 ④
转载
2023-06-19 10:06:27
116阅读
点评：
迷幻音乐在九十年代成为尚存后朋克的中坚力量，Mazzy Star便是其最杰出的代表之一。 Mazzy Star更加喜欢阴柔凄美的迷幻味道，从他们的音乐中我们更容易发现像the Doors、the Velvet Underground的遗风。他们邋遢懒散的吉他、悲痛
转载
2024-01-13 07:47:57
79阅读
# 如何实现"sparks sql in"
## 1. 整件事情的流程
首先，我们需要明确实现"sparks sql in"的整个流程。下面是一个简要的步骤表格：
| 步骤 | 描述 |
| ------ | ------ |
| 1 | 创建SparkSession对象 |
| 2 | 读取数据源 |
| 3 | 使用Spark SQL执行查询操作 |
| 4 | 处理查询结果 |
##
原创
2024-05-02 07:45:41
30阅读
Sherri Sparks
少见的牛人
吼吼
向高手看齐
加油
原创
2010-07-29 20:41:54
547阅读
# 探索Spark语言：大数据处理的利器
在当今社会，数据的处理与分析变得越来越重要，而Apache Spark作为一种快速而通用的大数据处理引擎，逐渐被广泛应用于大数据技术栈中。Spark支持多种编程语言，包括Scala、Java、Python和R，但我们今天要聚焦于Spark的核心编程语言Scala。
## 什么是Spark？
Apache Spark 是一个开源的高速分布式计算框架，适
本文其实主要是想说说spark的kryo机制和压缩！首先spark官网对于kryo的描述：http://spark.apache.org/docs/latest/tuning.html#data-serialization官网相关参数：http://spark.apache.org/docs/latest/configuration.html#compression-and-seria
spark分布式解压工具 文章目录spark分布式解压工具一、目标二、详细设计三、操作说明1.提交模式2.压缩输出路径支持2种方式3.操作命令及说明3.1操作命令3.2命令说明四、操作案例4.1案例1 一、目标 spark解压缩工具，目前支持tar、gz、zip、bz2、7z压缩格式，默认解压到当前路下，也支持自定义的解压输出路径。另外支持多种提交模式，进行解压任务，可通过自定义配置文件，作为sp
伪代码说明：从来没有认真的想过学习一下伪代码，因为大部分只是在阅读，能够看懂也就没有深入了解一下如何编写伪代码，下面所进行的总结就是关于如何使用伪代码。相关概念和理念 伪代码（Pseudocode）是一种算法描述语言。使用伪码的目的是使被描述的算法可以容易地以任何一种编程语言（Pascal，C，Java等）实现。因此
转载
2015-10-12 11:23:00
1102阅读
2评论
Python语言作为一种比较“新”的编程语言，能在众多编程语言中脱颖而出，且与C语言、C++、Java等“元老级”编程语言并驾齐驱，无疑说明其具有诸多高级语言的优点，亦独具一格，拥有自己的特点。下面将简单说明Python语言的优点。简单易学Python是一种代表简单主义思想的语言。阅读一个良好的Python程序就感觉像是在读英语一样，尽管这个英语的要求非常严格。Python最大的优点之一是具有伪代
转载
2023-09-05 13:12:59
214阅读
原文转载：https://baike.so.com/doc/908016-959713.html 伪代码 伪代码(Pseudocode)是一种非正式的，类似于英语结构的，用于描述模块结构图的语言。人们在用不同的编程语言实现同一个算法时意识到，他们的实现(注意:这里是实现，不是功能)很不同。尤其是对于 ...
转载
2021-09-18 12:21:00
615阅读
2评论
在本教材中，用英语和伪代码两种语言来描述算法。伪代码是过程步骤的英语描述和实际程序语言的过程说明之间的一个中间步骤。使用伪代码的优点在于它的简单性和可理解性，它很容易被写出来，也容易从它产生实际的计算机代码（用各种各样的程序设计语言）。 在这个附录中，我们描述本教材中使用的伪代码的格式和语法。这种伪代码的的基本结构与Pascal的非常类似， 而Pascal是目前最广泛用于教学中的一种程序设计
转载
2024-02-05 10:37:17
154阅读
<script type="text/javascript">
var obj0 = {0:"李四",1:165,length:2}
var obj1 = {height:20,age:10}
var arr = [1,2,3,4]
var arr1 = [9,11,22,33]
var arr0 = []
arr0.push.apply(obj0,[1,2,3])
ar
转载
2023-07-10 12:50:48
142阅读
伪代码编程过程感觉有如下几方面： 先写伪代码，再根据伪代码去Coding,其实这样不管是在function、procedure还是Class的设计上都是比较好的，编写完伪代码之后看看伪代码，这个函数或者类就很清晰了，结构应该会很明确也简单易懂了很多，如果没有达到这样的效果，我想应该是对于函数或者类的功能、实现方式
转载
2024-05-16 07:33:55
146阅读
1.3 伪代码为了使本书中描述的算法尽可能有用，首先我们用直观的术语来描述它们。有了这个高层次的解释，可以能够用大多数的编程语言来实现这些算法。然而，一个算法的实现经常包含很多难以实现的琐碎细节。为了使这些细节易于处理，算法也用伪代码来描述。伪代码是很像编程语言但又不是真正的编程语言的一种文本。伪代码提供了代码实现算法过程中会用到的结构和细节，同时又不与某种特定的编程语言联系在一起。希
转载
2024-08-14 01:17:25
320阅读
while循环 和for一样，while也是实现循环代码的一种。伪代码先来看一段while的伪代码，了解下其语法格式。1# 伪代码
2while 条件语句:
3 条件成立执行的[while子句]，位于缩进后边
4else:
5 循环完毕执行的代码块，位于缩进后边学过js的能从上边的代码中看出来，这和js的while基本无差。 将代码直译过来都是：当XXX条件成立的时候，执行XXX语句。直到条件
转载
2024-04-10 16:10:52
770阅读
创建类和子程序的步骤概述创建一个类可以有很多不同的方式，但一般而言都是一个迭代的过程：先对一个类做总体设计，列出这个类内部的特定子程序，创建这些子程序，然后从整体上复查这个类的结果。创建一个类的步骤总体设计：定义类的功能，定义公开隐藏的属性方法，需要用到的数据成员，以及精确地定义类的接口所代表的抽象概念。创建类中的子程序复审并测试整个类通常整个过程可能会经过多次的迭代。创建子程序的步骤一个子程序的
转载
2024-05-17 13:34:12
105阅读
算法学习与代码实现2——插入排序算法思路插入排序其实就是斗地主抓拍的过程，大神级玩家除外，上学时我们寝室一大神，打牌时手中的牌从来不按套路放，我看的是云里雾里，但人家却心中有数。我不是大神，我斗地主只能按顺序放牌，右边小左边大，而且摸牌的时候必须随时排序。插入排序就是个摸牌的过程，每摸到一张牌，就从左边开始对比，直到找到一张手中已有的牌小于或等于这张新摸到的牌，然后把这张牌插入到该牌的左边。算法性
转载
2023-12-29 05:32:57
309阅读
oh oh oh
No matter what you say about love
I keep coming back for more
Keep my hand in the fire
Sooner or later I get what I’m asking for
No matter what you say about life
I l
原创
2011-02-17 21:55:01
449阅读
今天阅读的是《代码大全》的第9章——“伪代码编码过程”。看罢本章，我对于编程的方式方法又有了新的认识。可谓是我认为收获最大的一章。决心按书中的方法去自己实践一下。 正如作者在这一章末尾提到的，“这本书的一个目的就是告诉你如何脱离那种先东拼西凑，然后通过执行来看代码是否工作的怪圈”（就我自己
转载
2024-06-29 14:34:32
59阅读
Python 这门语言最大的优点之一就是语法简洁，好的代码就像伪代码一样，干净、整洁、一目了然。但有时候我们写代码，特别是 Python 初学者，往往还是按照其它语言的思维习惯来写，那样的写法不仅运行速度慢，代码读起来也费尽，给人一种拖泥带水的感觉，过段时间连自己也读不懂。《计算机程序的构造和解释》的作者哈尔·阿伯尔森曾这样说：“Programs must be written for peopl
转载
2023-08-22 19:59:14
1078阅读
