1、Spark2.x实现了对Spark SQL和Hive SQL操作API的统一2、Spark2.x引入了SparkSession的概念，提供了一个统一的切入口来使用Spark的各项功能，统一了旧的SQLContext和HiveContext3、统一了DataFrame和DataSets的API4、Spark Streaming基于Spark SQL构建了high-level API，...
原创
2022-05-16 09:39:53
539阅读
看很多资料，很少有讲怎么去操作读写csv文件的，我也查了一些。很多博客都是很老的方法，还有好多转来转去的，复制粘贴都不能看。下面我在这里归纳一下，以免以后用到时再费时间去查.前端实现文件下载和拖拽上传 通过sc.textFile 确实这样操作可以读取，但是根据csv文件的格式能够发现不方便后续操作，
转载
2019-01-06 16:19:00
63阅读
2评论
例1： 提交 Python 应用bin/spark-submit my_script.py如果在调用 spark-submit 时除了脚本或 JAR 包的名字之外没有别的参数，那么这个 Spark 程序只会在本地执行。 当我们希望将应用提交到 Spark 独立集群上的时候，可以将独立集群的地址和希望启动的每个执行器进程的大小作为附加标记提供，如例2所示。例2： 提交应用时添加附加参数bin/spa...
原创
2018-06-19 19:40:57
417阅读
例1： 提交 Python 应用bin/spark-subm
原创
2022-04-22 16:24:03
514阅读
1. Graphx概念针对某些领域，如社交网络、语言建模等，graph-parallel系统可以高效地执行复杂的图形算法，比一般的data-parallel系统更快。Graphx是将graph-parallel的data-parallel统一到一个系统中。允许用户将数据当成一个图或一个集合RDD，而简化数据移动或复杂操作。2. 属性图属性图为有向多重图，带有链接到每个顶点和边的用户定义的对象。有向
课程下载地址：链接: http://pan.baidu.com/s/1kTggcb9 密码: 9mfn网盘失效的话，请加QQ：3113533060课程内容：第一周 Spark生态系统概述与编程模型 Spark生态系统概述 回顾Hadoop MapReduce Spark运行模式 RDD &nbs
转载
精选
2014-12-23 10:27:21
1414阅读
第1章：使用Scala使用Spark进行实用的机器学习第2章：足够的线性代数用于Spark机器学习第3章：Spark的三个机器学习数据火枪手-一起完美第4章：实施强大的机器学习系统的常用食谱第5章：Spark 2.0中具有回归和分类功能的实用机器学习-第一部分第6章：Spark 2.0中具有回归和分类功能的实用机器学习-第二部分第7章：可随Spark扩展的推荐引擎第8章：使用Apache Spar
原创
2021-04-25 22:50:36
212阅读
安装JDK 1.7以上 Hadoop 2.7.0不支持JDK1.6，Spark 1.5.0开始不支持JDK 1.6安装Scala 2.10.4安装 Hadoop 2.x 至少HDFSspark-env.shexport JAVA_HOME=
export SCALA_HOME=
export HADOOP_CONF_DIR=/opt/modules/h
原创
2015-11-11 22:03:16
1176阅读
判断一个整数x是否是2的N次方。 方法之一是判断x & (x - 1)==0。若为True，则x是2的N次方；若为False，则x不是2的N次方。 有人质疑，他证
转载
2022-11-14 20:46:04
232阅读
写在前面文中大部分是摘自美团点评的文章(原文-->https://tech.meituan.com/spark-tunin
转载
2022-11-03 14:51:17
55阅读
官方定义：spark是一个基于内存的分布式计算框架它会使得计算速度以及开发速度快！特点：One stack rule them all !一站解决所有问题热查询(Hive)批处理(MapReduce)实时流计算(Storm)回顾MapReduce 的 Shuffle过程 见图 hadoop慢的原因：DISK IO 输入输出DISK IO，Shuffle阶段也是DI...
原创
2022-12-30 09:39:08
175阅读
文章目录前言：为什么需要图计算一、Spark GraphX 概述二、图的术语三、图的经典表示法四、GraphX 核心抽象五、GraphX API六、属性图应用示例七、图的算子1、属性算子2、结构算子3、Join 算子八、GraphX API 的应用 前言：为什么需要图计算许多大数据以大规模图或网络的形式呈现许多非图结构的大数据，常会被转换为图模型进行分析图数据结构很好地表达了数据之间的关联性一、
今天看到了一条神奇的语句，第一次见这么写：x = 3b = [1,-1][x>5]print(b)# 输出 1
原创
2023-03-08 07:27:33
135阅读
Python中的[1:]意思是去掉列表中第一个元素（下标为0），去后面的元素进行操作，以一个示例题为例，用在遍历中统计个数：
转载
2023-05-18 17:18:03
211阅读
# Java变量赋值操作解析
在Java编程中，变量赋值是一种常见的操作。通过赋值操作，可以将一个值存储到变量中，方便后续使用。本文将介绍Java中的变量赋值操作，并通过示例代码展示其具体用法。
## 变量赋值的基本概念
在Java中，变量是用于存储数据的容器。在使用变量之前，需要首先声明变量的类型，并为其分配内存空间。变量赋值是将一个值存储到变量中的过程。赋值操作由等号（=）完成，等号左边
原创
2023-08-08 17:11:08
43阅读
var x = prompt('请你输入一个x的值')
原创
2023-08-09 10:13:08
190阅读
字符串，元组，列表等索引都是按照如下格式：原理Python 访问子字符串，可以使用方括号 [] 来截取字符串，字符串的截取的语法格式如下：变量[头下标:尾下标]
索引值以 0 为开始值，-1 为从末尾的开始位置。举例明白以上之后，很容易理解如下代码：a = "abcdef"
x = a[1:] #截取索引1到所有
y = a[:-1] #从索引0（包含）开始，截取到倒数第1位（不包含）
prin
