Saprk mapPartitionsWithIndex
原创
2022-12-28 15:29:07
47阅读
Saprk flatMap
原创
2022-12-28 15:35:09
99阅读
Saprk map&mapPartitions
原创
2022-12-28 15:29:02
51阅读
上一篇讲到了spark里面的action函数： Action列表： reduce collect count first take takeSample takeOrdered saveAsTextFile saveAsSequenceFile saveAsObjectFile countByKey
转载
2018-01-12 14:03:00
105阅读
2评论
错误日志：Yarn application has already ended! It might have been killed or unable to launch application master.出现此问题一般是机器的虚拟内存不够，导致yarn进程被杀解决方法：1.加大内存；2.在yarn-site中添加以下配置<property> <...
原创
2022-01-11 16:29:12
437阅读
Saprk core Transformation 转换算子RDD整体上分为Value类型、双Value类型和Key-Value类型Key-Value类型总结：reduceByKey、aggregateByKey、foldByKey、combineByKey
原创
2022-12-28 15:32:43
94阅读
今天早上来到公司，看了一下hue平台执行的时候，出现以下报错，然后我就去平台上查看日志，找了半天也没有找到，以为是spark的问题。
然后在去hive上去看日志，发现了报错如下（原来是与atlas集成的时候，把阿里的oss的jar也移了过来，因为hive设置辅助jar只能设置一个路径）：
查看了一下，无权限，然后去服务器上开通相关的权限
原因是因为这几个包是与aliyun的oss集成的包，hi
原创
精选
2021-08-24 10:32:55
944阅读
点赞
本地连接集群运行Saprk程序两种方式目录1）通过Maven（简单一些，建议用这种）2）下载Saprk环境1）通过Maven 备注：jav
原创
2022-12-28 15:09:17
440阅读
第 2 章 Spark 下载与入门2.1 下载Spark略2.2 Spark中Python和Scala的shell略2.3 Spark核心概念简介以Python 版的例子介绍saprk核心概念例 2-1：Python 行数统计
# 1、驱动器程序：交互式运行spark，Spark shell 本身就是驱动器程序SparkContext>>> lines = sc.textFile
转载
2023-10-21 21:39:15
330阅读
最近博主因为学习《云计算导论》一课，需要在Windows上搭建Saprk，故在网上找了相关教程搭建，步骤如下：1. Scala2.Spark3.Handoop但是不管博主怎么修正，在命令行输入“spark-shell”时，都会出现错误：Missing Python executable 'python', defaulting to '............对此博主找到了解决方法，如果你的报错也
转载
2023-06-20 09:14:18
121阅读
目录一、DAG概念1、概述2、详解二、RDD的依赖关系1、概括2、窄依赖3、宽依赖4、Shuffle概述三、DAG的生成与Stage的划分1、DAG的生成2、Saprk的Stage（阶段）3、Saprk的Job和Task4、可视化理解窄依赖和宽依赖四、Spark框架核心概念一、DAG概念1、概述Spark会根据用户提交的计算逻辑中的RDD的转换和动作来生成RDD之间的依赖关系，同时这个计算链也就生
转载
2024-07-15 17:27:40
41阅读
时间去搭建大数据环境，配置各种另人眼花缭乱的配置文件 各种大数据组件：hdfs、yarn、hive、zookeeper、flume、azkaban、saprk、Phoenix、hbase、sqoop、MongoDB、elasticsearch.....等等等等
原创
2021-12-15 13:42:23
343阅读
spark-sql 写代码方式 1、idea里面将代码编写好打包上传到集群中运行，上线使用 spark-submit提交 2、saprk shell (repl) 里面使用sqlContext 测试使用，简单任务使用 spark-shell --master yarn-client 不能使用yarn ...
转载
2021-07-21 17:04:00
133阅读
2评论
面向对象语言面向对象语言（Object-Oriented Language）是一类以对象作为基本程序结构单位的程序设计语言，指用于描述的设计是以对象为核心，而对象是程序运行时刻的基本成分。语言中提供了类、继承等成分，有识认性、多态性、类别性和继承性四个主要特点。python具备这些特点，所以它是面向对象语言。面向对象编程面向对象程序设计(Object Oriented Programming)作为
转载
2024-02-24 19:42:02
1409阅读
python 循环高级用法[expression for x in X [if condition] for y in Y [if condition] ... for n in N [if condition]]上面按照从左至右的顺序，分别是外层循环到内层循环高级语法除了像上面介绍的 [x ** 2 for x in L] 这种基本语法之外，列表推导式还有一些高级的扩展。1. 带有 if 语句我
转载
2023-06-12 17:15:33
3105阅读
点赞
1评论
1 Python定义Python 是一种简单易学并且结合了解释性、编译性、互动性和面向对象的脚本语言。Python提供了高级数据结构，它的语法和动态类型以及解释性使它成为广大开发者的首选编程语言。Python 是解释型语言： 开发过程中没有了编译这个环节。类似于PHP和Perl语言。Python 是交互式语言： 可以在一个 Python 提示符 >>> 后直接执行代码。Pyth
转载
2023-09-14 10:39:05
1926阅读
点赞
概述 基于Spark，兼容Hive 集成在Spark中，不需单独安装 提供统一的数据访问方式 结构化的数据类型：JDBC、JSON、Hive、Parquet（Saprk SQL 默认数据源） 支持标准的数据连接：JDBC、ODBC Hive把sql解析成了mapreduce程序，sparksql把s
转载
2020-06-13 17:24:00
140阅读
2评论
Python简介Python的数据类型Python3的编码用户交互程序格式化输出if-else语句while语句–猜数游戏for语句–猜数游戏 Python简介Python（英国发音：/ˈpaɪθən/ 美国发音：/ˈpaɪθɑːn/）, 是一种面向对象的解释型计算机程序设计语言，由荷兰人Guido van Rossum于1989年发明，第一个公开发行版发行于1991年。 传说是作者圣诞节无聊
转载
2023-10-02 19:43:28
336阅读
# Python 指定 Python 的正确使用方式
在现代编程环境中，Python 已成为一种流行的编程语言，广泛应用于数据分析、机器学习、Web开发等领域。然而，许多初学者常常会遇到关于 Python 版本的选择和管理的问题。本文将为您介绍如何指定 Python 的版本，并提供代码示例，以及如何使用 Python 绘制饼状图和甘特图。
## 1. Python 版本管理
当您在计算机上安
isinstance()用来判断一个对象是否是一个已知的类型，isinstance()函数的语法如下：isinstance(object,classtype)object -- 实例对象。classtype -- 可以是直接或间接类名、基本类型或者由它们组成的元组。isinstance()函数的返回值是布尔型，若object的类型是classtype，那么就返回True，否则返回Fals
转载
2023-06-21 15:22:06
329阅读
