Spark应用程序可以使用R语言、Java、Scala和Python进行编写，极少使用R语言编写Spark程序，Java和Scala语言编写的Spark程序的执行效率是相同的，但Java语言写的代码量多，Scala简洁优雅，但可读性不如Java，Python语言编写的Spark程序的执行效率不如Java和Scala。
转载
2023-08-02 14:14:09
66阅读
SparkSQL 高级篇(一) 聚合操作聚合操作聚合操作是大数据分析过程中一个常用的操作，用来分析汇总数据，或者生成汇总报告。 聚合通常需要对整个数据集或一个或多个列进行某种形式的分组，然后对每个组应用聚合函数，如求和、计数或求平均值。Spark提供了许多常用的聚合函数。这里介绍下基本的聚合函数和分组聚合操作函数。首先创建一个用于demo的DataFrameval flight_summary =
转载
2023-09-02 00:11:56
70阅读
在软件开发生命周期中，软件测试是确保软件质量与用户体验至关重要的一环。一个规范的软件测试流程不仅能有效发现软件中存在的问题，还能为开发团队提供宝贵的反馈，以便及时修正和改进产品。以下将详细介绍软件测试项目的测试流程。
一、需求分析阶段
在软件测试的初始阶段，测试团队需要对项目的需求进行深入分析。这包括对软件功能、性能、安全性等方面的全面了解。测试人员要与产品经理、开发人员等密切沟通，确保对需
原创
2024-06-25 13:12:29
83阅读
Spark在实际项目中分配更多资源 Spark在实际项目中分配更多资源 性能调优概述 分配更多资源 性能调优问题 解决思路 为什么调节了资源以后，性能可以提升？ 性能调优概述 分配更多资源 性能调优的根本，就是增加和分配更多的资源，性能和速度上的提升，是显而易见的基本上，在一定范围之内，增加资源与性能的提升，是成正比的写完了一个复杂的spark作业之后，进行性能调优的时候，首先第一步，就是要来调节
转载
2024-08-14 16:18:41
17阅读
一、为什么引用Spark，Spark是什么？1、spark是什么，spark是一个实现快速通用的集群计算平台，通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序，他扩展了MapReduce，支持更多的计算模式，包括交互式查询和流处理，它的特点，能在内存中进行计算，及时依赖磁盘进行复杂的运算，比MapReduce更加高效，现在大部分公司的项目也都是应该基于Hadoop+Spark的模式二
转载
2023-12-06 15:59:31
96阅读
软件测试基于不同的立场，存在着两种完全不同的目的。从用户的角度出发，普遍希望通过软件测试暴露软件中隐藏的错误和缺陷，以考虑用户是否可以接受该产品。而从软件开发者角度出发，则希望测试成为表明软件产品不存在错误的过程，验证该软件已正确地实现了用户需求，确立人们对软件质量的信心。因此他们会选择那些导致程序失效概率小的测试用例，回避那些易于暴露程序错误的测试用例。 同时，也不会着意去测试，排除程序中
原创
2022-12-12 10:23:07
7174阅读
为了发现尽可能多地缺陷（bug），还有就是衡量软件满足客户要求，这个是在实际过程中碰到的，因为需求才是王道，要站在客户角度测试， 只要你测试的功能，客户说好，那肯定就是好的， 如果测试了再多bug，结果客户说有bug那就是有bug。...
原创
2021-08-07 09:12:44
404阅读
接口测试的目的是什么呢？随着互联网技术的不断发展，接口测试已成为软件测试中的重要环节，在项目的整个生命周期中都占有重要的地位。那么接口测试的目的是什么？接口测试可以确保系统功能的正确性。接口是软件系统中不同模块之间交互的重要途径，如果接口的实现不当，很容易导致系统故障和功能缺陷。因此，对接口进行测试是非常重要的，以确保接口的实现是正确的，接口之间的数据交互是正确的，以及接口的容错性是足够的。接口测
原创
2023-02-15 17:44:03
239阅读
1. 背景在Linux下安装Ambari或者CDH并不复杂，但考虑到环境的维护、组件（尤其是Spark）版本的变更，以及测试数据的污染等因素，希望有一种解决方案能减弱这些困扰。之所以选择本地执行：环境独享，不被他人干扰使用Jmockit，实现局部自定义改造结合Testng，方便单元测试用例编写与执行甚至可以通过Intellij IDEA实现代码调试2. 环境搭建2.1 POM文件在Intellij
转载
2023-08-01 14:12:00
181阅读
目录1：介绍一下Spark2：谈一谈Spark的生态体系3：说说Spark的工作流程4：Spark运行模式有哪些？说说你最熟悉的一种5： 谈谈Yarn Cluster和Yarn Client模式的区别6：简单讲下RDD的特性7：RDD的宽依赖和窄依赖了解吗8：你用过的Transformation和Action算子有哪些9：说说job、stage和task的关系10：Spark为什么这么快 1：介
转载
2023-12-10 09:20:05
67阅读
Spark Local模式安装目前Apache Spark主要支持三种分布式部署方式：分别是standalone、Spark on mesos和spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算框架
转载
2024-08-30 16:00:31
26阅读
由于工作的需要，在考虑用spark作为实时日志分析的框架，而之前没有接触过spark，只是在网上看到大家对它评价很高，于是就开始去着手学习它，从官方文档和网上各种资料狠狠恶补了两天，综合这两天的收获，谈一谈对spark的肤浅的理解一、spark的三种运行模式（这里没有去关注mesos）1、standlone模式 这种模式是spark在做计算时候的一种独立模式，这种模式是为了让初学spa
转载
2024-01-12 00:19:42
26阅读
在看完下面的细节之后，就会发现，spark的开发，只需要hdfs加上带有scala的IDEA环境即可。 当run运行程序时，很快就可以运行结束。 为了可以看4040界面，需要将程序加上暂定程序，然后再去4040上看程序的执行。 新建的两种方式，第一种是当时老师
转载
2024-07-23 09:39:22
52阅读
Spark Sql性能测试及调优目录(?)[+]内存不足时group by操作失败。正常应该速度变慢，而不是失败，因为还有磁盘可用错误日志：Task：java.io.IOException: Filesystem closed atorg.apache.hadoop.hdfs.DFSClient.checkOpen(DFSCl
转载
2024-05-27 16:26:23
38阅读
hadoop生态系统零基础入门【新增人工智能】
问题导读：1.Spark的适用场景是什么？
2.spark 运行流程是怎样的？
3.Spark Streaming的运行原理是怎样的？
spark 生态及运行原理
Spark 特点
运行速度快 => Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计
转载
2023-08-11 15:15:37
211阅读
最近我试着搭建了方便大家一键试玩的 Nebula Graph 中的 Spark 相关的项目，今天就把它们整理成文分享给大家。而且，我趟出来了 PySpark 下的 Nebula Spark Connector 的使用方式，后边也会一并贡献到文档里。NebulaGraph 的三个 Spark 子项目我曾经围绕 NebulaGraph 的所有数据导入方法画过一个草图，其中已经包含了 Spark Co
转载
2024-03-12 14:29:54
47阅读
Spark是一种由scala编写的快速、通用、可扩展的大数据分析引擎，所谓大数据分析主要是对大量数据进行分析处理，是目前大数据开发职业必备技能一、简单介绍下面是对spark的简单介绍，嗯，主要就是说下spark有多好多好的，不想看的可以直接去第二步特点1）快：与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DA
转载
2023-12-13 02:42:59
37阅读
1.实验学时4学时2.实验目的熟悉Spark Shell。编写Spark的独立的应用程序。3.实验内容（一）完成Spark的安装，熟悉Spark Shell。首先安装spark:将下好的压缩文件传入linux，然后进行压解：之后移动文件，修改文件权限：然后是配置相关的文件：Vim进入进行修改：然后是运行程序判断是否安装完成：由于信息太多，这时需要筛选信息：运行示例代码输出小数。然后是shell编程
转载
2023-06-19 09:52:29
446阅读
在javaeye学习一段时间单元测试后，虽然测试的文章不多，但都是经典帖子。同时也发现这里面讨论的关注点大部分是对测试的目。对于该怎么测试，怎么样才可以让测试自动话，怎么样保持测试的实效性等讨论的比较少。最近被公司逼的急了，它要求在这个月里写一篇关于单元测试的论文。无奈之下，只好来到这里记录下自己学习的点点滴滴。以方便自己以后整理成论文。做事往往要带很强的目的性去做才可以成功，单元测试...
转载
2023-09-22 15:26:43
124阅读
测试活动的目的 1. 让执行测试活动的工程师更了解测试理念，测试设计，测试技术，从而让自己的测试活动更有效率更有深度 任何一件事情每个人都是从不会到会慢慢进步的，测试也不例外。执行测试的人员会在项目过程中碰见如下常见的问题： *不知道测试具体做点什么事情 *测试用例往往冗余或遗漏重要功能点 *测试时间不充裕 在之前提到了分析这个问题的前提，前提是会思考会自我学习的人。也许他们会在过
原创
2023-04-07 10:22:28
2969阅读
