存储系统由于大多数Spark作业可能必须从外部存储系统（例如Hadoop文件系统或HBase）读取输入数据，因此将其尽可能靠近此系统放置非常重要。我们建议如下：如果可能的话，在与HDFS相同的节点上运行Spark。最简单的方法是建立一个Spark 独立模式集群同一节点上，并配置Spark和Hadoop的内存和CPU的使用情况，以避免相互干扰（Hadoop的，相关的选项是 map
转载
2023-11-01 15:45:27
103阅读
案例背景最近上班需要处理的都是百万，千万级的数据，pandas的性能已经不够看了（虽然它在处理数据上是真的很好用），公司都是用的polar和pyspark，我最近也学习了一些，然后写篇文章对比一下他们的常见用法。虽然他们都有数据框dataframe这个数据结构，但是具体用法还是有很多差异的。数据选取都是做数据分析的，那么就用最简单的机器学习数据集波士顿房价数据集吧，演示以下常见的数据处理的用法。，
Spark 概述运行速度快容易使用Spark本质上计算模式也是MapReduce，但是操作不局限于Map和Reduce两个操作，提供了更多的操作类型。而且Spark会存储在内存中，磁盘IO开销很小。Spark 生态系统大数据处理主要包括：复杂的批量数据处理基于历史数据的交互式查询基于实时数据流的数据处理 过去我们需要同时部署三种不同的软件，如MapReduce、Impala、Storm会存在如下问
转载
2023-11-10 01:11:10
280阅读
pyspark和spark都需要安装吗？这是一个经常被问到的问题。在本篇博文中，我将详细介绍如何解决这个问题，包括环境准备、分步指南、配置详解、验证测试、优化技巧和扩展应用。接下来，我将开始详细的讨论。
## 环境准备
在开始安装之前，我们需要确保环境的准备工作已经到位。首先，需要了解前置依赖安装，主要包括Java和Scala的安装。
### 前置依赖安装
- Java 8及以上版本
-
windowsscalaspark 可以看到spark要求hadoop版本大于2.7，解压完后将(D:/spark/bin)添加到环境变量中hadoop 记得版本要大于2.7，我们下载hadoop-x.y.z.tar.gz 文件（带src的源文件，需要自己编译），同样将(D:/hadoop/bin)添加到环境变量中这里有一个及其关键的操作，咱们创建一个HADOOP_HOME的环境变量，值为(D:/
转载
2024-02-03 11:09:04
101阅读
Spark作为一个基于内存的开源计算框架，在这个大数据时代背景下，受到越来越多的开发者的喜爱，相对于Hadoop,Spark拥有对大量数据更快的处理速度，并且易于使用（支持多种开发语言）。比Hadoop具有更多的优点，怎能不让人想去尝试一下Spark的魅力呢？
了解Spark的都知道Spark是用Scala写的，那么要想在windows下来运行Spark少不了的就要先安装Scala。
首先的在一
转载
2023-10-12 10:31:18
166阅读
1. spark环境搭建Win7 系统下用IDEA创建Spark工程，由于版本之间相互依赖，下载时要看清楚版本。jdk-8u281-windows-x64.exespark-3.1.1-bin-hadoop2.7.tgz spark是基于scala开发，具体可从 spark与scala版本对应关系 查看hadoop-2.7.1.tar.gzhadooponwindos-mast
# 安装 Apache Spark 的整体流程
在今天的文章中，我们将指导您如何安装 Apache Spark。同时，您将了解在安装 Spark 之前需要准备的其他组件，以及每个步骤中所需的代码与说明。为了方便理解，我们将整个流程分解成多个步骤，并以表格和流程图的形式展示。
## 安装流程概览
| 步骤 | 说明
生命不息，折腾不止，趁着最近工作不是太忙继续我的编程之路的学习。 年龄大了，很多东西做过一遍就容易忘记，所谓“好记性不如烂笔头”，对于知识还是记录下来比较容易保存，既是给自己留个笔记，也可以分享给其他有需要的人。废话少说，以下记录我的spark学习之旅： 一、准备工作 1.准备三台服务器.一台作为master,另外两台作为slave 我这里准备了三台服务器，对应的I
转载
2024-07-06 05:57:36
41阅读
PySide6自制教程最近想学习图形界面来展示自已以前写的部分python程序，经过对比还是感觉使用PySide6做图形界面为最优解。最近可能会不定期的更新自己的学习笔记，如果大家有什么疑问或建议请留言或私信我哈。一、PySide6的安装和基础框架1.1PySide6的安装打开Anaconda Prompt，输入下面的命令。分别是创建新的虚拟环境，更新pip，安装Pyside6。conda cre
转载
2024-10-22 09:38:46
15阅读
为了以后愉快的玩耍，Virtualbox安装Ubuntu 每次安装虚拟机都是总要折腾一下，毕竟不是特别熟悉，几个小细节总要google半天，为了以后能愉快的玩耍。把这些问题都记录下来，免得再折腾。此文档都来自其他人的文章，我保存在Evernote整理。网络虚拟机的网络如果是家里安装，选择桥接是很方便的，桥接就相当于把虚拟机直接安装到了内部网络中。虚拟机的IP地址是从内网获得，这样虚拟机的网络配置当
安装HadoopSpark默认使用HDFS充当持久化层,所以需要安装Hadoop,当然也可以不安装。最好下载和spark对应的版本。 spark单机环境安装
{linux下的安装，windows上也类似}
安装jdk依赖[java环境配置：安装jdk]下载spark相应hadoop2.*版本选择Spark最新发布版，一个预构建的Hadoop 2.*包，直接下载。Download Apac
转载
2024-05-24 19:11:33
196阅读
PyCharm 简介：最近由于项目需要，公司要求使用 Python 以方便扩展，没有办法，赶鸭子上架花了 3 天时间翻完了 python 的初级教程然后就开始写代码。有一款好的 IDE 可以帮助我快速上手一门新语言，这里就介绍一下 PyCharm 这个 python 的 IDE 吧。PyCharm 是一种 Python IDE，带有一整套可以帮助用户在使用 Python 语言开发时提高其效率的工具
转载
2023-11-28 07:13:55
0阅读
下载pycharm之前，建议先安装Python，因为先安装Python，在安装pycharm的话，pycharm会自动查找电脑已经安装的Python，然后用你安装的Python的解释器，要不然还要自己手动搭建。如果已经安装了pycharm的却还没有安装Python的话，下面也会讲手动添加的方法。Python的安装教程见我的上一篇（Python3.7安装教程），虽然我用的是3.7，但是都是一样的。&
转载
2023-08-07 12:08:24
2823阅读
01为什么要学习linux系统呢？假如你想进大公司，想学新技术，Linux肯定是一道绕不过去的坎。只有学会操作Linux 操作系统，你才能成为合格的软件工程师。很多大牛都是基于 Linux 来开发各种各样的软件，可以这么说，只要你能想象到的技术领域，几乎都能在里面找到 Linux 的身影。云计算、虚拟化、容器、大数据、人工智能，都是部署在服务端，几乎都是Linux操作系统。目前主流的linux版本
集群式Hadoop，Spark，Hive的集群安装原因Hadoop的安装JDK的安装设置三台机器的hostname设置DNS设置SSH免密登录安装HadoopSpark的安装配置Spark配置环境变量Spark的启动bugHive的安装安装Hivebug1文件配置bug2 原因因为赛题要求必须要使用大数据的东西，所以我们搭建了Hadoop的集群，用Spark分析数据，为了方便spark不直接对H
转载
2024-06-19 10:21:26
59阅读
一 虚拟环境 virtual environment它是一个虚拟化，从电脑独立开辟出来的环境。通俗的来讲，虚拟环境就是借助虚拟机docker来把一部分内容独立出来，我们把这部分独立出来的东西称作“容器”，在这个容器中，我们可以只安装我们需要的依赖包，各个容器之间互相隔离，互不影响。譬如，本次学习需要用到Django，我们可以做一个Django的虚拟环境，里面只需要安装Django相关包就可以了，需
转载
2023-09-25 09:07:13
97阅读
说明：主节点IP：192.168.35.134 主机名：master 从节点slave1 IP: 192.168.35.135 主机名：slave1 从节点slave2 IP: 192
转载
2024-08-02 08:53:54
13阅读
很多人在购买苹果电脑之后，就会在上面安装windows系统，希望能够在苹果电脑上使用windows操作系统。现在苹果产品如此受欢迎，每年购买苹果系列产品的人数一直是上升状态，为何大家要在苹果电脑上安装windows系统呢，究竟在mac上安装windows系统之后带来了什么，今天我们一起来看一下。 为何要在mac上安装windows系统？ 只有满足不了现在的需求我们才会希望能够增加一些功能，m
转载
2024-01-09 11:28:51
46阅读
生产环境的 Spark Job 都是跑在集群上的，毕竟 Spark 为大数据而生，海量的数据处理必须依靠集群。但是在开发Spark的的时候，不可避免我们要在本地进行一些开发和测试工作，所以如何在本地用好Spark也十分重要，下面给大家分享一些经验。首先你需要在本机上安装好了Java，Scala和Spark，并配置好了环境变量。详情请参考官方文档或其他教程。spark-shell本地运行Spark最
