安装HadoopSpark默认使用HDFS充当持久化层,所以需要安装Hadoop,当然也可以不安装。最好下载和spark对应的版本。 spark单机环境安装
{linux下的安装，windows上也类似}
安装jdk依赖[java环境配置：安装jdk]下载spark相应hadoop2.*版本选择Spark最新发布版，一个预构建的Hadoop 2.*包，直接下载。Download Apac
转载
2024-05-24 19:11:33
196阅读
文章目录一、anaconda安装1.1 anaconda安装地址1.2 安装详细步骤1.3 检验安装是否成功1.4 更改conda源（后续安装第三方库可以加快速度） 一、anaconda安装Anaconda 是一个用于科学计算的 Python 发行版，支持 Linux, Mac, Windows, 包含了众多流行的科学计算、数据分析的 Python 包。装anaconda，就不需要单独装pyth
转载
2023-11-13 09:35:11
96阅读
一提到数字图像处理编程，可能大多数人就会想到matlab，但matlab也有自身的缺点：1、不开源，价格贵2、软件容量大。一般3G以上，高版本甚至达5G以上。3、只能做研究，不易转化成软件。因此，我们这里使用Python这个脚本语言来进行数字图像处理。要使用Python，必须先安装python，一般是2.7版本以上，不管是在windows系统，还是Linux系统，安装都是非常简单的。要使用pyth
转载
2024-05-09 23:28:47
96阅读
提示：本文环境搭建仅适用于Windows操作系统，英伟达显卡 目录AnacondaAnaconda安装conda常见使用流程conda常用命令jupyter notebook默认文件夹位置更改（可选）更改pip & conda源更改pip源更改conda源集成开发环境Pycharm安装显卡加速工具CUDA安装cuDNN安装Pytorch安装References AnacondaAnacon
大二第一学期的时候，开始自学 Python，早就听说这门语言的强大。跟着教程，当时编译器是用的 Pycharm。在大二的寒假，意外知道了 anaconda 这个软件，然后试着安装了一下，虽然中间出过一些问题，不过安装成功之后，使用确实很省心，很多库都不需要自己手动装了。但是最近，更新的时候，出了点问题，又卸载了重装一下，顺便记录一下。一、卸载 Python当时在有 Python 的环境下安装 an
转载
2023-10-30 18:01:02
892阅读
零、Anaconda介绍Anaconda个人版是一个免费、易于安装的包管理器、环境管理器和Python发行版（所以装了Anaconda就可以不用再另外装Python了），有提供非常多的开源包，用Anaconda来安装这些开源包相对来说方便一些，Anaconda自带了两百多个常用的开源包。Anaconda可以在Windows、macOS和Linux上使用。壹、获取Anaconda可以从官网下载：An
转载
2023-06-25 22:16:33
834阅读
Anaconda的详细安装教程文章目录Anaconda的详细安装教程一、Anaconda的下载二、Anaconda的安装三、配置Anaconda的环境变量四、验证一、Anaconda的下载Anaconda 是一个用于科学计算的 Python 发行版，支持 Linux、Mac和Windows，并包含了conda、Python等180多个科学包及其依赖项，即Anaconda会自带了Python。Con
转载
2023-06-25 22:16:06
1300阅读
一、安装下载Anaconda前一定要将360卸载360最好不要使用，不管是在下载过程中还是后续使用过程中，会拦截Anaconda，造成文件确实，在安装下载Anaconda前一定要将360卸载，若要使用杀毒软件，可以使用火绒或腾讯管家二、python3.9.6会和anaconda冲突，卸载计算机相关专业初学者在学习时总会对版本产生误解，认为最新的版本就是最好的，殊不知最新的版本发行后也是在试用阶段，
转载
2023-09-30 22:27:21
177阅读
生命不息，折腾不止，趁着最近工作不是太忙继续我的编程之路的学习。 年龄大了，很多东西做过一遍就容易忘记，所谓“好记性不如烂笔头”，对于知识还是记录下来比较容易保存，既是给自己留个笔记，也可以分享给其他有需要的人。废话少说，以下记录我的spark学习之旅： 一、准备工作 1.准备三台服务器.一台作为master,另外两台作为slave 我这里准备了三台服务器，对应的I
转载
2024-07-06 05:57:36
41阅读
Anaconda 需要 Python 解释器吗？这是一个在数据科学和机器学习领域的常见问题。作为一种流行的开源包管理和环境管理工具，Anaconda 提供了许多 Python 依赖和库，但是否需要单独安装 Python 解释器呢？本文将逐步解析这个问题，涉及到的包括背景描述、技术原理、架构解析、源码分析，以及性能优化。
首先，我们来看一下背景。在历史上，Python 本身是一个解释型语言，每个
一.基础知识 1.Spark Spark是一个用来实现快速而通用的集群计算的平台。 在速度方面，Spark扩展了广泛使用的MapReduce计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。 Spark项目包含多个紧密集成的组件。Spark的核心是一个对由很多计算任务组成的、运行在多个工作机器或者是一个计算集群上的应用进行调度、分发以及监控的计算引擎。 Spark的各个组件 2.Ha
转载
2023-10-05 16:22:10
59阅读
一：首先先简单回顾一下Anaconda的基本操作：Anaconda的相关操作 一：Anaconda环境相关操作 1：查看环境 conda info --env 2：创建环境 conda create -n name(环境名称) python=x.x(python版本号) python --version(查看当前python版本号) 3：删除环境 conda remove -n name(环境名称
想要用简单式的Anaconda+pycharm那么Python的版本需要卸载下：
一、卸载过程：
找到下载的安装包
转载
2023-08-01 20:01:53
839阅读
# Spark需要Hadoop吗？
## 简介
在大数据处理领域，Hadoop和Spark是两个非常流行的框架。Spark是一个快速、通用的大数据处理引擎，而Hadoop是一个用于分布式存储和处理大规模数据的框架。在很多情况下，Spark需要依赖Hadoop来运行。本文将介绍Spark需要Hadoop的情况以及如何配置环境以实现这个目标。
## 流程概述
下面是实现“Spark需要Hadoop
原创
2024-05-09 05:03:35
24阅读
## Spark是否需要Hadoop？
Apache Spark是一个快速、通用的大数据处理引擎，它可以独立运行，也可以与Hadoop集成使用。但是，并不是必须要使用Hadoop才能使用Spark。在实际应用中，Spark可以直接读取本地文件系统或其他分布式文件系统，而不一定非要依赖HDFS。Spark与Hadoop的结合是为了利用Hadoop生态系统的各种组件和资源管理框架。
### 实现“
原创
2024-04-29 11:39:33
376阅读
# Spark 需要集群吗？教你一步步实现
Apache Spark 是一个强大的开源计算框架，用于快速大规模数据处理。对于新手来说，“Spark 需要集群吗？”这个问题的答案是：在大多数情况下，Spark 可以通过集群来充分发挥其优势。然而，理解如何设置和使用 Spark 集群并不复杂。本文将引导你一步步了解如何实现 Spark 集群，并提供相关的代码示例。
## 运行流程
首先，了解设置
# Spark需要CPU吗？
Apache Spark是一个快速且通用的大数据处理引擎，它提供了高效的分布式数据处理能力。在使用Spark时，我们通常会考虑到它对CPU的需求。本文将探讨Spark对CPU的依赖性，并提供相应的代码示例。
## Spark的计算模型
在了解Spark对CPU的需求之前，让我们先了解一下Spark的计算模型。Spark使用弹性分布式数据集（Resilient D
原创
2024-02-01 12:04:58
38阅读
说明：主节点IP：192.168.35.134 主机名：master 从节点slave1 IP: 192.168.35.135 主机名：slave1 从节点slave2 IP: 192
转载
2024-08-02 08:53:54
13阅读
案例背景最近上班需要处理的都是百万，千万级的数据，pandas的性能已经不够看了（虽然它在处理数据上是真的很好用），公司都是用的polar和pyspark，我最近也学习了一些，然后写篇文章对比一下他们的常见用法。虽然他们都有数据框dataframe这个数据结构，但是具体用法还是有很多差异的。数据选取都是做数据分析的，那么就用最简单的机器学习数据集波士顿房价数据集吧，演示以下常见的数据处理的用法。，
写在前面：建议不要下载Python，直接下载Anaconda+Pycharm就够了！！！详情往下看：一、Python，Anaconda，Pycharm的区别：1.Python是个解释器（基本编译环境）。2.Anaconda 是一个python的发行版，包括了python和很多常见的软件库, 和一个包管理器conda。常见的科学计算类的库都包含在里面了，使得安装比常规python安装要容易。所以装了
转载
2023-08-03 10:41:08
1519阅读
