上一篇我们已经准备好三台虚拟机，计划一主两从搭建hadoop集群。没安装的可以参考一下。虚拟机安装传送门：mac搭建hadoop集群之虚拟机安装集群规划主机角色node1NN DN RM NMnode2SNN DN NMnode3DN NM集群配置hadoop3.3安装包下载更改主机名分别将三台虚拟机分别更改为node1、node2、node3。vim /etc/hostname新增host映射v
转载
2024-01-04 23:50:39
73阅读
这里就不详细讲解Hadoop集群以及Spark集群怎么搭建。这里是搭建Windows 10系统本地开发环境，可以编写Spark测试案例。 Spark开发环境搭建1. Spark开发环境搭建1.1 安装jdk1.2 安装IntelliJ IDEA1.3 安装Scala1.4 安装Python1.5 安装Spark1.6 idea 新建Spark项目 1. Spark开发环境搭建1.1 安装jdk我选
转载
2023-10-12 13:56:30
544阅读
本文详细介绍在Mac OS操作系统上安装spark环境。
原创
2018-08-23 20:23:12
9862阅读
# 使用 Mac 上的 Apache Spark 进行数据分析
Apache Spark 是一种强大的开源分布式计算框架，广泛用于大数据处理和分析。其优势在于高效的内存计算、丰富的API支持以及良好的扩展性。本文将介绍如何在 Mac 上使用 Apache Spark，以及如何通过简单的数据分析示例来展示其数据处理能力。
## 1. 安装 Apache Spark
在 Mac 上安装 Apac
一、Spark开发环境准备工作由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境 二、了解Spark的部署模式（一）Standalone模式Standalone模式被称为集群单机模式。该模式下，
最近在用mac笔记本搭建hadoop+hive+spark的测试环境，中间遇到不少问题，所以，记录一下，希望以
原创
2022-04-29 22:48:01
1222阅读
在这篇博文中，我将深入探讨如何在Apple M1芯片的Mac上搭建Apache Spark。这个过程涵盖了从问题背景到根因分析，最后到解决方案和验证测试的完整流程。对于IT技术人员来说，这个过程既是学习也是实操的良机，以下将以第一人称的语气描述整个过程。
### 问题背景
随着云原生技术的推广与数据处理需求的增加，大数据工具如Apache Spark逐渐成为开发者的首选。然而，在Mac M1架构
准备好相关环境主要是在集群电脑上安装好java JDK,设置好电脑主机名称，配置Ip地址，利用ssh进行电脑间的连接，并测试好网络连接可靠。搭建hadoop系统(sprak本身不依赖hadoop,这里我想把hadoop用起来)，同时可以预装python、pycharm这些可能用到的编程语言和开发环境。hadoop系统如何搭建可参考我之前的博文。安装spark至官网下载相应版本的spark安装文件
转载
2023-07-20 18:21:21
8阅读
1 两种解决方案1基于文件系统的单点恢复，主要用于开发或者测试环境，spark提供目录保存spark application和worker的注册信息，并将它们的恢复状态写入该目录中。一旦master发生故障，就可以通过重新启动master进程(sbin/start-master.sh)，恢复已运行的spark application和worker的注册信息。2基于zookeeper的standby
转载
2023-10-20 21:32:17
97阅读
Spark On Yarn完全分布式搭建 Spark On Yarn的搭建分为三个阶段，第一个是Zookeeper集群的搭建，第二是Hadoop集群的搭建，第三是Spark集群的搭建。所以以下将按照这三个步骤来给大家进行展示Spark On Yarn完全分布式搭建。
一、准备
1、软件及版本 1.&n
转载
2024-06-18 13:22:42
97阅读
1. 实验目的初步了解虚拟化技术，理解云计算的相关概念为后续课程提供统一的编程与实验环境理解系统工程师面临的困境2. 实验内容搭建自己的私有云3. 实验步骤（1）下载安装Virtual Box第一步：从Virtual Box官网上下载最新版的Virtual Box，下载完成后根据安装程序的提示完成安装即可（我这里使用VirtualBox 5.1.38版本，更高的版本本机在创建虚拟网卡的时候出现无法
转载
2023-08-25 07:09:06
97阅读
购买存储阵列柜已经有很长一段时间了，以前由于使用TimeMachine直接搜索内网网段时发现不能此设备，后来就一直搁置了，最近由于Mac的风扇出了问题（使用才两年多）刚更换了风扇，感觉到自己的电脑已经人到中年了，怕突然某天遭遇不幸，所以数据备份需要尽快搞起来，防止重要数据丢失，现在已经通过NAS在进行备份了，记录下操作流程，希望能帮助到感兴趣的同学。配置samba服务使TimeMac
转载
2023-11-27 13:02:42
223阅读
第一步：下载需要的文件搭建android暂时需要这么三个文件，jdk、ide和sdk；国内镜像网址http://www.android-studio.org；其中jdk下载这个：jdk下载.pngide下载这个：ide下载.pngsdk下载这个：sdk下载第二步：安装文件我们把这三个文件解压放到工作目录中，因为后面要链接这里，你要记住这个目录地址；然后我们先安装jdk，网上有人说记住jdk安装的地
转载
2024-09-29 18:45:46
19阅读
有一个使用了 Epoll 的 C 项目，笔者平时用的 Linux 主力开发机不在身边，想在 macOS 上开发调试，但是没有 Linux 虚拟机。恰好，JetBrains CLion 的 Toolchains 配置除了使用本地环境，还支持 SSH、Docker。笔者使用 CLion + Docker Desktop，不到十分钟就能在 macOS 上搭建一个能够开发使用 Linux 类库的 C 项目
转载
2024-03-06 13:03:08
165阅读
搭建 Spark 是一个非常有趣的过程，它能够帮助我处理大数据和进行分布式计算。在这篇博文中，我将详细记录搭建 Spark 的过程，包括环境准备、分步指南、配置详解、验证测试、优化技巧和扩展应用。
## 环境准备
### 软硬件要求
在搭建 Spark 之前，我首先确保我的硬件和软件环境满足以下要求：
- **硬件要求**：
- 内存：至少 8GB RAM（推荐 16GB 以上）
# 安装Spark on Mac 教程
## 简介
在这篇文章中，我将教你如何在Mac上安装Apache Spark。Spark是一个强大的分布式计算框架，用于处理大规模数据集。通过本文的步骤，你将能够成功安装并运行Spark。
## 整体流程
下面是安装Spark的整体流程：
Step 1: 安装Java JDK
Step 2: 下载Spark
Step 3: 配置Spark环境变量
St
原创
2024-01-26 17:41:29
188阅读
# 在Mac上安装Spark的指南
Apache Spark是一个强大的开源分布式计算系统，广泛用于大数据处理和分析。本文将为您提供一个简单的步骤指南，帮助您在Mac上安装Spark，并包括相应的代码示例。
## 1. 前提条件
在安装Spark之前，请确保您已经安装了以下软件：
- **Java**：Spark运行在Java Virtual Machine (JVM)上，因此需要先安装J
原创
2024-09-08 04:11:45
139阅读
# 实现“mac spark hadoop”流程及代码示例
## 整体流程
下面是实现“mac spark hadoop”的整体流程：
| 步骤 | 操作 |
| --- | --- |
| 步骤一 | 安装Hadoop |
| 步骤二 | 安装Spark |
| 步骤三 | 配置Hadoop和Spark |
| 步骤四 | 运行Spark on Hadoop |
## 操作步骤及代码示例
原创
2024-07-08 05:48:57
35阅读
著名的帕累托法则，即80/20定律，告诉我们：原因和结果、投入和产出、努力和报酬之间存在着无法解释的不平衡。即使是21世纪最具吸引力的工作，数据科学依然逃不脱这一定律。商业数据科学家80％的时间都花在查找、清洗和准备数据上，这是数据科学家工作中效率最低也是最可怕的部分。互联网为如何打破数据科学的80/20定律提供了许多的意见，但却收效甚微。其实，数据科学家生产率低下的主要原因在于数据准备工作的双重
转载
2023-12-28 18:58:21
55阅读
最近一直在搞Mac虚拟机，尝试了parallel、vmware、utm，感觉（后续发现的问题是容易闪退），推荐mac m1用户使用】。ps：建议u
原创
2023-03-02 09:26:22
588阅读
