一、安装Anaconda一、安装Anaconda点击查看安装Anaconda软件教程二、配置Anaconda环境变量点击查看配置教程二、Windows的PySpark环境配置一、查看所有conda虚拟环境conda env list二、创建虚拟环境conda create -n pyspark_env python=3.8三、切换到虚拟环境activate pyspark_env四、安装PySpa
转载
2023-06-20 16:19:02
188阅读
1: spark使用python3 pip3 install py4j (服务器和本机都要安装) 服务器提交python3脚本export PYSPARK_PYTHON=python3
./spark-submit /root/bigdata/app.py本机调试python脚本 在pycharm中建立python3程序，点击run-&g
转载
2023-06-19 14:54:00
87阅读
win10安装spark:0、前提0.1 配置0.2 有关spark说明： 安装注意版本一、实例分析1.1 数据 student.txtyang 85 90 30
wang 20 60 50
zhang 90 90 100
zhang 90 90 100
li 100 54 0
li 100 54 0
yanf 0 0 01.2 代码#r = reduce(lambda x, y: x
转载
2023-08-08 22:21:10
83阅读
Spark基础理论知识前言RDDSshared variables（共享变量）HadoopMapReduce缓存Windows下Spark基础操作参考 前言 Spark 的 shell 作为一个强大的交互式数据分析工具，提供了一个简单的方式来学习 API，这里我选择使用Scala 环境学习这部分内容。至于为什么不用
使用org.elasticsearch.spark.rdd.EsSpark的APIEsSpark.saveJsonToEs(mergeData, esIndexName, esConf)将Json数据写入ES集群，报错信息如下：org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: org.elasticsearch.hadoop.rest.Es
转载
2023-12-10 11:56:23
82阅读
问题： 提交spark任务，hive写ck，部分executor报错 java.lang.NoSuchMethodError: org.apache.http.impl.conn.PoolingHttpClientConnectionManager.setValidateAfterInactivity 其他不报错的executor均能写入ck 判断为httpclient包冲突，但maven tre
转载
2024-08-14 19:38:47
163阅读
IDEA开发Spark程序工程准备创建项目添加pom依赖创建WordCount编写WordCount-★★★★★-重点修改代码并打包到Yarn运行上传jar包并提交到yarn上运行补充:命令说明spark-shell和spark-submit命令参数 工程准备创建项目添加pom依赖<!-- 指定仓库位置，依次为aliyun、cloudera和jboss仓库 -->
<r
转载
2023-08-24 15:40:12
43阅读
产生背景：由于工作需要，目前现有查询业务，其他厂商数据库无法支持，高效率的查询响应速度，于是和数据总线对接，实现接入数据，自己进行数据结构化处理。技术选型：SparkStreaming和Kafka和ElasticSearch本人集群：SparkStreaming 版本2.3，Kafka的Scala版本2.11-Kafka版本0.10.0.0 （Kafka_2.11-0.10.0.0.jar）&nb
转载
2023-09-04 10:24:18
87阅读
# Spark中的乱码问题
在使用Spark进行分布式计算时，我们经常会遇到乱码的问题。乱码是指当我们在处理文本数据时，出现了无法正确解析或显示的字符。这可能会导致数据分析的结果不准确，甚至无法正常工作。本文将介绍Spark中乱码问题的原因以及如何解决这些问题。
## 1. 乱码问题的原因
乱码问题通常是由于字符编码不一致或不正确导致的。在Spark中，数据通常以UTF-8编码进行处理。但是
原创
2023-07-20 04:28:33
546阅读
# 使用Spark写入MySQL的完整指南
在大数据处理的领域，Apache Spark是一个广泛使用的框架。将处理后的数据写入MySQL是一个常见的需求。本文将带你一步一步实现“Spark写入MySQL”的功能，我们将覆盖整个流程，并提供详细的代码示例及其解释。
## 流程概述
以下是将Spark数据写入MySQL的基本步骤：
| 步骤 | 描述
目录一.引言二.源码浅析1.RDD.saveAsTextFile2.TextOutputFormat 3.FileOutputFormat三.源码修改1.修改文件生成逻辑 - getRecordWriter2.允许目录存在 - checkoutputSpecs3.全部代码 - TextOutputFormatV2四.追加存储代码实战五.总结一.引言Output directory fil
转载
2023-08-01 23:58:21
90阅读
当第一次对RDD2执行算子，获取RDD3的时候，就会从RDD1开始计算，就是读取HDFS文件，然后对RDD1执行算子，获取 到RDD2，然后再计算，得到RDD3 另外一种情况，从一个RDD到几个不同的RDD，算子和计算逻辑其实是完全一样的，结果因为人为的疏忽，计算了多次，获取到了多个RDD。默认情况下，多次对一个RDD执行算子，去获取不同的RDD；都会对这个RDD以及之前的父RDD，全部重新计算
转载
2024-06-26 05:49:55
54阅读
# Spark 写 Hive
## 简介
Apache Hive 是一个基于 Hadoop 的数据仓库基础设施，提供了类似于 SQL 的查询语言 HiveQL，用于分析和查询大规模数据集。Spark 是一个快速、通用的集群计算系统，提供了大规模数据处理的能力。在 Spark 中，我们可以使用 Hive 的数据仓库基础设施来进行数据处理和分析。
本文将介绍如何使用 Spark 写入 Hive
原创
2024-01-17 07:41:54
55阅读
# Spark写文件
Apache Spark 是一个快速通用的大数据处理引擎，它提供了强大的分布式数据处理能力。在 Spark 中，我们经常需要将处理后的结果写入文件，以便后续分析或持久化存储。本文将介绍如何在 Spark 中写文件，并提供相应的代码示例。
## Spark写文件的方式
在 Spark 中，有多种方式可以将数据写入文件，其中常用的有以下几种：
1. 保存为文本文件：可以将
原创
2024-07-06 04:17:49
59阅读
# 使用Spark将数据写入HDFS的指南
在大数据处理的生态系统中，Apache Spark作为一个高效的分布式计算框架，常结合Hadoop分布式文件系统（HDFS）来处理和存储海量数据。本文将为您提供一个详细的指南，教您如何使用Spark将数据写入HDFS，并提供代码示例、流程图和序列图来帮助理解。
## 什么是HDFS？
Hadoop分布式文件系统（HDFS）是一个可以存储数十亿个文件
原创
2024-10-15 06:18:12
56阅读
# 如何使用 Apache Spark 写入 MongoDB
在大数据处理中，Apache Spark 是一个强大的工具，而 MongoDB 是一种灵活的 NoSQL 数据库。当你需要将 Spark 处理的数据写入 MongoDB 时，掌握这一过程是至关重要的。本文将带你走过整个过程，帮助你了解如何将数据从 Spark 写入 MongoDB，以及每个步骤的详细说明和代码示例。
## 整体流程概
原创
2024-08-17 05:00:38
35阅读
一.HashShuffle 普通机制：产生磁盘小文件的数量为：M(map task number)*R(reduce task number) 过程： 1.map task处理完数据之后，写到buffer缓冲区，buffer的大小为32k，个数与reduce task个数一致 2. 每个buffer缓存区满32k后会溢写磁盘，每个buffer最终对应一个磁盘小文件 3.red
Spark是目前最流行的分布式计算框架，而HBase则是在HDFS之上的列式分布式存储引擎，基于Spark做离线或者实时计算，数据结果保存在HBase中是目前很流行的做法。例如用户画像、单品画像、推荐系统等都可以用HBase作为存储媒介，供客户端使用。因此Spark如何向HBase中写数据就成为很重要的一个环节了。本文将会介绍三种写入的方式，其中一种还在期待中，暂且官网即可...代码在spark
转载
2023-08-02 14:29:52
343阅读
部分情况下： 大坑， 和 package com.xiaomi.mishell.statusbar import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.client.Put import o
原创
2021-09-14 11:17:30
139阅读
在使用 Apache Spark 进行大数据处理时，写入 JSON 格式的数据是一项常见的任务。在这篇文章中，我们将探讨如何有效地解决“Spark 写 JSON”问题，我们将通过版本对比、迁移指南、兼容性处理、实战案例、排错指南和生态扩展的结构来呈现。
## 版本对比
在使用 Spark 写 JSON 的过程中，不同版本在性能和特性方面会有较大差异。这里我们来分析下 Spark 2.x 和
