建筑物配置信息： 向hdfs写入json文件： 从hdfs中读取json文件：
转载
2018-03-14 00:41:00
102阅读
2评论
问题：为了将DataFrame中多列null值转换为0，采用na.fill方式，代码如下：_df.na.fill(0, Seq("col1", "col2", "col3"))在Spark2.1中运行该代码，发生报错Spark version 2.1.0 returns following error，报错信息如下
原创
2021-11-29 17:03:31
185阅读
测试spark版本： 备注：spark1.5中没有提供rdd.combineByKeyWithClassTag算子，但提供的有rdd.combineByKey算子（spark2.1中依然保留）。 使用示例：
转载
2018-03-04 22:27:00
143阅读
2评论
0: 设置系统登录相关Master要执行cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys如果用root用户sed -ri 's/^(PermitRootLogin ).*$/\1yes/' /etc/ssh/sshd_config编辑/etc/hosts1
原创
2017-02-24 12:02:06
6590阅读
这两天和同事一起在想着如何把一个表的记录减少，表记录包含了：objectid(主小区信息)，gridid(归属栅格)，height(高度)，rsrp(主小区rsrp)，n_objectid(邻区)，n_rsrp(邻小区rsrp) 记录中一个主小区对应有多个邻区信息，在分组合并记录时： 1）先按照ob
转载
2018-03-24 14:45:00
170阅读
2评论
问题代码： 替换方案： 注意：如果你的业务可以，也可以把flatMap替换为map，我这里边是要求返回结果为一维List集合。
转载
2018-03-06 17:23:00
77阅读
2评论
package com.lxkj.hbase;import java.io.IOException;import java.util.ArrayList;import java.util.HashSet;import java.util.List;import java.util.Set;import java.util.concurrent.ExecutorServic...
原创
2021-11-12 17:27:12
273阅读
# 使用 Spark 实现数据写入
在大数据处理领域，Apache Spark 是一个非常强大的工具，它可以轻松地处理和分析大量数据。本文将指导你如何使用 Spark 实现数据写入。我们将通过几个步骤来完成这一任务，并提供相应的代码和解释。
## 流程概述
以下是执行 Spark 数据写入的基本流程：
| 步骤 | 操作 |
|--------|--
一、shuffle定义shuffle，即为洗牌的意思，在大数据计算中，无论是mapreduce框架还是spark框架，都需要shuffle，那是因为在计算的过程中，具有某种特征的数据最终需要汇聚在一个节点上进行计算，这些数据是分部在集群中不同的节点上由各自节点进行计算。就比如以workcount为例： 其中数据是分别保存在节点Node1，Node2，Node3上，经过处理
转载
2023-09-17 19:53:45
118阅读
withColumn / withColumnRenamed 是 spark 中常用的 API，可以用于添加新字段 / 字段重命名 / 修改字段类型，但是当列的数量增加时，会出现严重的性能下降现象，本文将分析出现该现象的原因以及该如何解决它。 文章目录背景现象及探究总结 背景在日常工作中，有时候会有建模或分析的同学问我，为什么用 withColumn / withColumnRenamed 会这么
转载
2023-08-11 12:39:53
104阅读
本文主要介绍如何在非Kerberos的CDH中部署Spark2.1的Spark SQL。
原创
2022-09-08 15:30:51
253阅读
# HBase Write 优化指南
HBase 是一个分布式、可扩展的大数据存储系统，广泛用于存储和处理海量的结构化数据。在进行 HBase 写入操作时，性能优化是非常重要的。本文将通过详细的步骤和代码展示如何进行 HBase 写入优化。
## 流程概述
以下是 HBase 写入优化的基本流程：
| 步骤 | 描述 |
|------|------|
| 1 | 评估应用需求 |
函数代码： 使用spark-submit提交函数时，抛出异常： 解决方案： 把当前MySparkJob集成Serializable
转载
2018-03-14 23:24:00
471阅读
2评论
## 为什么Spark写入数据太慢？
在使用Spark进行大数据处理时，有时我们会遇到写入数据速度太慢的情况。这可能会导致任务执行时间过长，影响整个数据处理流程的效率。那么，究竟是什么原因导致了Spark写入数据太慢呢？
### 数据写入过程
在Spark中，数据写入的过程通常包括以下几个步骤：
1. 从数据源读取数据
2. 对数据进行转换和处理
3. 将处理后的数据写入目标数据源
其中
原创
2024-04-18 04:12:02
317阅读
# Spark Write Mode
## Introduction
When working with big data processing frameworks like Apache Spark, it is essential to understand how data is written to external storage systems. Spark provides d
原创
2023-10-27 12:43:24
93阅读
一.缓存与持久化机制与RDD类似，Spark Streaming也可以让开发人员手动控制，将数据流中的数据持久化到内存中。对DStream调用persist()方法，就可以让Spark Streaming自动将该数据流中的所有产生的RDD，都持久化到内存中。如果要对一个DStream多次执行操作，那么，对DStream持久化是非常有用的。因为多次操作，可以共享使用内存中的一份缓存数据。对于基于窗口
在大数据处理过程中，使用 Apache Spark 的 DataFrame 来处理和存储数据是一种常见的做法。然而，在使用 DataFrame 的 `write` 方法进行数据写入时，可能会遇到一些问题。本文将详细描述这些问题，并提供解决方案。
### 协议背景
在数据处理的生态系统中，Spark DataFrame 的写入功能扮演着至关重要的角色。为了理解这个过程，我们可以将其分解为多个层次
