# Java 1.9：模块化和改进的特性
Java是一种广泛使用的编程语言，它的持续发展使得它在不同的领域中得到了广泛的应用。Java 1.9是Java平台的一个重要版本，它引入了模块化系统和一些改进的特性，为开发人员提供了更好的工具和功能来构建高效可靠的应用程序。
## 模块化系统
Java 1.9的一个重要特性是模块化系统，它允许开发人员将代码组织成模块并进行更好的隔离和管理。模块化系统
原创
2023-09-11 11:26:25
91阅读
Java 语言概述一、什么是Java语言Java语言是美国Sun公司（Stanford University Network），在1995年推出的高级的编程语言。所谓编程语言，是计算机的语言，人们可以使用编程语言对计算机下达命令，让计算机完成人们需要的功能。二、Java语言发展历史1995年5月23日，Java语言诞生1996年1月，第一个JDK-JDK1.0诞生1996年4月，10个最主要的操作
如何使用Java编写Spark应用程序
## 1. 简介
Spark是一个用于大规模数据处理的快速通用计算系统。它提供了简单易用的API，可以在集群上分布式运行。本文将介绍如何使用Java编写Spark应用程序。
## 2. 整体流程
下面是编写Spark应用程序的整体流程：
```mermaid
flowchart TD
A[创建SparkSession] --> B[读取数据]
原创
2023-12-20 13:07:21
32阅读
使用org.elasticsearch.spark.rdd.EsSpark的APIEsSpark.saveJsonToEs(mergeData, esIndexName, esConf)将Json数据写入ES集群，报错信息如下：org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: org.elasticsearch.hadoop.rest.Es
转载
2023-12-10 11:56:23
82阅读
问题： 提交spark任务，hive写ck，部分executor报错 java.lang.NoSuchMethodError: org.apache.http.impl.conn.PoolingHttpClientConnectionManager.setValidateAfterInactivity 其他不报错的executor均能写入ck 判断为httpclient包冲突，但maven tre
转载
2024-08-14 19:38:47
163阅读
## 使用Java编写Spark程序的指南
在大数据时代，Apache Spark因其快速处理和分布式计算的特性而备受关注。如果你是刚入行的小白，想用Java写Spark程序，接下来我将为你整理一个简洁的流程，并一步步教你如何实现。
### 整体流程
首先，我们需要明确实现一个Spark程序的整体流程。下面是步骤概览：
| 步骤 | 描述 |
|------|------|
| 1
原创
2024-08-30 05:12:52
230阅读
用java实现简单的Spark例子。数据很简单，是一个被预先处理的日志文件，包括时间、电话号，上行流量和下行流量。一行为一条记录，不同数据之间用制表符隔开。样本类样本类是为了将日志文件的一条记录封装起来package com.icesun.java.accessLog;
import java.io.Serializable;
public class LogInfo implements S
转载
2023-05-25 14:54:45
165阅读
产生背景：由于工作需要，目前现有查询业务，其他厂商数据库无法支持，高效率的查询响应速度，于是和数据总线对接，实现接入数据，自己进行数据结构化处理。技术选型：SparkStreaming和Kafka和ElasticSearch本人集群：SparkStreaming 版本2.3，Kafka的Scala版本2.11-Kafka版本0.10.0.0 （Kafka_2.11-0.10.0.0.jar）&nb
转载
2023-09-04 10:24:18
87阅读
背景：Hive版本：1.2.1，Spark 版本：2.3.0, 实时程序逻辑比较简单，从 Kafka 消费数据，写到 Hive 表。数据量级上亿，SparkStreaming 的 bath time 为 1 min, 在某一个时刻开始出现任务堆积，即大量任务处于 Queued 状态，卡在了某个 job，最长延迟时间为 1.7 h。查看 job 状态一直处于 processing, 但是发现该
转载
2023-07-21 19:45:01
173阅读
我们自己编写了spark代码后;放到集群中一执行，就会出现问题，没有序列化、指定的配置文件不存在、classnotfound等等。这其实很多时候就是因为我们对自己编写的spark代码执行流程的不熟悉导致的，源码阅读可以解决，但源码不是每个人都能看懂或能看进去的，下面我们就来讲一下，我们自己写的spark代码究竟是这么执行的。从执行的过程可分为三个部分来分析main方法，RDD处理方法，
转载
2023-12-12 14:11:15
72阅读
# Spark中的乱码问题
在使用Spark进行分布式计算时，我们经常会遇到乱码的问题。乱码是指当我们在处理文本数据时，出现了无法正确解析或显示的字符。这可能会导致数据分析的结果不准确，甚至无法正常工作。本文将介绍Spark中乱码问题的原因以及如何解决这些问题。
## 1. 乱码问题的原因
乱码问题通常是由于字符编码不一致或不正确导致的。在Spark中，数据通常以UTF-8编码进行处理。但是
原创
2023-07-20 04:28:33
546阅读
# 使用Spark写入MySQL的完整指南
在大数据处理的领域，Apache Spark是一个广泛使用的框架。将处理后的数据写入MySQL是一个常见的需求。本文将带你一步一步实现“Spark写入MySQL”的功能，我们将覆盖整个流程，并提供详细的代码示例及其解释。
## 流程概述
以下是将Spark数据写入MySQL的基本步骤：
| 步骤 | 描述
部分情况下： 大坑， 和 package com.xiaomi.mishell.statusbar import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.client.Put import o
原创
2021-09-14 11:17:30
139阅读
# 使用 Spark 操作 Redis 的方式
在大数据处理与存储的快速发展中，Apache Spark 和 Redis 是两个备受欢迎的技术栈。Spark 是一个强大的开源集群计算框架，用于大规模数据处理，而 Redis 是一个高性能的内存数据库，广泛用于缓存和数据存储。本文将探讨如何通过 Spark 作为计算引擎，与 Redis 进行数据交互，并提供相应的代码示例。
## Spark 和
原创
2024-09-27 07:41:11
36阅读
在使用 Apache Spark 进行大数据处理时，写入 JSON 格式的数据是一项常见的任务。在这篇文章中，我们将探讨如何有效地解决“Spark 写 JSON”问题，我们将通过版本对比、迁移指南、兼容性处理、实战案例、排错指南和生态扩展的结构来呈现。
## 版本对比
在使用 Spark 写 JSON 的过程中，不同版本在性能和特性方面会有较大差异。这里我们来分析下 Spark 2.x 和
# 使用 Spark 写入 ClickHouse 的指导
Spark 是一个强大的分布式计算框架，而 ClickHouse 则是一款性能极高的列式数据库。将 Spark 的数据写入 ClickHouse 是一种常见的使用场景。本文将详细介绍如何实现这一过程，适合刚入行的小白开发者。以下是实现的整体流程。
## 整体流程
| 步骤 | 描述
# 使用Apache Spark写入CSV文件
在大数据处理领域，Apache Spark是一个广泛使用的开源框架，它提供了快速、通用和可扩展的集群计算能力。本文将深入探讨如何使用Spark写入CSV文件，并将讨论其背后的原理，以及在实际项目中的应用。
## Spark与CSV文件
CSV（Comma-Separated Values）文件是一种简单、可读性高的文本格式，广泛用于数据交换和存
# 通过 Spark 向 ClickHouse 写入数据的实践
随着大数据技术的快速发展，Spark 和 ClickHouse 两者都成为了数据处理和分析领域中的重要工具。Spark 是一个开源的大数据处理框架，支持分布式处理，而 ClickHouse 是一个高性能的列式数据库，适用于实时分析。本文将探讨如何利用 Spark 向 ClickHouse 写入数据，并展示相关的代码示例、数据可视化和
## Spark写Socket的实现流程
### 流程概览
首先，让我们来概述一下实现"spark 写 socket"的流程。在这个过程中，我们将使用Spark编程框架来实现对Socket的写入操作。下面是实现的大致步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 创建SparkSession对象 |
| 步骤二 | 构建数据流DataFrame |
| 步骤三 |
原创
2024-01-16 06:29:25
110阅读
# 如何实现Spark写MongoDB
## 简介
在本文中，我将向你介绍如何使用Spark将数据写入MongoDB。MongoDB是一个流行的NoSQL数据库，而Spark是一个强大的分布式计算引擎，通过将它们结合使用，可以实现高效的数据处理和存储。
## 流程图
```mermaid
flowchart TD
Start(开始)
Step1[创建SparkSession]
原创
2024-06-17 05:29:24
62阅读
