1 数据序列化在任何分布式的系统，序列化很重要，如果使用的序列化技术在执行序列化的时候很慢，或者序列化后数据还是很大，那么会导致分布式程序性能下降很多。所以 Spark 性能优化的第一步，就是进行序列化的性能优化；Spark 默认会在一些地方对数据进行序列化，比如 shuffle。此外，如果用户的算子函数使用了外部的数据（比如 java 内置类型或者自定义类型），那么也需要对其序列化；Spark
转载
2023-12-21 12:13:00
71阅读
当使用SparkContext的saveAsObjectFile方法将对象序列化到文件，以及通过objectFile方法将对象从文件反序列出来的时候，Spark默认使用Java的序列化以及反序列化机制，通常情况下，这种序列化机制是很低效的，Spark支持使用Kyro作为对象的序列化和反序列化机制，序列化的速度比java更快，但是使用Kyro时要注意，Kyro目前还是有些bug。Spark默认是使用
转载
2024-01-22 00:25:48
83阅读
一、使用kryo序列化
-----------------------------------------------
1.为什么要使用kryo序列化方式？
a.默认情况下，使用的java原生的序列化手段，ObjectInputStream/ObjectOutputStream对象输入输出流的方式来进行序列化
b.这种默认序列化机制的好处在于，处理起来比较
转载
2024-06-04 19:41:33
98阅读
RPC协议在一个典型的RPC使用场景中，包含了服务发现、负载、容错、网络传输、序列化等组件，其中RPC协议就指明了程序如何进行网络传输和序列化。也就是说一个RPC协议的实现就等于一个非透明的远程调用实现。通过下面一张图来理解：RPC协议组成分别说下每个部分的作用：1.地址：服务提供者的地址和端口2.运行服务：用于网络传输实现，常用的服务有：nettyminaRMI服务servlet容器（jetty
转载
2024-03-25 16:05:08
466阅读
一、spark的序列化1.1、官网解释http://spark.apache.org/docs/2.1.1/tuning.html#data-serialization序列化在任何分布式应用程序的性能中起着重要作用。将对象序列化或消耗大量字节的速度慢的格式将大大减慢计算速度。通常，这将是您应该优化Spark应用程序的第一件事。Spark旨在在便利性（允许您使用操作中的任何Java类型）和性能之间取
转载
2023-10-16 11:33:32
140阅读
# 如何实现Redis默认的序列化方式
## **整体流程**
首先，我们需要了解Redis默认的序列化方式是什么，然后我们通过配置来实现Redis默认的序列化方式。
下面是实现Redis默认的序列化方式的具体步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 了解Redis默认的序列化方式 |
| 2 | 配置Redis默认的序列化方式 |
## **步骤详解**
原创
2024-04-30 07:33:57
130阅读
到redis做缓存，于是采用spring-data-redis，并且打算自己封装一个redis的静态工具类。后来在进行单元测试的过程中发现了一个容易出错的地方，于是打算记录下来，并分享给各位朋友。这里主要说下碰到的问题，首先，采用了spring-data-redis（以下简称SDR）中的Template进行redis的操作。因为考虑到后期的使用场景，于是同时采用了StringRedis
转载
2024-10-17 21:52:41
31阅读
关于Rest和RestFul的个人理解Rest全称是表述性状态转移，简单说就是将资源状态以最合适的方式从服务端转向客户端或者反过来。——摘自《spring in action》那RestFul是什么，我个人理解为：Rest是一种编程风格或者说标准，实现了这种风格就叫做RestFul。rest中的行为是通过http方法来定义的create:postread : getudpate:put、patch
转载
2024-11-01 08:07:04
81阅读
在大量的应用场景中，我们需要使用redis存取java对象。redis存取对象需要将对象序列化。序列化 (Serialization)将对象的状态信息转换为可以存储或传输的形式的过程。在序列化期间，对象将其当前状态写入到临时或持久性存储区。之后，可以通过从存储区中读取或反序列化对象的状态，重新创建该对象。例如此处，我们将java对象转化为bytes数组的过程称为序列化，将bytes转化为java对
转载
2023-05-26 17:32:03
496阅读
RESP 发送命令格式发送命令格式 RESP的规定一条命令的格式如下，CRLF代表"\r\n":*<参数数量> CRLF
$<参数1的字节数量> CRLF
<参数1> CRLF
...
$<参数N的字节数量> CRLF
<参数N> CRLF以set hello world为例，发送的就是*3
$3
SET
$5
hello
单例模式的好处：Singleton模式主要作用是保证在Java应用程序中，一个类Class只有一个实例在。 使用Singleton的好处还在于可以节省内存，因为它限制了实例的个数，有利于Java垃圾回(garbage collection)。单例模式确保一个类只有一个实例，自行提供这个实例并向整个系统提供这个实例。特点：1，一个类只能有一个实例2，自己创建这个实例3，整个系统都要使用这个实例解释：
1 问题分析:上一个问题，说说dubbo的基本工作原理，那是你必须知道的，至少知道dubbo分成哪些层，然后平时怎么发起rpc请求的，注册、发现、调用，这些是基本的。接着就可以针对底层进行深入的问问了，比如第一步就可以先问问序列化协议这块，就是平时rpc的时候怎么走的？2 面试题回答:（1）dubbo支持不同的通信协议1）dubbo协议dubbo://192.168.0.1:20188默认就是走d
转载
2023-10-12 12:20:00
159阅读
# Spark默认数据序列化器
在Spark中，数据序列化是非常重要的一个概念。当我们在Spark中进行数据处理时，数据需要在不同的节点之间传输和存储。为了提高数据的传输效率和性能，Spark提供了不同的数据序列化器，用于将数据进行序列化和反序列化。
其中，Spark的默认数据序列化器是Java的ObjectOutputStream。ObjectOutputStream是Java中用于将对象序
原创
2024-06-28 05:59:26
40阅读
1 RDD 中函数的传递为什么要进行序列化操作？ 因为类的对象是在driver端创建，而对象的方法是在executor上执行，一般情况它们不在同一个节点上，因此需要把driver端的对象序列化到executor端，否则程序会报错。 进行 Spark 进行编程的时候, 初始化工作是在 driver端完成的, 而实际的运行程序是在executor端进行的. 所以就涉及到了进程间的通讯, 数据是需要序列
转载
2023-11-03 13:40:18
117阅读
Spark 2.x管理与开发-Spark Streaming-性能优化（三）使用高性能序列化类库1.数据序列化概述数据序列化就是将对象或者数据结构转换成特定的格式，使其可以在网络中传输，或者可以存在内存或文件中。反序列化则是相反的操作，将对象从序列化的数据中还原出来。数据序列化后的数据格式，可以是二进制，可以是xml，也可以是JSON等任何形式。对象，数据序列化的重点在于数据的交换和传输。在任何分
转载
2023-08-11 16:55:34
76阅读
# Redis 默认JSON 序列化方式
Redis是一个开源的高性能键值数据库，它支持多种数据结构和数据序列化方式。其中，JSON序列化是Redis的默认序列化方式之一。本文将介绍Redis默认JSON序列化方式的特点和使用方法，并给出相应的代码示例。
## 什么是JSON序列化
JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于阅读和编写。在
原创
2024-01-06 05:47:23
75阅读
## 如何实现Spring Boot默认序列化方式
### 整体流程
首先，让我们通过以下表格展示实现Spring Boot默认序列化方式的整体流程：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 创建一个Spring Boot项目 |
| 2 | 配置默认序列化方式 |
| 3 | 运行项目并验证序列化方式是否生效 |
### 操作指南
#### 第一步：
原创
2024-02-25 04:17:34
388阅读
Spark 的代码分为 Driver 端执行的部分和 Executor 端执行的部分，Driver 端分发任务的同时，会通过序列化传送 Executor 需要的对象，由于 Java 序列化的一些特性，初学者在使用时容易碰到一些陷阱。陷阱1: 没有序列化最常见的一个错误就是传递的类不可序列化，如下面的例子：package test;
import ...
/**
* Created by Perf
转载
2024-08-14 16:04:44
39阅读
spark序列化方式分布式的程序存在着网络传输，无论是数据还是程序本身的序列化都是必不可少的。spark自身提供两种序列化方式：java序列化：这是spark默认的序列化方式，使用java的ObjectOutputStream框架，只要是实现了java.io.Serializable接口的类都可以，这种方式虽然通用但是性能差，占用的空间也比较大kryo序列化：相比于java序列化，kryo更高效且
转载
2024-05-14 19:39:02
30阅读
为什么需要对象序列化 解决Java对象在网络上传输和Java对象持久化的问题。序列化将对象转换为二进制流，然后在网络上传输，当抵打目的后在反序列化为Java对象。什么是Java对象序列化 Java平台允许我们在内存中创建可复用的Java对象，但一般情况下，只有当JVM处于运行时，这些对象才可能存在，即，这些对象的生命周期不会比JVM的生命周期更长。但在现实应用中，就可能要求在JVM停止运行之后能够
转载
2024-08-04 09:35:23
28阅读
