第一章： 上次课回顾第二章：mapWithState的使用2.1 数据写到外部系统中去2.2 foreachRDD的设计模式2.3 foreachRDD的案例2.4 ConnectionPool的案例第三章：Window编程（了解）第四章：tranform操作（重要）第一章：上次课回顾 我们首先要明白SparkStreaming是对core的一个扩展，目的为了处理实时数据。 1、Spark：以批处
转载
2024-09-26 16:35:17
58阅读
Spark Shuffle原理解析 一：到底什么是Shuffle？ Shuffle中文翻译为“洗牌”，需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算。 二：Shuffle可能面临的问题？运行Task的时候才会产生Shuffle（S
# Spark SQL加盐实现指南
## 1. 指南概述
本指南将帮助刚入行的开发者理解和实现"Spark SQL加盐"。"加盐"是指在密码学中将随机数（盐）与密码进行混合，以增强密码的安全性。在Spark SQL中，"加盐"可以用于对敏感数据进行保护，增加数据的安全性。
本指南将按照以下流程指导您实现Spark SQL加盐：
1. 加载数据和准备环境
2. 创建加盐函数
3. 创建加盐列
原创
2024-02-01 12:08:34
468阅读
Spark小课堂Week3 FirstSparkApp问题:Java有哪些数据结构大致有如下几种，其中List与Map是最重要的：ListMapSetArrayHeapStackQueueTree练习：构造一个1-5的List,把他们打印出来写法1List<Integer> input = Arrays.asList(1, 2, 3, 4, 5);
for (int i
转载
2024-10-18 19:13:22
25阅读
AQE处理SkewedJoin的原理Spark Adaptive Query Execution ， 简称 Spark AQE，总体思想是动态优化和修改 stage 的物理执行计划。利用执行结束的上游 stage 的统计信息（主要是数据量和记录数），来优化下游 stage 的物理执行计划。 Spark AQE 处理数据倾斜的原理如下： mapTask 完成后，driver 先统计 map satu
本人只针对在此次案列中,对于处理数据量大,内存溢出,效率低等问题的代码改善措施,拿来与大家分享如有改善意见,请多指教.元数据需求:在数据中提取课程和老师的信息,并对访问量进行排序.方案一:package day04
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object F
转载
2024-09-11 19:32:45
50阅读
问题一般对密码都不会是明文存储，而是对密码进行MD5处理，增强反向解密难度。但这样还是能可以找出破绽，因为MD5加密相同的数据，得到的密文是一样的。如果用户可以查看数据库，那么他可以观察到自己的密码和别人的密码加密后的结果都是一样，那么，就会知道别人用的和自己就是同一个密码。解决加盐对于这个问题其实只要稍微混淆一下就能防范住了，这在加密术语中称为“加盐”。具体来说就是在原有材料（用户自定义密码）中加入其它成分（一般是用户自有且不变的因素），以此来增加系统复杂度。当这种盐.
原创
2021-06-17 14:27:23
1155阅读
问题一般对密码都不会是明文存储，而是对密码进行MD5处理，增强反向解密难度。但这样还是能可以找出破绽，因为MD5加密相同的数据，得到的密文是一样的。如果用户可以查看数据库，那么他可以观察到自己的密码和别人的密码加密后的结果都是一样，那么，就会知道别人用的和自己就是同一个密码。解决加盐对于这个问题其实只要稍微混淆一下就能防范住了，这在加密术语中称为“加盐”。具体来说就是在原有材料（用户自定义密码）中
原创
2022-03-27 17:13:19
553阅读
课前问答
1. 32 位是几个字节 ?
4个字节
8位=1字节
32位/8位=4字节
2. 二进制数 01011100 转换成十进制数是多少？
92
将二进制的个数位和位权相乘再相加
3. 二进制数 00001111 左移两位后，会变成原数的几倍？
4倍
登录密码加盐加密处理
原创
2023-10-06 09:13:14
0阅读
在开始今天的话题之前首先分享一下，我们的开发环境的大数据集群规划图，为上期的话题收尾。 集群规划图 规划原则只需要将组件服务和计算服务节点分离，这样就可以确保在计算过程中不出问题。接下来我们来详细的聊聊ETL中的E,数据提取中台DBus，在上篇文章中，我已经讲解了，这个采集数据中台产生的背景及整体架构，以及安装部署和使用1.DBus架构与工作原理 1.1贴源数据采集 DBUS源端数据采集
转载
2024-08-26 09:19:35
53阅读
Spark性能优化主要分为：开发调优资源调优数据倾斜调优shuffle调优数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能1. 数据倾斜发生时的现象绝大多数task执行得都非常快，但个别task执行极慢比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时，这种情况很常见原本能够正常执行的Spark作业，
转载
2023-11-27 13:53:37
343阅读
加盐算法 文章目录加盐算法手写一个加盐算法spring security 密码安全是一件很重要的事情，所以一定要谨慎对待常见的主要是3种方式明文MD5加密加盐算法首先明文肯定是不可取的，在数据库中明文存储密码风险实在是太大了简单来说，使用MD5就是将一串字符串通过某特定的算法来将其变成另一种形式，这样子就在外观上起到了加密的效果，但是由于背后的算法是固定的，所以每一个字符串都有固定的MD5格式密码
转载
2024-05-18 10:00:21
36阅读
我们知道，如果直接对密码进行散列，那么黑客可以对通过获得这个密码散列值，然后通过查散列值字典（例如MD5密码破解网站），得到某用户的密码。 加Salt可以一定程度上解决这一问题。所谓加Salt方法，就是加点“佐料”。其基本想法是这样的：当用户首次提供密码时（通常是注册时），由系统自动往这个密码里撒一
转载
2021-07-08 15:56:05
506阅读
今天看见一篇帖子我听朋友说：“加盐可以抵御黑客”，这令我感觉非常疑惑，请告诉我在服务器上撒盐来抵御黑客的原理。还是我理解错误？我们先来看看各位程序员的调侃回答下面我们总结一下盐到底是个什么东西。以下是维基百科的解释:盐（Salt），在密码学中，是指在散列之前将散列内容（例如：密码）的任意固定位置插入特定的字符串。这个在散列中加入字符串的方式称为“加盐”。其作用是让加盐后的散列结果和没有加盐的结果不
加盐（salting）是在密码存储过程中的一种常用技术，它可以增加密码的安全性，使得密码更难以被破解。在Java编程语言中，加盐技术可以很容易地实现。本文将介绍加盐的原理、示例代码，并通过流程图的形式展示加盐的过程。
### 加盐的原理
加盐是指在存储密码时，将密码与一个随机生成的字符串（盐）进行组合，然后将组合后的字符串进行哈希运算。这样做的目的是为了增加密码的复杂性，使得黑客攻击者无法通过
原创
2024-01-06 05:16:27
82阅读
在 《HBase 中加盐之后的表如何读取：协处理器篇》 文章中介绍了使用协处理器来查询加盐之后的表，本文将介绍第二种方法来实现相同的功能。我们知道，HBase 为我们提供了 hbase-mapreduce 工程包含了读取 HBase 表的 InputFormat、OutputFormat 等类。这个工程的描述如下：This module contains implementations of In
原创
2021-04-06 09:41:16
363阅读
HBase中加盐之后的表如何读取：Spark篇过往记忆大数据过往记忆大数据下面文章代码只贴了关键部分，访问https://www.iteblog.com/archives/2514.html（点击下面阅读原文即可进入）获取全部代码。在《HBase中加盐之后的表如何读取：协处理器篇》文章中介绍了使用协处理器来查询加盐之后的表，本文将介绍第二种方法来实现相同的功能。我们知道，HBase为我们提供了hb
原创
2021-04-01 20:44:03
169阅读
加盐是增加文件加密强度的一种方法，我们知道对一定的加密算法，用户密码越长加密强度也越强（在用户密码被充分利用的条件下），其实所谓“加盐”就是给加密程序额外设定了密码，在加密过程中程序随机生成几个随机数，用这几个随机数作为密码的一部分和用户密码一起参与加密运算，将盐也就是那几个随机数保存在密文里解密时要用到，应将盐用某种方式加密保存，例如使用用户密码的crc值对其加密。如果没有用户密码，加盐的方
目录一、概念和理解（一）MD5加密（二）加密解密过程（三）加盐1.什么是盐值？2.如何加盐? 二、手写加盐算法（一）密码工具类（二）项目改动 注册 登录三、Spring Security 加盐和实现的实现步骤（一）引入依赖（二）排除 Spring Security 的自动注入（三）实现加盐密码组成实现加盐验证密码一、概念和理解（一）MD5加密MD5消息摘要算
转载
2023-10-17 08:15:54
315阅读
