# Spark 3.1.1 漏洞科普
## 简介
Apache Spark是一种通用的分布式计算引擎，用于大规模数据处理。然而，Spark 3.1.1版本中发现了一个安全漏洞，可能导致未经授权的用户执行恶意代码。
该漏洞被标记为CVE-2021-23840，存在于Spark的用户定义的聚合函数中。攻击者可以构造恶意的聚合函数，使其在计算过程中执行任意代码。这可能导致敏感数据泄露、权限提升和拒
原创
2023-08-10 04:33:26
189阅读
spark master：默认是8080修改方式：在sbin目录下编辑start-master.sh文件，修改SPARK_MASTER_WEBUI_PORT=8080
spark worker：默认是8081修改方式：在sbin目录下编辑start-slave.sh文件，修改SPARK_MASTER_WEBUI_PORT=8081
Spark当前执行的任务页面:默认是4040修改方式：在conf目
转载
2023-06-03 15:17:11
136阅读
Dockerfile注释掉spark_uid#ARG spark_uid=185#USER ${spark_uid}[root@localhost spark-3.1.1-bin-hadoop2.7]#
原创
2021-07-19 11:28:30
366阅读
Dockerfile注释掉spark_uid#ARG spark_uid=185#USER ${spark_uid}[root@localhost spark-3.1.1-bin-hadoop2.7]# cat kubernetes/dockerfiles/spark/Dockerfile ## Licensed to the Apache Software Foundation (ASF) u
原创
2022-01-19 10:27:08
242阅读
## Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file
原创
2021-07-19 11:43:48
193阅读
点赞
目录Spark-3.1.1 新特性Project Zen支持 Python 类型（Python typing support ）支持依赖关系管理为 PyPI 用户提供新的安装选项PySpark 相关的文档完善ANSI
原创
2021-03-04 13:32:19
201阅读
## Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional information regarding copyright ownership.# The ASF licenses this file to You under t
原创
2022-01-19 10:23:19
76阅读
# 如何实现“spark3.1.1spark.sql.cbo.enabled”
## 1. 简介
在开始介绍如何实现“spark3.1.1spark.sql.cbo.enabled”之前，首先需要了解一下 Spark 以及 Spark SQL 的基本概念。Spark 是一个通用的大数据处理框架，而 Spark SQL 是 Spark 中用于处理结构化数据的组件。在 Spark SQL 中，我们可
原创
2023-08-18 15:36:44
107阅读
ID技术描述利用场景/条件过程参考武器库关联S1Apache换行解析漏洞Apache 2.4.0~2.4.29Apache HTTPD是一款HTTP服务器，它可以通过mod_php来运行PHP网页。其2.4.0~2.4.29版本中存在一个解析漏洞，在解析PHP时，1.php\x0a将被按照PHP后缀进行解析，导致绕过一些服务器的安全策略。利用方法：burp抓包，在Hex选项卡.php后
转载
2023-08-27 17:23:43
149阅读
day01 spark初步学习一 spark与hadoop的区别1 比较hadoop的mapreduce对应sparkhadoop是面向磁盘的，spark是面向内存的spark在内存中运行是Hadoop的100倍但是spark对于内存要求很高，所以不能完全取代mapreduce2 架构mp：（map：分发，reduce：归约）迭代过程中 磁盘io次数严重影响计算时间spark 在内存中运行 大大减
转载
2023-07-12 11:57:22
15阅读
首先是环境安装，可参考之前的博客，里面有hadoop和spark环境配置的连接。最好先安装hadoop。使用spark的话hadoop最好还是安装下。一：在spark中运行python代码的问题，真的这个对于经常使用spark的人来说可能是非常简单的问题，但对于我这个急于求成的人来说，真的手足无措。看网上的方法都是使用spark-submit来提交，这样总觉得很烦，如果可以之间在编译器中点击运行按
转载
2023-08-12 14:01:54
95阅读
砖厂于 2021/03/02，新鲜出炉了 Spark 3.1.1，我们看看哪里变化了？
转载
2022-06-09 17:57:03
639阅读
# Spark Worker漏洞复现流程
## 1. 漏洞背景
在进行漏洞复现之前，我们需要了解漏洞的背景和原理。Spark是一个开源的大数据计算和分析引擎，它的Worker节点负责执行Spark任务。而该漏洞主要是由于Spark Worker节点未经正确配置而导致的。
## 2. 漏洞复现流程
```mermaid
flowchart TD
A[配置Spark Worker节点]
原创
2023-11-04 09:33:26
182阅读
AbstractApache Hadoop 是使用通常由商品硬件组成的计算机集群对大型数据集进行分布式处理的框架。在过去的几年中，Apache Hadoop 已经成为使用商品硬件进行分布式数据处理的事实平台。 Apache Hive 是使用 Apache Hadoop 进行数据处理的流行 SQL 接口。Hive 将用户提交的 SQL 查询转换为物理运算符树，该树经过优化并转换为 Tez Jobs，
转载
2023-08-29 20:57:38
82阅读
# Spark Jetty安全漏洞详解
最近，有关Spark Jetty存在安全漏洞的消息引起了广泛关注。Jetty是一种Java的Web服务器和Servlet容器，被Spark框架用来处理HTTP请求。这个安全漏洞可能会导致恶意攻击者执行远程代码，造成严重的安全隐患。本文将详细介绍这个安全漏洞的原因和解决方法，并附上相应的代码示例。
## 安全漏洞原因
Spark框架通过Jetty来处理H
原创
2024-03-11 04:19:28
341阅读
1 #计算给定数据集的香农熵 2 from math import log 3 4 def calcShannonEnt(dataSet): 5 numEntries = len(dataSet) #样本条目数 6 labelCounts = {} 7 for featVec in dataSet: ...
转载
2021-07-22 05:19:00
92阅读
2评论
# Apache Hive 3.1.1科普指南
Apache Hive是基于Hadoop的一个数据仓库基础架构，它提供了一个方便的方式来处理大规模数据集。Hive可以将结构化和非结构化数据映射到一张表中，并提供了类似于SQL的查询语言，称为HiveQL。它的主要目标是提供简单易用的查询和分析工具，使得用户能够通过类似于SQL的语法来查询和分析数据。
在本篇科普文章中，我们将详细介绍Apache
原创
2023-07-14 15:57:52
75阅读
