day01 spark初步学习一 spark与hadoop的区别1 比较hadoop的mapreduce对应sparkhadoop是面向磁盘的，spark是面向内存的spark在内存中运行是Hadoop的100倍但是spark对于内存要求很高，所以不能完全取代mapreduce2 架构mp：（map：分发，reduce：归约）迭代过程中 磁盘io次数严重影响计算时间spark 在内存中运行 大大减
转载
2023-07-12 11:57:22
15阅读
一、背景5月5日腾讯云安全团队曾针对攻击者利用Hadoop Yarn资源管理系统REST API未授权漏洞对服务器进行攻击，攻击者可以在未授权的情况下远程执行代码的安全问题进行预警，在预警的前后我们曾多次捕获相关的攻击案例，其中就包含利用该问题进行挖矿，我们针对其中一个案例进行分析并提供响应的安全建议和解决方案。二、漏洞说明Hadoop是一个由Apache基金会所开发的分布式系统基础架构，YARN
转载
2024-01-04 23:45:24
32阅读
## Hadoop漏洞实现流程
### 流程图
```mermaid
flowchart TD
A(开始) --> B(环境搭建)
B --> C(漏洞利用)
C --> D(漏洞修复)
D --> E(结束)
```
### 步骤详解
1. 环境搭建
- 下载并安装Hadoop
- 配置Hadoop集群
- 启动Hadoop集群
2.
原创
2023-10-13 13:01:57
153阅读
1.数据完整性： 在数据第一次引入时系统计算校验和(checksum),在数据通过一段不可靠的 通道进行传输时再次计算校验和，如果所得 的 校验和和原来的校验和一致则代表数据完整2.HDFS数据完整性 hdfs 对写入 的数据计算校验和，在读取数据时验证校验和。 io.bytes.per.checksum 指定校验和的数据字节大小 默认512字节 datanode验证收到的数据后存储数据及校验和，
转载
2023-09-01 19:00:58
4阅读
本专栏是笔者的网络安全学习笔记，一面分享，同时作为笔记前文链接WAMP/DVWA/sqli-labs 搭建burpsuite工具抓包及Intruder暴力破解的使用目录扫描，请求重发,漏洞扫描等工具的使用网站信息收集及nmap的下载使用SQL注入(1)——了解成因和手工注入方法SQL注入(2)——各种注入SQL注入(3)——SQLMAPSQL注入(4)——实战SQL注入拿webshellVulnh
转载
2024-08-04 18:41:55
284阅读
首先Spark是借鉴了mapreduce并在其基础上发展起来的，继承了其分布式计算的优点并改进了mapreduce明显的缺陷。 但是二者也有不少的差异具体如下：ApacheSpark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行计算框架，Spark拥有Had
转载
2023-08-01 22:14:37
69阅读
Spark框架一、Spark概述1.1 Spark是什么1.2 Spark & Hadoop1.3 Spark / Hadoop（1）Hadoop MapReduce（2） Spark1.4 Spark核心模块 一、Spark概述1.1 Spark是什么Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2 Spark & HadoopSpark与Hadoop的
转载
2023-09-01 11:06:45
75阅读
有以下四个不同：1. 解决问题的层面不一样Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。 同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一
转载
2023-09-26 15:52:54
48阅读
文章目录Hadoop（伪分布）+ Spark（Local）软件安装及环境配置前言一、安装虚拟机1.下载Ubuntu16.04镜像二、Hadoop安装及配置（伪分布式）1.创建hadoop用户2.更新apt3.安装SSH、配置SSH无密码登陆4.安装Java环境5.安装Hadoop3.1.36.Hadoop伪分布式配置三、安装 Spark2.4.01.下载Spark2.4.02.安装Spark（L
转载
2023-11-18 23:36:04
9阅读
Spark概述什么是SparkSpark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark和Hadoop的区别Spark 和Hadoop 的区别：HadoopHadoop 是由 java 语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，专用于数据批处理的框架，有存储也有计算，但是核心是计算且是离线计算。作为 Hadoop 分布式文件系统，HDFS 处于
转载
2023-09-01 11:06:55
56阅读
目的 首先需要明确一点，hadoophe spark 这二者都是大数据框架，即便如此二者各自存在的目的是不同的。Hadoop是一个分布式的数据基础设施，它是将庞大的数据集分派到由若干台计算机组成的集群中的多个节点进行存储。Spark是一个专门用来对那些分布式存储的大数据进行处理的工具，spark本身并不会进行分布式数据的存储。两者的部署 Hadoop的框架最核心的设计就是：HDFS和MapRedu
转载
2023-07-12 11:53:59
70阅读
# Hadoop漏洞集合与防范措施
## 简介
Hadoop是一个开源的分布式计算框架，被广泛应用于大数据处理和分析。然而，由于其复杂性和开放性，Hadoop也存在一些漏洞，可能导致数据泄露、拒绝服务等安全问题。本文将介绍一些常见的Hadoop漏洞，并提供相应的防范措施。
## 常见漏洞
### 1. 未授权访问
未授权访问是Hadoop中最常见的漏洞之一。攻击者通过直接访问未经身份验证
原创
2024-01-24 03:26:28
607阅读
ID技术描述利用场景/条件过程参考武器库关联S1Apache换行解析漏洞Apache 2.4.0~2.4.29Apache HTTPD是一款HTTP服务器，它可以通过mod_php来运行PHP网页。其2.4.0~2.4.29版本中存在一个解析漏洞，在解析PHP时，1.php\x0a将被按照PHP后缀进行解析，导致绕过一些服务器的安全策略。利用方法：burp抓包，在Hex选项卡.php后
转载
2023-08-27 17:23:43
149阅读
网络中存在的web中间件软件的端口及其漏洞利用弱点的详解
21FTP主要看是否支持匿名，也可跑弱口令 22SSH弱口令爆破 23telnet弱口令爆破 80-90WEB常见WEB漏洞以及一些为管理后台 161snmppublic弱口令 389ldap是否为匿名访问 443openssl心脏出血以
转载
2023-10-21 18:23:19
30阅读
利用docker复现该漏洞，访问http://192.168.80.156:8080/phpinfo.php，可以看到页面出现phpinfo页面再访问http://192.168.80.156:8080/lfi.php?file=/etc/passwd，可以看到该页面是存在文件包含漏洞的。 先讲一下利用phpinfo上传文件，然后在文件包含的原理：参考链接：https://g
转载
2023-07-31 19:15:57
304阅读
最近在招聘面试的时候，往往听到应聘者在介绍Spark的时候，通常拿Spark官网案例Spark和Hadoop做比较。当我问到为什么Spark比Hadoop快时候，得到的答案往往是：Spark是基于内存的计算，而Hadoop是基于磁盘的计算；Spark是一种内存计算技术。果真如此吗？事实上，不光Spark是内存计算，Hadoop其实也是内存计算。Spark和Hadoop的根本差异是多个任务之间的数据
转载
2023-09-01 08:15:38
75阅读
首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处
转载
2023-07-06 18:45:22
83阅读
在大数据处理框架不断更新和优化的过程中，Hadoop和Spark之间既有竞争关系，也有相互协同的需求。比方说Hive和Spark，在一段时间内，很多人认为Spark会代替Hive，作为Hadoop的数据仓库，Hive真的已经落后了吗？ 这种说法我们是不赞同的，因为作为数据仓库来说，Hive和Spark之间，Spark真的没有压倒性的优势，下图我们做了一个对比—— 由上图
转载
2023-07-12 11:54:33
63阅读
尽管Hadoop在分布式数据分析领域备受瞩目，但还是有其他选择比典型的Hadoop平台更具优势。最近很多人都在讨论Spark这个貌似通用的分布式计算模型，国内很多机器学习相关工作者都在研究和使用它。Spark是一种可伸缩（scalable）的基于内存计算（In-Memory Computing）的数据分析平台，比Hadoop集群存储方法更有性能优势。Spark采用Scala语言实现，提供了单一的数
转载
2023-09-14 13:04:01
78阅读
Hadoop+spark集群搭建 说明：本文档主要讲述hadoop+spark的集群搭建，linux环境是centos，本文档集群搭建使用两个节点作为集群环境：一个作为Master节点，另一个作为Slave节点，由于spark依赖scala，所以需要安装scala搭建步骤：一：安装jdk二：安装hadoop集群（http://www.powerxing.com/install-
转载
2023-09-14 08:35:25
169阅读
