本专栏是笔者的网络安全学习笔记，一面分享，同时作为笔记前文链接WAMP/DVWA/sqli-labs 搭建burpsuite工具抓包及Intruder暴力破解的使用目录扫描，请求重发,漏洞扫描等工具的使用网站信息收集及nmap的下载使用SQL注入(1)——了解成因和手工注入方法SQL注入(2)——各种注入SQL注入(3)——SQLMAPSQL注入(4)——实战SQL注入拿webshellVulnh
转载
2024-08-04 18:41:55
287阅读
# 设置Hadoop中的用户名
在使用Hadoop时，有时候我们需要设置一个用户名来代表当前用户进行操作。这个用户名可以是当前系统用户名，也可以是我们指定的其他用户名。在Java中，可以通过一些API来设置Hadoop的用户名。下面我们将介绍如何在Java中设置Hadoop的用户名。
## Hadoop中的用户名
在Hadoop中，用户名用来标识执行Hadoop操作的用户。Hadoop会使用
原创
2024-05-21 05:13:44
100阅读
一、背景5月5日腾讯云安全团队曾针对攻击者利用Hadoop Yarn资源管理系统REST API未授权漏洞对服务器进行攻击，攻击者可以在未授权的情况下远程执行代码的安全问题进行预警，在预警的前后我们曾多次捕获相关的攻击案例，其中就包含利用该问题进行挖矿，我们针对其中一个案例进行分析并提供响应的安全建议和解决方案。二、漏洞说明Hadoop是一个由Apache基金会所开发的分布式系统基础架构，YARN
转载
2024-01-04 23:45:24
32阅读
## Hadoop漏洞实现流程
### 流程图
```mermaid
flowchart TD
A(开始) --> B(环境搭建)
B --> C(漏洞利用)
C --> D(漏洞修复)
D --> E(结束)
```
### 步骤详解
1. 环境搭建
- 下载并安装Hadoop
- 配置Hadoop集群
- 启动Hadoop集群
2.
原创
2023-10-13 13:01:57
153阅读
1.数据完整性： 在数据第一次引入时系统计算校验和(checksum),在数据通过一段不可靠的 通道进行传输时再次计算校验和，如果所得 的 校验和和原来的校验和一致则代表数据完整2.HDFS数据完整性 hdfs 对写入 的数据计算校验和，在读取数据时验证校验和。 io.bytes.per.checksum 指定校验和的数据字节大小 默认512字节 datanode验证收到的数据后存储数据及校验和，
转载
2023-09-01 19:00:58
4阅读
core-site.xml<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储
转载
2023-08-11 17:35:11
127阅读
# Hadoop漏洞集合与防范措施
## 简介
Hadoop是一个开源的分布式计算框架，被广泛应用于大数据处理和分析。然而，由于其复杂性和开放性，Hadoop也存在一些漏洞，可能导致数据泄露、拒绝服务等安全问题。本文将介绍一些常见的Hadoop漏洞，并提供相应的防范措施。
## 常见漏洞
### 1. 未授权访问
未授权访问是Hadoop中最常见的漏洞之一。攻击者通过直接访问未经身份验证
原创
2024-01-24 03:26:28
607阅读
一、关于设置hdfs
①获取hdfs文件系统
1
Configuration configuration = new Configuration();
转载
2024-08-02 13:35:12
31阅读
利用docker复现该漏洞，访问http://192.168.80.156:8080/phpinfo.php，可以看到页面出现phpinfo页面再访问http://192.168.80.156:8080/lfi.php?file=/etc/passwd，可以看到该页面是存在文件包含漏洞的。 先讲一下利用phpinfo上传文件，然后在文件包含的原理：参考链接：https://g
转载
2023-07-31 19:15:57
304阅读
网络中存在的web中间件软件的端口及其漏洞利用弱点的详解
21FTP主要看是否支持匿名，也可跑弱口令 22SSH弱口令爆破 23telnet弱口令爆破 80-90WEB常见WEB漏洞以及一些为管理后台 161snmppublic弱口令 389ldap是否为匿名访问 443openssl心脏出血以
转载
2023-10-21 18:23:19
30阅读
day01 spark初步学习一 spark与hadoop的区别1 比较hadoop的mapreduce对应sparkhadoop是面向磁盘的，spark是面向内存的spark在内存中运行是Hadoop的100倍但是spark对于内存要求很高，所以不能完全取代mapreduce2 架构mp：（map：分发，reduce：归约）迭代过程中 磁盘io次数严重影响计算时间spark 在内存中运行 大大减
转载
2023-07-12 11:57:22
15阅读
一、HDFS数据完整性用户肯定都希望系统在存储和处理数据时，数据不会有任何丢失或损坏。但是，受网络不稳定、硬件损坏等因素，IO操作过程中难免会出现数据丢失或脏数据，难免会出现数据丢失或脏数据，数据传输的量越大，出现错误的概率就越高。检测数据是否损坏的常见措施是，在数据第一次引入系统时计算校验和(checksum)并存储，在数据进行传输后再次计算校验和进行对比，如果计算所得的新校验和和原来的校验和不
转载
2023-08-24 10:53:10
11阅读
Apache HTTPD 换行解析漏洞(CVE-2017-15715)一、漏洞描述Apache HTTPD是一款HTTP服务器，其2.4.0~2.4.29版本中存在一个解析漏洞，在解析PHP时，1.php\x0A将被按照PHP后缀进行解析，导致绕过一些服务器的安全策略。该漏洞属于用户配置不当所产生，与具体中间件版本无关。二、漏洞原理查看index.php内容，代码如下：这是一个文件上传的后端PHP
转载
2024-03-07 09:15:12
440阅读
# 修复Hadoop 8088漏洞指南
## 1. 整体流程
首先，让我们用表格展示修复Hadoop 8088漏洞的整体流程：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 检查Hadoop版本和是否受漏洞影响 |
| 2 | 下载最新的Hadoop安全补丁 |
| 3 | 停止Hadoop集群 |
| 4 | 应用安全补丁 |
| 5 | 重新启动Hadoop集群 |
原创
2024-03-18 06:36:49
120阅读
# 如何实现"Hadoop文件上传漏洞"
## 一、流程概述
为了实现"Hadoop文件上传漏洞”，我们需要按照以下步骤进行操作：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 找到Hadoop集群的节点 |
| 2 | 上传恶意文件到目标节点 |
| 3 | 利用上传的文件执行恶意代码 |
| 4 | 获取目标节点的敏感信息 |
## 二、具体步骤与代码注释
##
原创
2024-06-04 07:23:06
71阅读
# Hadoop代码执行及防范措施
## 引言
随着大数据技术的不断发展，Hadoop作为一个开源的分布式存储和计算框架，在大数据处理中扮演着重要的角色。然而，由于Hadoop的分布式和开放性特点，也存在一些潜在的安全风险，其中之一就是Hadoop代码执行。
## 什么是Hadoop代码执行
Hadoop代码执行指的是者可以通过构造恶意代码，让Hadoop框架执行这些代
原创
2024-06-04 07:23:52
61阅读
为避免您的业务受影响，腾讯云安全中心建议使用 Apache Hadoop 的用户及时开展安全自查，如在受影响范围，请您及时进行更新修复，避免被外部攻击者入侵。同时建议云上租户免费开通「安全运营中心」-安全情报，及时获取最新漏洞情报、修复方案及数据泄露情况，感知云上资产风险态势。 【风险等级】 官方评级：严重(Critical) 【漏洞详情】 Apache Hadoop 多
本周安全态势综述OSCS社区共收录安全29个，公开值得关注的是Apache Hadoop YARN 远程代码执行（CVE-2021-25642），Firefox 内存破坏（CVE-2022-38478）和Atlassian Bitbucket Server 和 Data Center 命令注入（CVE-2022-36804）。针对 NPM、PyPI 仓库，共监测到 5 次投毒事
转载
2024-03-14 22:04:13
0阅读
一. kudu简介kudu是开源的、针对结构化数据的存储引擎支持低延迟随机访问、高效的分析型访问kudu是hadoop生态圈下的，支持多种访问模式，如 Impala、Spark、MapReduce在hadoop生态中，对于结构化数据存储，通常有两种方式对于静态数据集，常使用二进制格式如 Parquet（一种静态数据列格式）、Avro存储在HDFS中。缺点是，这种方式不管是HDFS还是存储格式，都不
转载
2024-02-23 11:19:46
7阅读
作者：维阵漏洞研究员--km1ng一、简述Syzkaller是Google开发的一款内核模糊测试工具，简单点说就是自动化向内核输入各种有效的、无效的、完全随机化的参数数据，并观察内核的运行状况，是否发生了panic、内存泄漏等问题，以此发现隐藏在内核中的漏洞。近些年很多内核的CVE发现均来自于此，该工具的开发维护也相对活跃。它不仅支持x86，还支持ARM、Power、MIPS等处理器，而且不仅支持
转载
2023-11-06 19:24:43
34阅读
