操作系统：本人的操作系统为CentOS7.4，软件安装包路径为 /data ， 软件安装路径为 /apps ，环境搭建过程中路径请做相应改动 准备工作：一、下载软件安装包(附官下载地址)：1、jdk-8u231-linux-x64.tar.gz （hadoop 3.1.3 需要的java版本为 jdk 1.8）https://www.oracle.com/technetwork/java
转载
2023-09-14 15:16:46
972阅读
# Hive 3.1.3安装指南
## 简介
在本文中，我将教给你如何安装Hive 3.1.3。Hive是一个基于Hadoop的数据仓库基础设施，可以用于数据的提取、转换和加载（ETL），以及大规模数据分析。
## 准备工作
在开始安装之前，确保你已经完成以下准备工作：
- 安装Java开发工具包（JDK）：Hive需要Java环境来运行。请确保你已经安装了适当的JDK版本，并设置了JAVA_
原创
2023-08-18 11:37:28
1163阅读
awk命令1.一种编程语言，用于在Linux/Unix下对文本和数据进行扫描与处理，数据可以来自标准输入、文件和管道。2.工作流程：逐行扫描文件，寻找匹配特定模式的行，并在其上进行用户想要的操作。3.基本结构： pattern {action}--没有指定pattern默认配置所有的数据，没有指定action默认处理动作为print--两个特殊的模式（pattern）：BEGIN、ENDawk语法
原创
2019-06-19 19:11:34
418阅读
hadoop 3.1.3 完全分布式+HA+Zookeeper
原创
2023-09-29 21:57:39
174阅读
# Hadoop 3.1.3高可用
## 介绍
Hadoop是一个开源的分布式计算平台，可以处理大规模数据集。它的核心特性是高可用性，也就是能够在节点故障的情况下继续提供服务。Hadoop 3.1.3是Hadoop的最新版本，它引入了许多新特性和改进，其中包括对高可用性的增强。
本文将介绍如何在Hadoop 3.1.3中实现高可用性，并提供一些代码示例来帮助您理解和实践。
## Hadoo
原创
2023-07-23 16:10:24
92阅读
##二维绘图 ###同一个轴上绘制多个绘图 *使用hold on命令，所有另外的绘图都会保留在原先绘图之上。 *使用hold off命令，新绘图将替代原绘图。 %以绘制函数sin(x)和cos(x)为例。 x = - pi : pi / 20 : pi; y1 = sin(x); y2 = cos( ...
转载
2021-10-31 16:38:00
421阅读
2评论
环境需求 安装JDK1.8 根据需要选择openjdk、Oracle JDK
原创
2022-09-24 01:15:21
789阅读
Nginx常见漏洞修复1. nginx心脏滴血漏洞修复描述：心脏滴血漏洞是由于openssl版本过低导致的，改漏洞可能导致应用相关的核心64K内存泄露，属于高危漏洞。解决方案：网上写的文档一般都是将openssl升级至最新版本即可解决，但是针对已经编译安装过的openresty/nginx，由于之前使用的是旧版本的libssl所以不管怎么升级openssl还是会有这个漏洞。解决方法参考
转载
2024-01-05 21:52:37
0阅读
在网络爬虫中，经常需要设置一些头信息。设置的内容。//程序3-3public class JsoupC
原创
2022-10-25 00:22:31
204阅读
1 #通过统计classList(标签列)中每种值的个数，得到次数最多的标签 2 def majorityCnt(classList): 3 classCount = {} 4 for vote in classList: 5 if vote not in classCount.keys(): 6 ...
转载
2021-07-23 14:04:00
213阅读
2评论
1,在学习HDFS编程实践前，我们需要启动Hadoop（版本是Hadoop3.1.3）。
原创
2022-06-05 01:36:14
1983阅读
本文原文:http://liuxp0827.blog.51cto.com/5013343/1713995Centos5的yum捆绑的是python2.4的版本,该版本无法安装最新版的supervisor,而只能通过yum install -y supervisor来安装supervisor2.1.3的版本,下面将介绍如何在Centos5上安装supervisor3.1
原创
2015-11-18 14:29:20
10000+阅读
hadoop3.1.3 local 安装模式1）将hadoop安装包上传到/opt/software目录下2）解压安装文件到/opt/module下面tar -zxv
原创
2023-02-01 09:44:15
74阅读
最近学大数据导论课程，要求学学hadoop，本教程主要讲述如何配置 Hadoop 集群（这里用的 Hadoop3.1.3），由于我也是自己捣鼓的，很多问题其实是没有解决的，该教程只是为了提供方案与参考，尚有不足可提出。 目录1.1 准备1.2 简介步骤1.3 环境配置2.1 安装 Haoop 前奏2.2 安装 Hadoop3.1.32.2.1 下载解压2.2.2 配置环境2.2.3 文件拷贝2.3
转载
2023-07-24 13:00:40
139阅读
最近公司需要将数据进行打包提供给用户，需要我们提供数据解析的jar给用户，为了防止数据格式的泄露，需要进行混淆。这里记录一下封装jar并混淆的过程。 1.创建module 之后创建了几个需要演示混淆的类。 2.打包配置 在Module的gradle里面，添加如下代码，跟dependencies平级；
转载
2018-08-08 14:50:00
462阅读
2评论
1.新建Android lib工程New->New Module2.选择Android Library3.输入package name 这个要和Unity的包名一致4.在新建的工程下如图位置new 一个 EmptyActivity 5.在android工程下的libs文件里添加unity的jar包Unity中jar有两个路径这个要取决于unity的打包方式在unity中player
转载
2022-11-29 20:14:45
124阅读
Spring 3.1.3 AOP在eclipse中报错错误描述:DescriptionThe hierarchy of the type MyMethodBeforeAdvice is inconsistent MyMethodBeforeAdvice.java解决方法：Spring 3.1.3 aop 需要 aopalliance.jar 包的支持，将 aopalliance.jar 导入项目
原创
2023-06-08 14:56:10
56阅读
本章将一步一步在win10下安装Hadoop3.0.0，并启动服务进行简单的hdfs操作。准备工作1、Hadoop官方下载地址： http://hadoop.apache.org/releases.html选择最新的3.0.0版本后跳转至下面的页面选择红色框部分链接即可下载，建议采用专业的下载工具下载，速度更快2、将tar.gz包解压至D盘根目录：[外链图片转存失败,源站可能有防盗链机制,建议将图
转载
2023-08-11 13:03:07
110阅读
一、服务器准备及前置操作：准备要搭建集群的服务器hostnameip地址hcy-03192.168.0.111hcy-04192.168.0.112hcy-05192.168.0.1131.关闭防火墙chkconfig -off iptables (centos6)
chkconfig -off ip6tables (centos6)
systemctl stop firewalld.servi
转载
2023-09-06 17:57:52
117阅读
Iperf3.1.3使用手册概述iperf3是iperf的3.1.3版本，是一款网络测试工具，可以测试网络的最大吞吐量，比特率、重发包数还有拥塞包大小等，是一款极其轻便，简单易用的一款测试工具。并且提供多平台的支持，支持Linux、Windows、Android、Mac、Iphone等平台。Iperf是基于命令行的，Ixchariot是图形界面。 下载https://iperf.fr/iperf-
原创
2024-07-03 14:13:16
101阅读
