管理项目1.找出java工作环境并打开 2.点击进入java操作界面，新建文件夹 3.选择尖朝下的标志选择Working Sets 创建分布式项目：1.创建一个maven工程用于管理jar包：右击创建maven project，选择方式为porm2.创建一个存放工具类的maven工程(common)，右击创建maven projec
转载
2023-07-18 22:53:39
0阅读
一、下载所需软件和安装包 ：https://pan.baidu/s/1BcJR4zUMnidpJ6Bm5mafVQ 提取码：pojc 二、安装虚拟机 步骤如下： 1. 2. 3. 4. 5. 6.选择其中一个序列号输入：
VG5HH-D6E04-0889Y-QXZET-QGUC8
CY55A-F6G80-H85HQ-WNN5X-W38W4
AC11H-4HZ05-08EDQ-APQGX
转载
2023-10-03 19:23:23
25阅读
我在后面学习Hive的时候，在最开始我的Hadoop集群搭建的有问题，所以我决定重头搭建，然后做出笔记。写了一些自己遇到的坑，这里来把这些坑给填上。Hadoop基本安装配置主要包括以下5个步骤。 （1）创建Hadoop用户 （2）安装Java （3）设置SSH登录权限 （4）单机安装配置 （5）伪分布式安装配置 我使用的操作系统是Ubuntu14.4，Hadoop版本为2.7.3第一步，先安装一个
转载
2023-10-03 13:57:05
104阅读
Hadoop-伪分布式搭建配置过程可参考官网：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation一、准备工作伪分布式就是一个节点跑一个集群，前提条件：主机名、防火墙都设置好。 检查：1.主机名：[roo
转载
2023-12-20 21:05:29
41阅读
个人学习笔记，仅供参考从入门到入土 Hadoop新手搭建(2) 分布式集群搭建(1)JDK安装 Hadoop基于JAVA，要运行JAVA必然要先安装java。按照我上一篇的指南这样做的话，现在就可以打开xshell进行连接。在xshell中，我们运行java -version查看java版本，如果我没记错的话，java要1.6以上，按照我的流程走的话，
转载
2023-09-20 21:20:01
79阅读
垃圾回收算法垃圾回收算法的实现设计到大量的程序细节，并且每一个平台的虚拟机操作内存的方式都有不同，所以不需要去了解算法的具体实现。复制算法将可用内存按容量划分为大小相等的两块，每次只使用其中的一块。当这一块的内存用完了，就将还存活着的对象复制到另外一块上面，然后再把已使用过的内存空间一次清理掉。这样使得每次都是对整个半区进行内存回收，内存分配时也就不用考虑内存碎片等复杂情况，只要按顺序分配内存即可
转载
2024-06-14 18:36:28
42阅读
伪分布式：只需要一个虚拟机，所有节点都在该虚拟机上1.首先，需要安装JDK，将上传的jdk解压tar -zxvf jdk压缩包2.配置环境变量，位置：/etc/profileexport JAVA_HOME=/opt/software/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin注：两个地方都能配置 用户变量&nb
转载
2023-11-29 20:16:06
50阅读
# 伪分布式Hadoop集群搭建过程
### 概述
在本文中，我将教你如何搭建一个伪分布式Hadoop集群，这是一个适合初学者学习和练习Hadoop的最佳方式。伪分布式Hadoop集群是在一台机器上模拟多个节点的Hadoop集群，每个节点都可以执行Hadoop任务。这样你可以在本地机器上学习Hadoop的各种功能和配置。
### 操作步骤
下表展示了伪分布式Hadoop集群搭建的操作步骤：
原创
2024-04-25 09:56:23
76阅读
历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习）PS：转载请注明来源：http://blog.csdn.net/licongcong_0224/article/details/12972889另外：欢迎配置过程中遇到问题的朋友留言，相互讨论，并且能
转载
精选
2014-09-09 14:59:14
430阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、主从,哨兵模式搭建1.主从1.哨兵二、集群搭建1.安装2.修改配置文件redis.conf3.复制4.写个批处理启动5.创建Redis集群（创建时Redis里不要有数据）6.使用7.扩容1.添主2.添从8.缩容总结 前言我们采用Redis多机和集群的方式来保证Redis的高可用性。 单进程+单线程 + 多机 （集群）
转载
2023-10-14 17:11:50
128阅读
一. ELK 分布式日志实战介绍 此实战方案以 Elk 6.4.0版本为准，分布式日志将以下图分布进行安装部署以及配置。 当Elk需监控应用日志时，需在应用部署所在的服务器中，安装Filebeat日志采集工具，日志采集工具通过配置，采集本地日志文件，将日志消息传输到Kafka集群，我们可部署日志中间服务器，安装Logstash日志采集工具，Logstash直接消费Kafka的日志消息，并将日志
转载
2023-07-13 15:38:59
0阅读
目录 一、下载合适的Hadoop并解压，安装到linux下二、搭建Hadoo1.首先进入到etc下的hadoop目录，要修改的文件都在这个目录下，命令如下：2.修改hadoop-env.sh3.修改hdfs-site.xml4.修改core-site.xml5.修改 mapred-site.xml6.修改 vim yarn-site.xml7.以上5个文件修改完成后，格式化HDFS8.格
转载
2023-10-14 15:56:31
86阅读
目录0.准备1.Hadoop伪分布式环境搭建2.安装ssh，配置ssh无密码登录3.通过拖拽的方式将文件从windows传到linux桌面5.安装hadoop6.修改hadoop环境变量7.修改配置文件 core-site.xml8.修改配置文件hdfs-site.xml文件9.执行NameNode的格式化10.开启NameNode和DataNode守护进程11.访问web页面12.关闭Hadoo
转载
2023-08-12 19:33:36
109阅读
在开发中大型Java软件项目时，很多Java架构师都会遇到数据库读写瓶颈，如果你在系统架构时并没有将缓存策略考虑进去，或者并没有选择更优的缓存策略，那么到时候重构起来将会是一个噩梦。本文主要是分享了5个常用的Java分布式缓存框架，这些缓存框架支持多台服务器的缓存读写功能，可以让你的缓存系统更容易扩展。1、Ehcache– Java分布式缓存框架Ehcache是一个Java实现的开源分布式缓存框架
转载
2024-10-18 12:31:55
4阅读
本教程是基于CentOS-7-x86_64的Hadoop完全分布式搭建1、搭建前的准备1）CentOS-7虚拟机3台(hadoop1、hadoop2、hadoop3) 2）hadoop-3.3.0包 3）jdk-8u144-linux-x64包2、整体部署 hadoop1hadoop2hadoop3HDFSN
转载
2023-05-31 16:02:50
0阅读
文章目录写在前面搭建好Hadoop集群环境安装Spark（Master节点上操作）配置环境变量（Master节点上操作）Spark配置（Master节点上操作）配置Worker节点启动Spark集群（在Master节点上操作）关闭Spark集群（在Master节点上操作） 写在前面这里采用2台机器（节点）作为实例来演示如何搭建Spark集群，其中1台机器作为Master节点，另外一台机器作为Sl
转载
2023-11-24 11:31:59
73阅读
一、环境准备1.准备一台虚拟机虚拟机安装请移步另一篇博客：2.配置ip : 我配置的ip为：192.168.40.33，保证能访问外网3.配置hostname : eleven-24.配置hosts ： 192.168.40.33 eleven-25.关闭防火墙，避免后期发生问题找不到原
转载
2023-07-20 17:19:38
80阅读
# Hadoop伪分布式搭建全过程
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的计算。伪分布式是一种在一台计算机上模拟分布式环境的方式，可以用于学习和开发Hadoop应用程序。本文将介绍如何在一台计算机上搭建Hadoop伪分布式环境，并提供详细代码示例。
## 环境准备
在开始搭建Hadoop伪分布式环境之前，需要确保以下环境准备工作已经完成：
1. 安装Java Dev
原创
2023-09-30 09:36:08
69阅读
注意：可以查看Redis官网查看集群搭建方式，连接如下https://redis.io/topics/cluster-tutorial集群中应该至少有三个节点，每个节点有一备份节点。需要6台服务器。如果条件有限，可以搭建伪分布式，以下步骤是在一台 Linux 服务器上搭建有6个节点的 Redis集群。准备工作：安装依赖包[root@localhost ~]#yum install -y gcc g
转载
2023-06-29 13:41:37
186阅读
个人搭建hadoop平台实用的环境：Ubuntu 14.04 64位 *3、JDK1.8、Hadoop 2.6.5 (apache)一、Hadoop安装前准备1、设置root用户第一次需要设置root用户密码root用户开机启动在文件中添加下图红框内容： user-session=ubuntugreeter-show-manual-login=trueall-guest=false保存后
转载
2023-09-16 02:45:57
107阅读
