我家用共有3台电脑共用Wifi无线上网,都是PC， 一台是windows 11, 另2台是Windows 10系统， 每次交换数据都是用U 盘，或者移动硬盘拷贝来拷贝去， 非常不方便。 希望3台电脑组成一个简单的无线网络， 不对外， 只是内部连接， 大家都有一个”共用盘“， 可以互相访问， 这样就不用把数据拷贝来拷贝去来.开始查百度， 看到的都是搭建家庭NAS (Network Attached
转载
2023-11-20 08:28:03
558阅读
# 多台Windows搭建Hadoop集群的简单指南
Hadoop是一个用于大数据存储和处理的开源框架。构建一个Hadoop集群可以让我们更高效地处理大规模数据。而在Windows上搭建Hadoop集群虽然比在Linux上复杂一些，但依然可以实现。本文将为您提供一个完整的步骤，以便在多台Windows机器上搭建Hadoop集群。
## 1. 环境准备
### 1.1 软件要求
您需要准备以
原创
2024-08-11 03:49:34
224阅读
准备工作： 四个节点间的ssh互通，（至少两个NN节点和其他节点ssh互通）； JDK 1.7+，环境变量配置，各节点保持一致； /etc/hosts 节点名映射，各节点保持一致； 保证各组件版本间兼容性，推荐使用cdh的jar包datas : 当做所有软件的安装目录jars:当做提交jar包的目录。 文本数据目录；software：软件包目录workdata: 软件包的数据存放目录一、关闭防火墙
转载
2023-08-30 18:12:26
280阅读
Hadoop Multi Node ClusterHadoop Multi Node Cluster规划如下图，由多台电脑組成:有一台主要的电脑master，在HDFS擔任NameNode角色，在MapReduce2(YARN)擔任ResourceManager角色有多台辅助的电脑data1、data2、data3，在HDFS擔任DataNode角色，在MapReduce2(YARN)擔任Node
转载
2024-06-19 10:13:01
103阅读
经过无数次的失败，终于将CDH安装到两台普通的笔记本电脑上，主要失败原因有以下几点：不熟悉安装过程，官方给出的安装方法有三种，所以都尝试了一遍，浪费了大量时间，所以有时候方法多不见得是一件好事。安装设备太差，有时会因为占用内存或者CPU占用过高而死机。安装网络环境太差，导致传输过程可能出现超时失败现象。安装时间过久，导致出错后重新再来时间付出太多。以下讲的方法不是最优的方法，但是是我们最后的方法，
转载
2023-08-10 17:05:42
321阅读
[简介] 过去，做一个并行计算的试验要费九牛二虎之力，今天，有了.NET Remoting，我们只需要完成非常少的编程工作，便可以跨多台计算机轻松进行分布计算。在本文中，Eric Bergman-Terrell创建了一个名为Digits of Pi的应用程序，它使用并行的多台计算机以不可思议的精度计算π值。他设法在12小时内完成了10,000位数的计算，却只使用了相当少的计算资源。这比用一台计算机
转载
2023-08-08 11:03:14
1246阅读
快速搭建一个hadoop集群一、准备虚拟机二、配置ssh免密登录三、编写文件同步脚本四、安装jdk和hadoop五、hadoop集群配置六、启动集群 快速搭建一个hadoop集群 本文不讲原理，只记录一下快速搭建hadoop集群的过程。参考：https://www.bilibili.com/video/BV1Qp4y1n7EN系统：CentOS7.7hadoop版本：3.3.2jdk版本：1.
转载
2023-11-10 06:33:09
96阅读
因为在准备kaggle的缘故，想尝试下使用spark MLlib来进行机器学习，换了台新电脑，和旧电脑一起搭一个集群玩一玩。master节点使用的是win10的系统，但是集群运行在win10的ubuntu bash里面，证明用win10架设spark hadoop集群是可行的，但是还是建议使用完全的ubuntu环境，那样安装起来坑少一些。机器准备：两台笔记本，wifi系统准备：ubu
转载
2023-12-23 20:30:45
116阅读
在CentOS7环境下，hadoop2.7.7集群部署的实战的步骤如下：机器规划；Linux设置；创建用户和用户组SSH免密码设置；文件下载；Java设置；创建hadoop要用到的文件夹；hadoop设置；格式化hdfs；启动hadoop；验证hadoop；接下来就逐步开始吧；机器规划本次实战用到了三台CentOS7的机器，身份信息如下所示：IP地址hostname(主机名)身份192.168.1
转载
2024-07-19 16:20:49
23阅读
# 搭建Hadoop集群
## 背景介绍
Hadoop是一个开源的分布式存储和计算框架，能够处理大规模数据。在实际生产环境中，通常会使用多台物理机来搭建Hadoop集群，以实现数据的存储和计算的分布式处理。本文将介绍如何利用多台物理机搭建Hadoop集群，并给出相应的代码示例。
## 搭建Hadoop集群步骤
### 步骤一：安装Hadoop
首先需要在每台物理机上安装Hadoop，可以
原创
2024-03-24 04:57:09
190阅读
最近有机会在四台PC机上搭建集群环境。 趁着脑袋还没有凉下来，赶紧把笔记整理出来。安装的平台是普通的是PC机，是04年那种普通的配置，安装的软件是RedHat EL AS 4.0. 准备用四台机器搭建一个集群环境，首先是通过kickstart将四台机器一起安装，然后安装MPI，提供运行环境。这里就一步一步的介绍。一 安装RedHat四台机器，虽然不是很多，但是一台一台的按转也
转载
2023-12-19 21:12:04
954阅读
作者简介昱康，携程架构师，对分布式计算和存储、调度、查询引擎、在线离线混部、高并发等方面有浓厚兴趣。本文将分享携程Hadoop跨机房架构实践，包含Hadoop在携程的发展情况，整个跨机房项目的背景，我们跨机房的架构选型思路和落地实践，相关的改造和对未来的展望，希望给大家一些启迪。 一、Hadoop在携程的落地及发展情况 携程Hadoop是从2014年引进的，基本上每年较前一年以
转载
2024-06-11 19:19:11
106阅读
这个文章作为我搭建的详细步骤一个记录，供日后回过来查看，网上对windows server 2012 高可用群集搭建的资料还是很多的！只是有一个地方没有找到想要的答案：群集中的共享存储如果不可用了呢，按理也是一个单点问题吧！暂时不纠结，如果你知道答案也请告诉我！首先是一个服务器的规划：群集的对外访问IP为：192.168.11.101No.服务器IP服务器功能1192.168.11.8域控服务器及
转载
2024-03-13 20:42:39
508阅读
一、创建虚拟机1、从网上下载一个Centos6.X的镜像（http://vault.centos.org/） 2、安装一台虚拟机配置如下：cpu1个、内存1G、磁盘分配20G（看个人配置和需求，本人配置有点低所以参数有点低） 3、虚拟机安装建议去挑战minidesktop，分区自己创建有/boot（300）、swap（300）、/（分配全部空间）。二、集群环境配置1.准备Linux环境 设置一
转载
2024-09-24 18:30:59
223阅读
Linux下Hadoop2.7.3集群环境的搭建 本文旨在提供最基本的，可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建，对自己是个总结和整理，也能方便新人学习使用。基础环境JDK的安装与配置现在直接到Oracle官网（http://www.oracle.com/）寻找JDK7的安装包不太容易，因为现在官方推荐JDK8。找了半天才找到JD
Consul最近在学习Ocelot，发现里面集成Consul，所有部署一下多机版集群，后来发现网上都是在一台虚拟机中的Docker部署，而且大同小异，没有真正解释清楚。前提准备4台Centos虚拟机，本人安装VM虚拟机，用复制镜像快速搭建环境。（需要脚本的话联系我）第一台安装好后，把Docker安装好，设置docker开机启动，关掉防火墙，设置静态IP等。然后用copy虚拟机，修改ip地址后，全部
转载
2023-12-08 16:12:27
73阅读
会话数据管理方法 1. 不存储Session对于一些不需要记录用户状态的Web应用，采用这种Stateless方式是最恰当的方式。2. 基于Cookie的Session共享这种策略也被称为客户端Session，即不将Session信息存储于服务器端，而是存储于客户端。这同时，也会带来一定的安全问题，因为Cookie是存储于客户端中的，也就意味着客户端可以修改Cookie文件，来进行Session劫
hadoop使用java编写，所以windows安装和java一样也需要配置环境变量。一、下载所需文件JDK下载地址，jdk1.8下载
Hadoop下载，hadoop下载，进去后找到一个版本然后点击 Binary download 下载到本地。Hadoop windows环境编译工具，winutils下载 ，下载后解压出来二、安装文件jdk安装，jdk安装并不复杂，这里就不详细介绍了，我的安装目录
转载
2023-08-08 13:52:22
690阅读
多台电脑搭建Kubernetes集群
作为经验丰富的开发者，我将教会你如何在多台电脑上搭建Kubernetes（K8S）集群。在开始之前，我们先了解一下整个过程的流程，然后逐步进行实施。
整个过程的大致流程如下：
1. 准备多台虚拟或物理机器。
2. 在每台机器上安装Docker。
3. 在每台机器上安装Kubernetes Master组件。
4. 在每台机器上安装Kubernetes W
原创
2024-02-04 12:23:22
425阅读
写在前边的话： 转载请注明出处：@，Thinkagmer 撰写 之前是在自己电脑上部署的hadoop集群，但并未涉及到HA配置，这次将集群迁移到PC服务器，但是问题来了，只有三台，但是我还想配置HA，PC服务器是CentOS6.5，原来想着在上边部署VM，从而部署HA集群，但经测试，未果，遂
转载
2023-11-21 11:15:21
93阅读
