Hadoop Multi Node ClusterHadoop Multi Node Cluster规划如下图，由多台电脑組成:有一台主要的电脑master，在HDFS擔任NameNode角色，在MapReduce2(YARN)擔任ResourceManager角色有多台辅助的电脑data1、data2、data3，在HDFS擔任DataNode角色，在MapReduce2(YARN)擔任Node
转载
2024-06-19 10:13:01
103阅读
经过无数次的失败，终于将CDH安装到两台普通的笔记本电脑上，主要失败原因有以下几点：不熟悉安装过程，官方给出的安装方法有三种，所以都尝试了一遍，浪费了大量时间，所以有时候方法多不见得是一件好事。安装设备太差，有时会因为占用内存或者CPU占用过高而死机。安装网络环境太差，导致传输过程可能出现超时失败现象。安装时间过久，导致出错后重新再来时间付出太多。以下讲的方法不是最优的方法，但是是我们最后的方法，
转载
2023-08-10 17:05:42
323阅读
因为在准备kaggle的缘故，想尝试下使用spark MLlib来进行机器学习，换了台新电脑，和旧电脑一起搭一个集群玩一玩。master节点使用的是win10的系统，但是集群运行在win10的ubuntu bash里面，证明用win10架设spark hadoop集群是可行的，但是还是建议使用完全的ubuntu环境，那样安装起来坑少一些。机器准备：两台笔记本，wifi系统准备：ubu
转载
2023-12-23 20:30:45
116阅读
[简介] 过去，做一个并行计算的试验要费九牛二虎之力，今天，有了.NET Remoting，我们只需要完成非常少的编程工作，便可以跨多台计算机轻松进行分布计算。在本文中，Eric Bergman-Terrell创建了一个名为Digits of Pi的应用程序，它使用并行的多台计算机以不可思议的精度计算π值。他设法在12小时内完成了10,000位数的计算，却只使用了相当少的计算资源。这比用一台计算机
转载
2023-08-08 11:03:14
1246阅读
快速搭建一个hadoop集群一、准备虚拟机二、配置ssh免密登录三、编写文件同步脚本四、安装jdk和hadoop五、hadoop集群配置六、启动集群 快速搭建一个hadoop集群 本文不讲原理，只记录一下快速搭建hadoop集群的过程。参考：https://www.bilibili.com/video/BV1Qp4y1n7EN系统：CentOS7.7hadoop版本：3.3.2jdk版本：1.
转载
2023-11-10 06:33:09
96阅读
我家用共有3台电脑共用Wifi无线上网,都是PC， 一台是windows 11, 另2台是Windows 10系统， 每次交换数据都是用U 盘，或者移动硬盘拷贝来拷贝去， 非常不方便。 希望3台电脑组成一个简单的无线网络， 不对外， 只是内部连接， 大家都有一个”共用盘“， 可以互相访问， 这样就不用把数据拷贝来拷贝去来.开始查百度， 看到的都是搭建家庭NAS (Network Attached
转载
2023-11-20 08:28:03
558阅读
一般学校都是公网ip，不自己搭个服务器真是浪费了资源...下面讲一下如何在Windows 下配置可以多用户登陆的远程桌面来共享自己的电脑资源首先需要一个一个专业版的win7 或win 10，如果当服务器还是家庭版的话就有点说不过去了... 而且专业版的windows序列号一搜一大把，趁早升了吧。第二就是打开电脑上的3389端口，打开控制面板-系统设置-远程桌面，启用远程桌面，然后对用户账户设置一下
转载
2023-12-05 15:08:44
27阅读
每次换电脑的时候都要把hadoop的环境重新的搭建一遍，每次配置的时间不是很长，但是准备的时间浪费很多，都是一些常用的工具软件还有对应的插件，镜像什么的。所以这次在博客上总结一下。算是一种复习，也算是为刚接触hadoop的同学一个方便的思路。下面我将分为几部分来描述搭建hadoop2.x的所有的流程。这部分是环境的准备工作。（面向的是windows的用户，采用虚拟机的方式来搭建hadoop的环境，
最近有机会在四台PC机上搭建集群环境。 趁着脑袋还没有凉下来，赶紧把笔记整理出来。安装的平台是普通的是PC机，是04年那种普通的配置，安装的软件是RedHat EL AS 4.0. 准备用四台机器搭建一个集群环境，首先是通过kickstart将四台机器一起安装，然后安装MPI，提供运行环境。这里就一步一步的介绍。一 安装RedHat四台机器，虽然不是很多，但是一台一台的按转也
转载
2023-12-19 21:12:04
954阅读
在CentOS7环境下，hadoop2.7.7集群部署的实战的步骤如下：机器规划；Linux设置；创建用户和用户组SSH免密码设置；文件下载；Java设置；创建hadoop要用到的文件夹；hadoop设置；格式化hdfs；启动hadoop；验证hadoop；接下来就逐步开始吧；机器规划本次实战用到了三台CentOS7的机器，身份信息如下所示：IP地址hostname(主机名)身份192.168.1
转载
2024-07-19 16:20:49
23阅读
现在数据传输手段很多，最普遍的有U盘，局域网，互联网等，人们已经习惯了这种基于互联网、wifi的生活方式，记得很多年以前互联网还没这么发达时，几个同寝室的小伙伴想传输文件和联网打游戏是多么奢侈的一件事情，不过办法总是有的，有些方法我们都干过，比如用双绞线直连等。于是我又把两台电脑直连的方法搜集了一下，列举3种常用的直连方法，以应对一些特殊的场合传输文件。1、网线直连网络工程师用得比较多准备材料：电
转载
2024-06-02 11:41:15
120阅读
考虑到不同路由器配置上或许有细微差别，我此处路由器是水星(牌子)路由器。首先需要2台路由器，一台已经能够上网，作为主路由器；另一台啥都没有配置，将来用作副路由器，与主路由器桥接。步骤：获取主路由器的wifi号和密码使用网线连接副路由器（LAN口）和电脑，在浏览器访问192.168.1.1访问路由器配置界面。此处可能需要密码，如果路由器上
没有粘贴密码(意味着没有默认密码)，表示密码是在路由器在第一
转载
2023-11-29 11:06:30
92阅读
作者简介昱康，携程架构师，对分布式计算和存储、调度、查询引擎、在线离线混部、高并发等方面有浓厚兴趣。本文将分享携程Hadoop跨机房架构实践，包含Hadoop在携程的发展情况，整个跨机房项目的背景，我们跨机房的架构选型思路和落地实践，相关的改造和对未来的展望，希望给大家一些启迪。 一、Hadoop在携程的落地及发展情况 携程Hadoop是从2014年引进的，基本上每年较前一年以
转载
2024-06-11 19:19:11
106阅读
最近在工作中有这么个问题，上班在办公室的电脑上撰写的文档，有可能回家需要继续撰写，或者在去到客户现场时需要某个文档做演示，而这个文档在公司的电脑上或者家里的电脑上，忘了带了…… 以上这些情况，可以总结为需要在多个工作环境共用统一的文档，一般可以通过以下几种方式解决： 一、只用笔记本办公，上班拎着去办公，下班拎着回家，外出的时候也拎着出差，这样只使用一台机器，就可以保证所有的文档都是统一的，也
配置mapreduce <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the
转载
2016-03-06 18:52:00
58阅读
一、hadoop的发展二、hadoop框架Hadoop Common：基础型功能Hadoop Distributed File System (HDFS™)：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。负责存放数据Hadoop YARN：作业调度和集群资源管理的框架。负责资源的调配Hadoop MapReduce：基于 YARN 的系统，用于并行处理大型数据集。大数据的计算框架Hado
转载
2023-07-07 10:10:40
82阅读
什么是局域网局域网（Local Area Network，LAN）是指在某一区域内由多台计算机互联成的计算机组。一般是方圆几千米以内。局域网可以实现文件管理、应用软件共享、打印机共享、工作组内的日程安排、电子邮件和传真通信服务等功能。局域网是封闭型的，可以由办公室内的两台计算机组成，也可以由一个公司内的上千台计算机组成。局域网的特点 :1、覆盖的地理范围较小，只在一个相对独立的局部范围内
转载
2023-10-17 20:26:11
84阅读
# 多台电脑如何搭建虚拟化平台
随着云计算和虚拟化技术的飞速发展，越来越多的企业选择搭建自己的虚拟化平台，以便在多个操作系统和应用程序之间高效地分配资源。本文将探讨如何在多台电脑上搭建一个虚拟化平台，并通过示例解决一个实际问题。
## 什么是虚拟化平台？
虚拟化平台允许你在单一物理硬件上运行多个虚拟计算机，每个虚拟机（VM）可以拥有其独立的操作系统和应用程序。这种方式不仅提高了资源利用率，还
原创
2024-10-30 05:07:36
216阅读
搭建Hadoop集群需要多少台电脑
作为一名经验丰富的开发者，我很乐意向你介绍如何搭建Hadoop集群，并回答你的问题：搭建Hadoop集群需要几台电脑。
整体流程：
1. 下载并安装Java JDK
2. 下载并配置Hadoop
3. 配置Hadoop集群
4. 启动Hadoop集群
具体步骤如下：
| 步骤 | 操作 |
|---|---|
| 1 | 下载Java JDK |
| 2
原创
2024-01-07 06:24:58
79阅读
# Python多台电脑TCP通信的基本原理与实现
在现代计算机网络中，TCP（传输控制协议）是一种广泛使用的协议，负责在网络中实现可靠的数据传输。当多台电脑需要相互通信时，TCP是一种理想的选择。在这篇文章中，我们将介绍Python中如何实现多台电脑之间的TCP通信，并提供详细的代码示例。
## 什么是TCP？
TCP是一种面向连接的协议，确保数据的可靠传输。在TCP通信中，数据会被划分成
