Hadoop Multi Node ClusterHadoop Multi Node Cluster规划如下图，由多台电脑組成:有一台主要的电脑master，在HDFS擔任NameNode角色，在MapReduce2(YARN)擔任ResourceManager角色有多台辅助的电脑data1、data2、data3，在HDFS擔任DataNode角色，在MapReduce2(YARN)擔任Node
转载
2024-06-19 10:13:01
103阅读
经过无数次的失败，终于将CDH安装到两台普通的笔记本电脑上，主要失败原因有以下几点：不熟悉安装过程，官方给出的安装方法有三种，所以都尝试了一遍，浪费了大量时间，所以有时候方法多不见得是一件好事。安装设备太差，有时会因为占用内存或者CPU占用过高而死机。安装网络环境太差，导致传输过程可能出现超时失败现象。安装时间过久，导致出错后重新再来时间付出太多。以下讲的方法不是最优的方法，但是是我们最后的方法，
转载
2023-08-10 17:05:42
321阅读
[简介] 过去，做一个并行计算的试验要费九牛二虎之力，今天，有了.NET Remoting，我们只需要完成非常少的编程工作，便可以跨多台计算机轻松进行分布计算。在本文中，Eric Bergman-Terrell创建了一个名为Digits of Pi的应用程序，它使用并行的多台计算机以不可思议的精度计算π值。他设法在12小时内完成了10,000位数的计算，却只使用了相当少的计算资源。这比用一台计算机
转载
2023-08-08 11:03:14
1246阅读
每次换电脑的时候都要把hadoop的环境重新的搭建一遍，每次配置的时间不是很长，但是准备的时间浪费很多，都是一些常用的工具软件还有对应的插件，镜像什么的。所以这次在博客上总结一下。算是一种复习，也算是为刚接触hadoop的同学一个方便的思路。下面我将分为几部分来描述搭建hadoop2.x的所有的流程。这部分是环境的准备工作。（面向的是windows的用户，采用虚拟机的方式来搭建hadoop的环境，
现在数据传输手段很多，最普遍的有U盘，局域网，互联网等，人们已经习惯了这种基于互联网、wifi的生活方式，记得很多年以前互联网还没这么发达时，几个同寝室的小伙伴想传输文件和联网打游戏是多么奢侈的一件事情，不过办法总是有的，有些方法我们都干过，比如用双绞线直连等。于是我又把两台电脑直连的方法搜集了一下，列举3种常用的直连方法，以应对一些特殊的场合传输文件。1、网线直连网络工程师用得比较多准备材料：电
转载
2024-06-02 11:41:15
116阅读
快速搭建一个hadoop集群一、准备虚拟机二、配置ssh免密登录三、编写文件同步脚本四、安装jdk和hadoop五、hadoop集群配置六、启动集群 快速搭建一个hadoop集群 本文不讲原理，只记录一下快速搭建hadoop集群的过程。参考：https://www.bilibili.com/video/BV1Qp4y1n7EN系统：CentOS7.7hadoop版本：3.3.2jdk版本：1.
转载
2023-11-10 06:33:09
96阅读
因为在准备kaggle的缘故，想尝试下使用spark MLlib来进行机器学习，换了台新电脑，和旧电脑一起搭一个集群玩一玩。master节点使用的是win10的系统，但是集群运行在win10的ubuntu bash里面，证明用win10架设spark hadoop集群是可行的，但是还是建议使用完全的ubuntu环境，那样安装起来坑少一些。机器准备：两台笔记本，wifi系统准备：ubu
转载
2023-12-23 20:30:45
116阅读
考虑到不同路由器配置上或许有细微差别，我此处路由器是水星(牌子)路由器。首先需要2台路由器，一台已经能够上网，作为主路由器；另一台啥都没有配置，将来用作副路由器，与主路由器桥接。步骤：获取主路由器的wifi号和密码使用网线连接副路由器（LAN口）和电脑，在浏览器访问192.168.1.1访问路由器配置界面。此处可能需要密码，如果路由器上
没有粘贴密码(意味着没有默认密码)，表示密码是在路由器在第一
转载
2023-11-29 11:06:30
89阅读
最近在工作中有这么个问题，上班在办公室的电脑上撰写的文档，有可能回家需要继续撰写，或者在去到客户现场时需要某个文档做演示，而这个文档在公司的电脑上或者家里的电脑上，忘了带了…… 以上这些情况，可以总结为需要在多个工作环境共用统一的文档，一般可以通过以下几种方式解决： 一、只用笔记本办公，上班拎着去办公，下班拎着回家，外出的时候也拎着出差，这样只使用一台机器，就可以保证所有的文档都是统一的，也
一般学校都是公网ip，不自己搭个服务器真是浪费了资源...下面讲一下如何在Windows 下配置可以多用户登陆的远程桌面来共享自己的电脑资源首先需要一个一个专业版的win7 或win 10，如果当服务器还是家庭版的话就有点说不过去了... 而且专业版的windows序列号一搜一大把，趁早升了吧。第二就是打开电脑上的3389端口，打开控制面板-系统设置-远程桌面，启用远程桌面，然后对用户账户设置一下
转载
2023-12-05 15:08:44
27阅读
我家用共有3台电脑共用Wifi无线上网,都是PC， 一台是windows 11, 另2台是Windows 10系统， 每次交换数据都是用U 盘，或者移动硬盘拷贝来拷贝去， 非常不方便。 希望3台电脑组成一个简单的无线网络， 不对外， 只是内部连接， 大家都有一个”共用盘“， 可以互相访问， 这样就不用把数据拷贝来拷贝去来.开始查百度， 看到的都是搭建家庭NAS (Network Attached
转载
2023-11-20 08:28:03
558阅读
# Python多台电脑TCP通信的基本原理与实现
在现代计算机网络中，TCP（传输控制协议）是一种广泛使用的协议，负责在网络中实现可靠的数据传输。当多台电脑需要相互通信时，TCP是一种理想的选择。在这篇文章中，我们将介绍Python中如何实现多台电脑之间的TCP通信，并提供详细的代码示例。
## 什么是TCP？
TCP是一种面向连接的协议，确保数据的可靠传输。在TCP通信中，数据会被划分成
# 如何实现Java多台电脑服务
## 一、整体流程
首先，让我们来看一下实现Java多台电脑服务的整体流程，我们可以通过以下表格展示步骤：
| 步骤 | 操作 |
| ---- | ------------------- |
| 1 | 创建ServerSocket对象 |
| 2 | 监听指定端口 |
| 3 | 接受客户端
原创
2024-04-01 03:41:34
55阅读
# Python Socket 多台电脑通信
在计算机网络中，Socket是一种网络通信的机制，它用于实现不同计算机之间的数据传输。Python提供了socket模块，可以轻松地实现网络编程。在本文中，我们将学习如何使用Python的socket模块在多台电脑之间实现通信。
## Socket 简介
Socket是一种在计算机网络中进行通信的一种机制，它提供了一种用于不同计算机之间数据传输的
原创
2023-08-17 03:33:58
292阅读
本文介绍多台Windows电脑之间不用软件、不用数据线的文件共享、数据传输方法。 如果需要共享、传输多台电脑之间的数据，我们借助数据线、硬盘等设备，或OneDrive、微信等软件，都可以轻松实现；而如果我们手头没有这些设备与软件，却又想尽快实现不同电脑之间的数据共享，则可以通过Windows自带的文件共享功能来实现。需要注意的是，这一方法需要保证多台计算机同时处于同一网络下（比如连着同一个W
转载
2024-06-02 11:55:13
108阅读
如何实现多台电脑连接一台投影仪并快速切换多台电脑连接一台投影仪并快速切换这个需求其实在很早以前就被解决了，AWIND奇机无线投屏器可以让整个切换过程在3-5秒内完成。也就是投影机信号像电视机更换电视节目一样，一闪而过。传统的投影机通过VGA线或HDMI线连接电脑，当多台电脑需要连接信号的时候，我们不得不拉拉扯扯，然后造成时间的上的浪费和会议气氛的中断。而即使是使用一般的无线投屏器，在设备更换的时候
转载
2024-04-19 10:22:50
72阅读
第一招：清除系统垃圾 轻松流畅上网你是否注意到你的电脑系统磁盘的可用空间正在一天天在减少呢?是不是像老去的猴王一样动作一天比一天迟缓呢? 没错!在Windows在安装和使用过程中都会产生相当多的垃圾文件，包括临时文件(如:*.tmp、*._mp)日志文件(*.log)、临时帮助文件(*.gid)、磁盘检查文件(*.chk)、临时备份文件(如:*.old、*.bak)以及其他临时文件。特别 是如
# iOS开发证书在多台电脑上的实现
在进行iOS开发时，证书管理是一项非常重要的工作。许多开发者常常需要在多台电脑上进行开发，而确保证书和相关配置的统一显得尤为重要。本文将介绍iOS开发证书在多台电脑上的实现流程，并提供详细的步骤和代码示例。
## 流程概述
下面是实现“iOS开发证书多台电脑”管理的步骤：
| 步骤 | 说明 |
|------|------|
| 第一步 | 在Key
常玩软件的小伙伴，肯定都知道虚拟机，自然也听说过业界最富名气的Vmware。不过那家伙太庞大了，庞大到一般的电脑跑起来都费劲。其实随着自媒体流行，很多小伙伴也都有了使用虚拟机的需求，比方说录制教程、测试某个吃不太准的软件等等。在我们的Win10内部，其实也内置有一台虚拟机，不仅免费对于电脑硬件的要求也比VMWare低很多！1. 准备一个Windows镜像想要试用虚拟机，首先一步就是要准备好一个Wi
转载
2024-09-04 05:59:49
61阅读
关于文件共享，总结了几种实现方式，大家可以根据自己的需求选择合适的共享方式一、在同一个局域网内（无论是连接的WiFi还是网线），工作的需要，需要共享一些文件：1、找到需要共享的文件夹（或者文件）位置，如下图，比如需要共享“我的电脑的C盘”2、在对应的文件夹，也就是桌面文件夹，右键鼠标，点击属性 3、进入属性面板后，选择共享，然后点击高级共享 4、进入高级共享后，勾选“共享此文件
转载
2023-11-10 08:49:38
85阅读
