以前的一些尝试：想过很多种外网访问树莓派的方案，比如说ngrok 反向代理什么的，但是免费的反向代理服务速度太慢太不稳定了，而且其本质就是将端口转发到另一台服务器上，然后我们访问处于公网的该服务器对应端口，与处在局域网的树莓派通信。如果是为了搭建服务器而去租另一台服务器，就有点本末倒置了，所以反向代理方案，pass！ 其实很多路由
转载
2023-11-28 22:12:27
146阅读
随着sdwan网络架构的形成到目前的广泛应用到各行业之中，足见sdwan方案已经逐步的走向成熟。sdwan软件定义网络可在包括公共Internet，MPLS和宽带在内的标准网络传输服务上运行，解决了很多跨区域之间网络传输数据的难题。那么，sdwan方案有哪些呢？下面列举几种常用的方案架构模式。 1. 专线接入：专线接入是传统的SD-WAN组网方案，该方案通过安装专线设备（如MPLS，VPLS，Et
转载
2024-03-25 20:45:31
141阅读
hadoop搭建的步骤1使用root账户登录2 修改IP3 修改host主机名4 配置SSH免密码登录5 关闭防火墙6 安装JDK6 解压hadoop安装包7 配置hadoop的核心文件 hadoop-env.sh，core-site.xml , mapred-site.xml ， hdfs-site.xml8 配置hadoop环境变量9 格式化 hadoop namenode-for
转载
2023-07-20 23:22:02
75阅读
一、前言 这几天想在自己服务器上写点东西，想安装个git，本人呢是个小白，服务器一窍不通，晕晕晕，在网上找了好多安装的方法，结果都不行，，，终于让我找到了一篇，终于让偶试成功了，要记下来，要记下来，要记下来，说三遍 现在越来越多的公司用git进行版本控制，不过git是默认是开源的，如果私有的话是需要付费的，如果不想付费自己可以搭建一
转载
2024-05-13 16:56:27
84阅读
一、Hadoop的简单介绍狭义上来说，hadoop就是单独指代hadoop这个软件，HDFS ：分布式文件系统MapReduce : 分布式计算系统Yarn：分布式样集群资源管理广义上来说，hadoop指代大数据的一个生态圈，包括很多其他的软件二、Hadoop重新编译由于appache给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库本地库可以用来做压缩，以及支持C程序等等
转载
2023-09-21 22:47:55
100阅读
关于大数据，一看就懂，一懂就懵。一、概述 本文介绍如何搭建hadoop分布式集群环境，前面文章已经介绍了如何搭建hadoop单机环境和伪分布式环境，如需要，请参看：大数据Hadoop学习之搭建hadoop平台（2.1）。hadoop独立环境和伪分布式环境都无法发挥hadoop的价值，若想利用hadoop进行一些有价值的工作，必须搭建hadoop分布式集群环境。 下文以三台虚拟机为基础搭建集群环
转载
2023-07-18 17:27:14
79阅读
文章目录一、机器准备二、安装JDK安装步骤shell脚本三、安装zookeeper安装过程修改配置文件配置zk开机自启动启动zookeepershell脚本四、配置免密登录基本步骤shell脚本五、配置Hadoop修改配置文件shell脚本 一、机器准备准备三台虚拟机master、slave1、slave2，内存4G，磁盘空间40G。 关闭防火墙，配置固定ip，使其相互ping通。配置关闭防火墙
转载
2023-06-14 21:15:41
745阅读
大数据研发（一）Hadoop平台搭建 搭建Hadoop平台：一般会有这样几个步骤下载安装包，解压安装包进行安装（平台参数文件配置）。当然，在安装Hadoop前需要安装可依赖的JDK。在篇我不会暗部就搬地讲安装过程，只会零星带过因为安装步骤实在是太多了，但是解析操作、安装背后东西的却很少。 在安装之前，我相对建议大家对集群的ip地
转载
2023-10-03 11:44:30
138阅读
CentOS 7安装及最近想自己搭一个hadoop环境，记录一下搭建过程，先从CentOS安装记录起。软件环境1、 Workstation 15 2、CentOS-7-x86_-DVD-2009.iso 下载：http://mirrors.aliyun/centos/7/isos/x86_/1、打开VM，点击创建新的虚拟机，并选择自定义，点击下一步2、直接点击下
转载
2023-11-03 12:41:50
8阅读
整体介绍：本次是安装hadoop的伪分布式环境，在虚拟机上搭建4台机器，master、slave1、slave2、slave3。master作为namenode，slavex作为datanode1、准备工具 virtualbox centos7 xshell5
转载
2023-09-01 11:07:11
94阅读
怎样搭建一个简单的ssh框架在日常开发中我们可能会需要搭建一个SSH框架支持的项目，但是每次都搭建的步骤都太复杂，需要注意的地方太多，可能导致各种各样的错误，我最近就搭建了一个空白的SSH框架项目，并将步骤记录下来，分享给各位看官，并将空白的项目分享到github上：`https://github.com/firmboy/crm.git 为自己以后搭建的时候留下资料，也为各位提供一个模板，共同学习
转载
2024-04-09 02:19:40
61阅读
UBLOX ZED-F9P搭建Ntrip Caster，组建RTK 目录UBLOX ZED-F9P搭建Ntrip Caster，组建RTK配置UBLOX ZED-F9P基站云端配置NtripCaster使用Ntripcasterv2.0版本安装在/opt/ntripcaster2 目录下建立定时清理logs服务，自己配置settings.conf配置ntripcaster启动ntripcaster
转载
2024-02-28 10:06:32
738阅读
1.JDK安装:1)建立目录/usr/java将jdk-6u43-linux-i586-rpm.bin拷贝到Centos下的/usr/java下。2)修改文件权限，执行chmod755jdk-6u43-linux-i586-rpm.bin3)开始安装，执行./jdk-6u43-linux-i586-rpm.bin4)设置环境变量，打开/etc/profile，在文件末尾，done与unseti之间
原创
2013-10-08 15:42:02
302阅读
http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html两台虚拟机server1 master 172.25.11.1server2 slave 172.25.11.2server1
原创
2022-11-21 11:59:09
66阅读
简介：Hadoop是一个由Apache基金会所开发的分布式系统基础架构，利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（large
原创
2020-07-06 14:57:31
8631阅读
点赞
hadoop的安装与配置一：配置Linux免密登录，安装hadoop前要先配置Java 环境变量，点我的主页有详细的配置步骤，这里就不做详细的讲解。 二：下载地址为：链接https://hadoop.apache.org/. 一： 注意：不推荐下载太高版本①：关闭防火墙–永久关闭 三台都要操作，关闭防火墙为了后续登录50070端口systemctl stop firewalld
systemctl
转载
2023-07-12 11:22:35
91阅读
文章目录前言一、配置无密钥登录1.生成密钥文件2.将公钥信息复制到授权文件3.添加权限4.测试二、安装Hadoop1.上传安装包2.解压3.重命名4.配置系统变量4.1 配置4.2 测试5.修改~/.bashrc6.配置Hadoop环境变量7.配置HDFS7.1 core-site.xml7.2 hdfs-site.xml7.3 workers8.配置YARN8.1 mapred-site.xm
转载
2023-08-30 15:40:54
70阅读
Hadoop 平台搭建完整步骤环境准备也可以用VMware.创建三台虚拟机 hd-master、hd-node1、hd-node2 三台虚拟机服务器中的主机名（hostname）分别更改为master、node1、node2。创建好虚拟机之后(1) 我们为了能够更加方便来识别主机，我们使用主机名而不是使用IP地址，以免多处配置带来更多的麻烦。把hd-master、hd-node1、hd-node2
转载
2023-08-11 15:57:43
63阅读
生而有涯而学无涯最近使用VMWare搭建了一个虚拟的Hadoop集群环境，搭建的过程中参考了很多网上大神的资料，在这里记录下本人实践的全过程，用于以后的查询参考使用，参考的资料会在文末贴出对应的链接。集群配置详情hostnameip addressos(Centos7mini)master192.168.224.100Centos7(mini)slave1192.168.224.201Centos
转载
2023-07-12 15:42:12
183阅读
一、准备工作 1、安装Linux、JDK、关闭防火墙、配置主机名 这部分上面已经介绍过来，这里就不在赘述。 2、安装Hadoop 解压：tar -zxvf
转载
2023-09-13 23:36:07
32阅读
