1.虚拟机hadoop的环境是Linux，所以我们还需要安装Linux系统。hadoop，有单机安装，伪分布安装和分布安装。对单机模式大家可以不用去关心和学习，因为hadoop的单机模式就失去了它分布式的优势，也就没有意义了。在学习中建议搭建伪分布式，完全分布式是生产环境中使用，当大家把伪分布式学习后，必须对完全分布式有所了解，知道是如何工作的，也可以试着搭建hadoop的完成分布式。因为我们的习
转载
2023-07-12 14:02:14
331阅读
1、环境准备1.1 java环境准备由于hadoop需要运行在java环境下，所以，java环境是必须的，需要安装jdk，最好不要用linux上自带的openjdk，需要用oracle官网提供的jdk才行。下载jdk网址为： http://www.oracle.com/technetwork/java/javase/downloads/index.html安装方法请自行参阅官
转载
2023-11-29 20:04:39
41阅读
操作系统hadoop目前对linux操作系统支持是最好的，可以部署2000个节点的服务器集群；在hadoop2.2以后，开始支持windows操作系统，但是兼容性没有linux好。因此，建议在MAC OS或者linux(CentOS或者Unbuntu)操作系统上安装。安装javahadoop2.6以前的版本，需要jdk1.6以上的版本；从hadoop2.7开始，则需要jdk1.7以上的版本。我们可
转载
2023-07-14 14:25:10
122阅读
1 安装Vmware WorkStation软件 有些人会问，为何要安装这个软件，这是一个VM公司提供的虚拟机工作平台，后面需要在这个平台上安装linux操作系统。具体安装过程网上有很多资料，这里不作过多的说明。 2 在虚拟机上安装linux操作系统在前一步的基础之上安装linux操作系统，因为hadoop一般是运行在linux平台之上的，虽然现在也有windows版本，但是在linu
转载
2023-09-14 08:35:47
52阅读
前两周花了些时间在研究tcc分布式事务的一些相关基础上边，这周来写一篇关于seata的实践文章。 网上关于seata落地的demo其实也蛮多的，自己在结合案例和相关文章进行实际落地的过程中踩了不少坑，所以这篇文章主要记录关于落地案例中遇到的困难。技术选型SpringBoot + Dubbo + JdbcTemplate + MySQL + Seata + Nacos使用场景购买商品的时候，扣减库存
一、简介 Hadoop的安装由4种类型的节点构成: NameNode 、DataNode、JobTracker和 TaskTracker.Hadoop提供三种安装方式:本地模式:一种解压缩即运行的模式，Hadoop的各个部分都运行在同一个JVM中。伪分布式模式:使用不同的java虚拟机运行Hadoop的不同部分，但这些java虚拟机运行在同一台机
转载
2023-08-10 14:02:45
97阅读
前言 Hadoop是基于Java语言开发的，具有很好跨平台的特性。Hadoop的所要求系统环境适用于Windows，Linux，Mac系统，我们推荐选择使用Linux或Mac系统。而Linux系统则可以在Windows上使用虚拟机或双系统安装使用。如果选择Linux，我们需要首先安装好Linux系统，然后在Linux系统的基础上，安装Hadoop。 在这里我选用的虚拟机中
转载
2023-11-09 15:52:34
10阅读
本文中斜体加粗代表shell指令，操作环境 CentOS6.5linux root免密码登录链接：【Hadoop系列】linux下 root用户免密码登录远程主机 ssh。linux 非root用户免密码登录：XXXXXXX(暂未写好)Linux下，使用ssh协议登录远程计算机。让我们先来了解下什么是SSH。一、什么是SSH？简单说，SSH是一种网络协议，用于计算机之间的加密登录。如果一个用户从本
转载
2023-08-24 20:18:37
5阅读
摘要：hadoop,一个分布式系统基础架构,可以充分利用集群的威力进行高速运算和存储。本文主要介绍hadoop的安装与集群服务器的配置。准备文件： ▪ VMware11.0.0 ▪ CentOS-6.5-x86_64-bin-DVD1.iso ▪ j
1、准备 四台虚拟机 ①卸载openjdk ②安装jdk2. 配置静态ip: ip : 每个机器在internet上的唯一标识 子网掩码： 必须结合IP地址一起使用，将某个IP地址划分成网络地址和主机地址两部分。 网关 ： 网关既可以用于广域网互连，也可以用于局域网互连。 网关是一种充当转换重任的计算机系统或设备 DNS ： 它作为可以将域名和IP地址相互映射的一个分布式数据
转载
2024-09-06 23:15:03
16阅读
# Hadoop 必须要 SSH：理解 Hadoop 的分布式架构与 SSH 的重要性
Hadoop 是一个开源的分布式计算框架，主要用于大数据存储和处理。它的核心组件包括 Hadoop 分布式文件系统（HDFS）和 MapReduce。Hadoop 经过设计可以在廉价的硬件上运行，并且能够高效地处理海量数据。虽然 Hadoop 的功能强大，但它的运行依赖于一种基础的网络通信协议——SSH（Se
0 前提条件1）安装JDK 2）安装zookeeper 3）集群规划192.168.199.101(master-1)192.168.199.102(master-2)192.168.199.103(slave-1)NameNodeNameNodeJournalNodeJournalNodeJournalNodeDataNodeDataNodeDataNodeZKZKZKZKFCZKFCResou
转载
2024-01-17 09:19:54
420阅读
这篇文章包涵了 常出现的hdfs启动错误的解决办法。一、支持的平台支持GNU/Linux作为开发和生产平台。Windows也是一个支持的平台，下面步骤仅适用于Linux。二、所需软件所需的Linux软件包括：Java必须安装。如果要使用可选的启动和停止脚本，必须安装ssh，并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本。此外，建议安装pdsh以获得更好的ss
随着互联网、尤其是物联网的发展，我们需要把各种类型的终端实时监测、检查与分析设备所采集、产生的数据记录下来，在有时间的坐标中将这些数据连点成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性;往未来看可以做大数据分析，机器学习，实现预测和预警。 这些数据的典型特点是：产生频率快（每一个监测点一秒钟内可产生多条数据）、严重依赖于采集时间（每一条数据均要求对应唯一
转载
2024-01-03 14:22:56
57阅读
# Spark必须要在Hadoop集群上吗？
Apache Spark 是一个强大的开源处理引擎，能够快速处理大数据。许多用户常常会问：“Spark必须要在Hadoop集群上吗？”本文将深入探讨这个问题，并给出一些示例代码来帮助大家理解。
## Spark和Hadoop的关系
首先，Spark 并不一定要在 Hadoop 集群上运行。Spark 可以使用多种集群管理器，包括：
- Hado
首先需要选择一个合适的操作系统。尽管Hadoop本身可以运行在Linux、Windows以及其他一些类 UNIX 系统 （如FreeBS、OpenBSD、Solaris 等）之上，但是 Hadoop 官方真正支持的作业平台只有 Linux。这就导致其他平台在运行 Hadoop 时，往往需要安装很多其他的宝来提供一些 Linux 操作系统的功能，以配合Hadoop的执行。例如，Windos 在运行
转载
2023-09-27 09:44:15
72阅读
这节就开始讲述Hadoop的安装吧。在这之前先配置下SSH免密码登录，为什么需要配置这个呢？大家都知道Hadoop集群中可能有几十台机器甚至是上千台机器，而每次启动Hadoop都需要输入密码才能够登录到每台机器的DataNode上的，所以为了避免后期繁琐的操作，一般都会配置SSH免密码登录。 注:笔者使用的远程连接工具是XShell,很好用的一款远程连接工具，推荐大家使用，还可以安装一下xf
转载
2023-10-27 16:26:40
94阅读
# Hadoop必须要Zookeeper吗？
Hadoop是一个广泛应用于大数据存储与处理的框架，其核心组件包括HDFS（Hadoop分布式文件系统）和MapReduce（数据处理模型）。为了保证这些组件的高可用性和协调性，Zookeeper成为了Hadoop集群管理的重要角色。但是，Hadoop并不是绝对依赖Zookeeper的，下面我们将具体分析。
## Zookeeper的作用
Zoo
Postgres数据库总设计师：NewSQL体系比Hadoop更具效率 现今，完全放弃传统关系数据库并忙于使用新兴的NoSQL数据库可能还不是一个合理的选择。相反改进后的SQL（结构化查询语言）系统可能会对一些技术细节进行调整。在8月23日加利福尼亚圣何塞市举行的NoSQL 2011大会上分布式数据库公司VoltDB的首席技术官Michael Stonebraker表达了上述的观点。Stone
# Windows部署Docker必须要安装Linux子系统吗？
Docker是一个开源的容器化平台，使开发者能够在容器中构建和分发应用程序。它提供了一种轻量级、可移植和可扩展的方式来封装应用程序，使其能够在任何操作系统上运行。
在Windows系统上部署Docker时，我们经常会遇到一个问题：是否需要安装Linux子系统？本文将深入探讨这个问题，并提供相关的代码示例。
## 什么是Linu
原创
2023-12-29 10:21:15
980阅读
