Hadoop环境搭建（一）虚拟机快速创建和环境准备搭建所使用的环境和软件：创建虚拟机(VM)完成虚拟机创建配置后给VM安装操作系统如果时间不对，设置时区和时间同步将一台虚拟机ip修改为静态ip,和修改主机名字用Xshell连接关闭防火墙配置自己的用户具有root权限安装JDK安装hadoop 搭建所使用的环境和软件：VMware15CentOS 7 64位XshellXftphadoop-2.7
文章目录虚拟机下载链接虚拟机使用步骤安装新建虚拟机添加ios镜像文件更改内存大小 虚拟机下载链接首先下载VMware的workstation官网下载链接：https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html（需要注册账号下载）百度网盘：12版链接：https://pan.baidu.c
上一篇文章介绍了搭建Azure虚拟机最基础的准备工作——网络的搭建
现在我们就可以正式搭建azure 虚拟机了
打开azure 主页后选择左侧的虚拟机选项——然后选择创建虚拟机
选择合适订阅，资源组可以选择新建，也可以选择现有的（前提是之前新建过的）
虚拟机名称：顾名思义就是虚拟机的名字
区域：简单来说就是把虚拟机要放到哪个云机房
可用性选项：我这里是测试环境就选择无需基础架构冗余了，具
原创
2021-07-02 09:45:54
3063阅读
接下来就是最关键的步骤，安装hadoop搭建HDFS分布式文件系统，主要是配置伪分布式的操作下边是我操作过程Hadoop安装及HDFS伪分布式配置 1、解压hadoop（此处省略了上传hadoop jar包的过程，其操作在jdk配置上传jdk jar包方法相同）此处是2、配置hadoop.sh文件此处配置的目录仍为 hadoop/profile.d,与jdk，目录一致，如果目
转载
2023-07-12 13:25:42
125阅读
HDFS，它是一个虚拟文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS 的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。模块名称模块介绍Common其他组件的公共依赖模块HDFS分布式存储模块提供高吞吐量的数据访问Mapreduce分布式计算模块Yarn作业调度
Ceph和HDFS是当前流行的分布式存储系统，它们都具有高可靠性和可扩展性的特点。在虚拟机环境下使用Ceph和HDFS，可以更好地支持大规模数据存储和分析需求。
在虚拟机（VM）环境中部署Ceph和HDFS可以为企业提供更强大的数据存储和处理能力。Ceph是一个开源的分布式存储系统，可以实现高性能、高可靠性和高可扩展性的数据存储。而HDFS是Apache Hadoop项目中的一部分，专门用于存储
Hadoop集群搭建前安装准备参考：一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）一、Hadoop系统应用之安装准备（二）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7） Hadoop集群搭建过程参考：二、Hadoop系统应用之H
1.先确保你的虚拟机可以连通外网，ping www.baidu.com,ping不通就检查你的网络设置2. sudo apt install openssh-server3, sudo service ssh start4.ps -aux | grep ssh5. ssh-keygen 生成公钥和密钥 cd ~/root/.ssh 下面有id_rsa(这
转载
2023-07-09 13:37:13
85阅读
1.环境准备在A、B两台服务器上安装dm数据库软件安装位置: /home/dmdba/dmdbms 硬件：两台相同配置机器，2G 内存，80g本地磁盘，2 块网卡，另有一块共享磁盘 50G。操作系统：RedHat Linux-7.8 64 位。网 络 配 置 ： eth0 网 卡 为 10.0.2.x 内 网 网 段 ， 两 台 机 器 分 别 为10.0.2.101/10.0.2.10
问题：开启VMware，点击启动虚拟机的时候显示 VMware Workstation 无法连接到虚拟机。请确保您有权限运行该程序、访问改程序使用的所有目录以及访问所有临时文件目录。，如下图： 解决方法： 方法一： ①使用快捷方式 win+R，输入services.msc,进入到系统服务界面 ②找到Vmware Authorization Service，右键 --> 属性 --> 启
点击下载word文档，格式更清晰，可节约您的时间。一 规划1.1 IP规划RAC环境介绍：1.2 交换内存规划 交换内存至少需要3G。1检查交换空间大小：扩容swap示例(这里扩容2G)：dd if=/dev/zero of=/tmp/swap bs=1MB count=2048
mkswap /tmp/swap
swapon /tmp/swapfree -m #检查确认vi /etc/fstab
安装环境说明与虚拟机规化：安装环境主机操作系统：windows 10 虚拟机VMware15：两台CentOS-7.6Oracle Database software: Oracle11gR2 （11.2.0.1.0）Cluster software: Oracle grid infrastructure 11gR2（11.2.0.1.0） 共享存储：ASMoracle传送门 https://ww
前言之前安装ubuntu18.04的时候，手动进行了分区，根目录/给了15G，家目录/home给了50G左右，本来以为够用了，但是在后续安装petlinux的时候（一个移植linux的软件），需要装在/opt目录下，导致根目录空间不够用。因此要将虚拟机重新分区，经过查阅相关资料，最终利用ubuntu的镜像cdlive以及gparted分区工具成功实现。基本原理利用gparted工具对系统进行重新分
ESXI6.7开启SSH强制关闭虚拟主机方法 1、在ESXI6.7主机界面，点操作，服务，启用安全SHELL（SSH） 2、通过SSH连接到ESXI6.7主机IP。查看虚拟机有没有被关闭：esxcli vm process list (这条命令显示，如果没有在列表里面的则表示已经关闭了) 3、关闭具体虚拟主机world-idesxcli vm proces
转载
2023-07-18 11:49:39
94阅读
Docker最好在redhat或centos 7环境下运行，因为docker要求内核版本为3.10以上。这里假设已建好Centos7虚拟机，下面步骤从这个虚拟机的裸机开始一步步安装docker。安装Docker和执行docker的所有命令需要root权限，所以下面需要用root用户操作。 一、获得docker安装的rpmDocker安装一般通过官方源，可以自己在/etc/yum.repo
转载
2023-07-17 10:43:44
92阅读
有些时候我们在使用命令./start-dfs.sh
./start-yarn.sh之后，再使用jps命令，会发现缺少很多进程 对于这种情况，一般有下面几个原因，我在下面做了归纳一，未使用root账户对hadoop集群服务的操作需要权限，如果 没有使用root(或者hadoop账户)，请更换用户后再进行操作二，防火墙未关闭如果datenode已经启动，但是namenode上无法显示，有可能是因为防火
最近在学习Hadoop，于是想使用VMWare建立一个虚拟的集群环境。网上有很多参考资料，但参照其步骤进行设置时却还是遇到了不少问题，所以在这里详细写一下我的配置过程，以及其中遇到的问题及相应的解决方法。一来做个记录，二来也希望能帮到大家。目标我们要建立一个具有如下配置的集群： host name ip address os1&nb
今天我们要了解的是Hadoop生态中的HDFS，什么是HDFS呢？ 如果把Hadoop当作王者荣耀来分析的话，那么HDFS的功能呢。就好比我们的点券，只有你充钱了，麻花总部收到了，这时候HDFS的作用就发挥出来了，那面后台就会把你充的钱转化为点券上传上去，这样诸佬们的理解是不是会深刻了呢。 Hadoop生态之HDFS1.HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3HDFS
摘要：Java 虚拟机系列是博主在学习周志明先生的书籍所做的理解性笔记，方便自己复习，如果能够帮到他人十分荣幸。对象的创建：当虚拟机遇到一条new指令的时候，首先查看这个指令的参数是否能在常量池中定位到一个类的符号引用，并且检查这个符号引用是否被加载，解析和引用过。如果没有，那必须先执行相应的类加载过程。在类加载检查通过后，接下来虚拟机将为新生对象分配内存。对象所需内存大小在类加载完成后便可以确定
转载
2023-08-20 16:43:10
75阅读
1. 鼠标在虚拟与现实间穿行无阻常规方法：ctrl+alt 或者 settings- preferences- hot keys技巧：安装VMtools2.内存和硬盘设置修改在安装虚拟机时要设定内存及硬盘的大小。在运行时也可以随时修改。方法：VM-settings3.添加硬件设备缺省情况下，VMrare虚拟机只默认安装硬盘、软驱、光驱、网卡等标准设备，如果你想使用声卡、串口、并口、S
