背景: 编写了一个MapReduce程序，发现该程序内存占用非常多，需要有一种方法来分析内存详细的占用情况。可以使用linux上的pmap –d 来看进程逻辑地址空间使用情况，但是会有很多anno区域，显然这不能够满足同学们的好奇心。在这篇文章Eclipse远程调试HDP源代码中，提到使用JMX的方法对HDP进行远程调试。JMX(Java Management Extensions，即
转载
2023-07-24 10:22:39
43阅读
系统部署参考Docker 下载：https://docs.docker.com/desktop/windows/install/Docker 安装：https://www.runoob.com/docker/windows-docker-install.html部署 Centos7Docker 国内源参考源中科大网易源阿里镜像（建议）进入管理控制台 --> 产品与服务 --> 弹性计算
转载
2023-10-19 18:38:42
188阅读
在使用Docker的过程中，我们除了从Docker Hub上下载已经做好的镜像，很多时候需要我们自己制作镜像。下面想在这e5a48de588b662616964757a686964616f31333361306333个文章中说明一下镜像的制作方法。制作镜像的方式主要有两种：通过docker commit 制作镜像通过docker build 制作镜像这两种方式都是通过改进已有的镜像来达到自己的目的
转载
2024-03-20 17:11:55
84阅读
HDFS的常用命令1、HDFS基础命令lshdfs dfs -ls /
hdfs dfs -ls /storage |head -10 #显示前10条
hdfs dfs -ls /storage |sort -k6,7 |head -10 #以第六列和第七列进行排序ls -Rhdfs dfs -ls -R /
hdfs dfs -ls -R -h /mkdirhdfs dfs -mkdir -p
转载
2023-09-06 11:02:26
135阅读
# 实现Hadoop镜像教程
## 介绍
Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。在使用Hadoop前，我们需要先准备一个Hadoop镜像，以便在不同的环境中部署和运行Hadoop。本文将介绍如何实现Hadoop镜像，并提供详细的步骤和相应的代码示例。
## 整体流程
下表列出了实现Hadoop镜像的整体流程：
| 步骤 | 描述 |
| --- | --- |
原创
2023-09-04 05:12:18
203阅读
1.准备虚拟机，安装linux系统我安装的是centos7 , 在阿里镜像下载的，地址 http: //mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso历史版本目录地址 http: //mirrors.aliyun.com/centos/【//前去掉空格】vm 使用 16pro
转载
2023-10-17 09:33:08
128阅读
背景: 编写了一个MapReduce程序，发现该程序内存占用非常多，需要有一种方法来分析内存详细的占用情况。 可以使用linux上的pmap –d <PID>来看进程逻辑地址空间使用情况，但是会有很多anno区域，显然这不能够满足同学们的好奇心。 在这篇文章Eclipse远程调
转载
2023-06-30 15:04:40
107阅读
所有资料基本来自官网。1.hadoop目前最新开源版本3.1.2，学习资料也很多。希望自己可以整理出相对全完整的一份资料吧，方便今后学习查阅。2.镜像地址http://mirror.bit.edu.cn/apache/hadoop/common/3.下载hadoop-3.1.2.tar.gz 编译好的。4.三台虚拟机机安装，修改主机名 分别为master,slave1,slave2;三
转载
2024-08-26 11:10:30
103阅读
镜像是Docker项目最大的创新点之一，所有的Docker容器都源于镜像。不可否认镜像存储是Docker工作流中的重要一环，Docker Registry是官方提供的开源项目用以保存镜像，同时它也提供了后端存储系统来解决镜像的落地问题，比如Local Filesystem、S3、Swift。Speedy是由京东开源的一个分布式镜像后端存储系统，在架构设计上更好的解决了扩展性和可用性的问题。就Spe
转载
2024-06-08 23:06:31
149阅读
保存镜像 Docker 是现代开发中相当重要的一步，尤其在微服务和容器化的环境中。本文将详细说明从环境配置到安全加固的整个过程，帮助大家解决在保存 Docker 镜像时可能遇到的问题。通过一系列图表和代码示例，我们将确保您能全面理解如何高效地完成这个任务。
## 环境配置
在开始前，您需要配置好开发环境。以下是您所需的关键工具和配置步骤：
1. 确保安装 Docker
2. 安装 Git
3
Ghost硬盘克隆之经典讲解 <?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />
单机篇
Ghost
就是克隆硬盘的程序，该程序在
DOS
下、
Windows9.X
下都可执行，所以要进行硬盘的克隆，请先
Winhex基础教程一，winhex下载与安装1. 下载winhex官方下载地址http://www.x-ways.net/winhex/index-m.html 2. 安装1).下载完成后出现winhex.zip文件，解压文件，放置到合适位置。如图为winhex.zip内的内容。 2).解压完成之后，我们有两种方式安装winhex。 （1）以管理员方式打开winhex.exe文件即可打开，若需要
让 Docker 引以为傲的是它能够实现相比于其他虚拟化软件更快的环境迁移和部署，在这件事情上，轻量级的容器和镜像结构的设计无疑发挥了巨大的作用。通过将容器打包成镜像，再利用体积远小于其他虚拟化软件的 Docker 镜像，我们可以更快的将它们复制到其他的机器上。在这一节中，我们就专门来谈谈如何进行这样的迁移。提交容器更改之前我们已经介绍过了，Docker 镜像的本质是多个基于 UnionFS 的镜
转载
2023-11-07 12:57:16
134阅读
Docker是基于镜像的。镜像类似于已经包含了文件、配置和安装好的程序的虚拟机镜像。同样的，可以像启动虚拟机一样启动多个镜像实例。运行中的镜像称为容器。你可以修改容器（比如删除一个文件），但这些修改不会影响到镜像。镜像保存(save)Save命令用于持久化镜像（不是容器）。所以，可以通过以下方法得到镜像名称：# 从容器导出镜像
docker commit <container-id>
转载
2023-06-13 13:34:56
2896阅读
今天给大家介绍的是Linux系统中的程序安装和创建私有YUM仓库文章总览1、Linux应用和层序基础2、RPM软件包相关命令与实际操作3、RPM安装、卸载、升级4、源代码编译安装5、创建私有yum仓库·1、Linux应用和层序基础(1)、应用程序与系统命令的关系文件位置系统命令：一般在/bin和/sbin目录中。或为shell内部指示应用程序：通常在/usr/local目录中·主要用途系统命令：完
文章目录docker常用指令docker镜像保存 docker常用指令列出所有容器IDdocker ps -aq查看所有运行或者不运行容器docker ps -a停止所有的container（容器），这样才能够删除其中的images：docker stop (docker ps -a -q) 或者 docker stop (docker ps -aq)如果想要删除所有container（容器）的话
转载
2023-08-18 12:34:31
161阅读
镜像是运行容器的模板，官方Docker Hub 仓库已经提供了许多镜像共开发者使用。如果我们需要获取某个镜像则可以去docker仓库下载所需的镜像。下载镜像的格式：docker pull [仓库的URL]/[名称空间]/[仓库的名称]:[版本号]下载镜像实例: 下载的时候，我们可以看到有若干层组成，像afb6ec6fdc1c这样的字符串是层的唯一ID（实际上，完整的ID包
转载
2023-08-20 18:58:13
412阅读
一、环境说明1、虚拟机平台：VMware102、Linux版本：ubuntu-12.04.3-desktop-i3863、JDK：jdk1.7.0_514、Hadoop版本：2.2.05、集群节点：3个，分别是hadoopMaster，hadoopSlave1，hadoopSlave2 注明：文中fyzwjd是虚拟机用户名。二
转载
2023-11-24 17:18:16
34阅读
Hadoop集群的HA1、简介HA模式解决单点故障问题，2、规划NN-1NN-2DNZKZKFCJNNNode1***Node2*****Node3***Node4**ZK: zookeeperZKFC: failover controller【故障转移进程】2.1、秘钥给配置ZKFC两个节点做免秘钥登录。【这里我就不做过多的介绍了】2.2、架构在典型的HA群集中，将两个单独的计算机配置为N
转载
2023-07-13 11:23:59
70阅读
前言
Docker 容器和镜像操作，记录下来！
容器创建一个新的容器(ubuntu)并启动$ docker run -dit --name ubuntu ubuntu 在容器内执行命令(容器在后台启动)，用 docker exec 命令$ docker exec -it ubuntu bash
注意：使用
exit
转载
2023-08-18 17:32:49
138阅读
