当一个数据集在一个物理机上增长得容不下的时候，就需要把它分区存放到多个独立的机器上，这就要通过网络来管理分布在这些机器上的数据，像这样通过网络来管理数据的文件系统称之为分布式文件系统（distributed filesystems）。Hadoop中的分布式文件系统为HDFS，其设计用来存储较大的文件、通过流的方式访问数据，在普通的商业硬件集群上运行。存储文件较大：通常上百GB，或者上百T
转载
2024-06-12 04:58:20
29阅读
用github托管代码操作流程和经常用到的git命令（一） 在github 远程新建仓库，并克隆到本地首先你要在github上申请一个账号网址：https://github.com/然后你要下载一个git工具网址：https://gitforwindows.org/进入官网直接下载就行，下载完成后进入github首页，点击新项目new repository，如下图所示：然后进入如下页面，主要填写红
转载
2024-08-03 09:16:44
34阅读
# DockerHub仓库 - 一个容器镜像云存储平台
DockerHub是一个容器镜像云存储平台，它允许用户共享和管理Docker镜像。在这篇文章中，我们将介绍DockerHub的基本概念和功能，并提供一些使用DockerHub的代码示例。
## 什么是DockerHub？
DockerHub是Docker官方提供的一个云存储平台，用于存储和分享Docker镜像。它允许用户上传自己的镜像，
原创
2024-01-13 11:34:59
108阅读
序言github是全英文的网站，初次使用在没有翻译成中文的情况下很容易做出很多无意义或误操作。当对本地的文件进行修改后，有时候只是想更新到fork下来的自己的仓库里，看看改得效果如何 。有时候是想提交合并请求但因为操作得不熟悉经常不知道自己是更新到了哪里去。在经过磕磕碰碰后进行一点自己的总结，希望对同样初次使用满是困惑的用户能有一点帮助# 为什么使用github作为团队协作工具github具有极大
转载
2024-09-08 23:50:08
25阅读
26 集群使用初步 HDFS的设计思路l 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l 在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 l 重点概念：文件切块，副本存放，元数据
转载
2024-04-17 08:50:45
242阅读
所涉及到的相关简写如下：NN: NameNode、命名节点DN: DataNode、数据节点RM: ResourceManagerNM: NodeManagerSNN: Secondary NameNode、第二名称节点QJM: Quorum Journal Manager、群体日志管理器FC: Failover Controller、故障转移控制器ZKFC: Zookeeper Failover
转载
2024-04-29 12:31:20
57阅读
作者：菜鸟-传奇文件系统的基本概述文件系统定义：文件系统是一种存储和组织计算机数据的方法，它使得对其访问和查找变得容易。文件名：在文件系统中，文件名是用于定位存储位置。元数据（Metadata）：保存文件属性的数据，如文件名，文件长度，文件所属用户组，文件存储位置等。数据块（Block）：存储文件的最小单元。对存储介质划分了固定的区域，使用时按这些区域分配使用。HDFS的概述HDFS(Hadoop
转载
2024-04-22 21:35:35
35阅读
目录一、yum的定义1、yum的简介2、yum的配置文件3、yum仓库设置文件4、yum的日志文件二、搭建本地仓库1、http上搭建2、ftp上搭建一、yum的定义1、yum的简介yum（ Yellow dog Updater, Modified）是一个在 Fedora 和 RedHat 以及 SUSE 中的 Shell 前端软件包管理器。基于 RPM 包管理，能够从指定的服务器自动下载 RPM
什么是HDF5HDF5：Hierarchical Data Format Version 5，对于存储大规模、具有相同类型的数据，HDF5是一种非常不错的存储格式，文件后缀名为h5。这种格式的文件的存储和读取速度非常快，并且我们可以把HDF5文件看成是一个"目录"，它是分层次的，我们来看看如何操作。创建和读取HDF5文件import pandas as pd
import numpy as np
相信大家都听说过SVN的大名，至于它的用途以及如何安装不在本文范围内，这里主要讲解如何利用VisualSVN来更改配置库的名称，前提是你的SVN服务必须用VisualSVN搭建，网上几乎没有这方面的文章，就算有也是使用命令行方式，对配置管理员技能要求很高，对初级配置管理员和其他工作人员来说不易操作，非常容易弄坏配置库，结果就相当严重了。我讲的这个方法最大好处是能够保留历史记录，不需要将原目录结构下
我每天使用 Git ，但是很多命令记不住。一般来说，日常使用只要记住下图6个命令，就可以了。但是熟练使用，恐怕要记住60～100个命令。下面是我整理的常用 Git 命令清单。几个专用名词的译名如下。Workspace：工作区Index / Stage：暂存区Repository：仓库区（或本地仓库）Remote：远程仓库一、新建代码库# 在当前目录新建一个Git代码库
$ git init
#
# Docker查看仓库名
在使用Docker时，我们经常会涉及到与仓库进行交互的操作，如查看仓库中的镜像、推送本地镜像到仓库等。而要进行这些操作，我们首先需要知道仓库的名称。本文将介绍如何通过Docker命令来查看仓库名，并提供相应的代码示例。
## Docker仓库名的概念
在Docker中，仓库名是用来标识一个仓库的字符串，它由两部分组成：仓库地址和仓库名。仓库地址指的是存放镜像的远程
原创
2023-12-17 08:46:16
86阅读
常用git命令git status -------- 查看代码状态git add . -------- 把本地代码提交到暂存区(只提交修改的文件和新增的文件，不包含被删除的文件)git add -A -------- 把本地代码提交到暂存区(包含新增、修改和删除的文件----所有)git commit -m “提交备注信息” -------- 提交文件到本地仓库git push --------
转载
2024-10-20 20:27:47
25阅读
Git是广泛使用的分布式版本控制系统，它允许开发者在本地仓库上工作，并将更改上传到远程仓库。然而，有时候你可能需要修改远程仓库的地址，可能是因为仓库的URL发生了变化，或者你需要将代码推送到不同的远程仓库。在这篇博客中，我们将详细介绍如何在Git中修改远程仓库的地址。步骤1：确认当前远程仓库地址首先，你需要确认当前的远程仓库地址。你可以使用以下命令来查看：git remote -v这将显示远程仓库
## Docker修改仓库名的流程
本文将教会新手开发者如何使用Docker修改仓库名。通过以下步骤，你将学习如何实现这一操作。首先，我们来看一下整个流程的概述。
```mermaid
flowchart TD
Start --> PullImage
PullImage --> RenameContainer
RenameContainer --> CommitImag
原创
2023-08-28 05:38:39
317阅读
如何修改Docker仓库名
作为一名经验丰富的开发者，我将向你介绍如何修改Docker仓库名。下面，我将使用表格展示整个流程的步骤，然后详细说明每一步需要做什么，并提供相应的代码示例。
流程步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1 | 登录到Docker仓库 |
| 步骤2 | 创建一个新的仓库 |
| 步骤3 | 将原有仓库的镜像推送到新的仓库 |
| 步
原创
2024-01-14 03:59:27
216阅读
使用Git submodule步骤：一、先clone 一个父仓库：git clone "ssh://1632@ip:29418/test"cd testgit submodule add <submodule_url>例如：git submodule add ssh://username@ip/[path]/xxx.git根据中说明，不带username@可以多人使用，会根据系统配置获
了解如何在 Visual Studio Code 中使用 GitHub 集成，包括身份验证、发布存储库和查看存储库时间线。简介Visual Studio Code 是世界各地许多软件开发人员使用的一款轻量、免费的代码编辑器。 GitHub 是用于托管开发项目的版本控制平台。 Visual Studio Code 可提供集成的 GitHub 体验，使你可以更轻松地从代码编辑器内管理项目。假设你想开始
Hadoop教程(三)HDFS文件系统Shell命令 1 Hadoop- Shell命令HDFS是存取数据的分布式文件系统，那么对HDFS的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作，如ls、mkdir、rm等。 1.1 Shell命
转载
2024-03-04 11:28:15
1366阅读
HDFS文件结构1、NameNode的文件结构,NameNode会创建VERSION、edits、fsimage、fstime文件目录。其中dfs.name.dir属性是一个目录列表，是每个目录的镜像文件。VERSION文件是JAVA属性文件，其中包含运行HDFS的版本信息。包含内容: 其中,namespaceID是文件系统的唯一标识符，当文件系统第一次格式化时，便会被创建，这个标识符是必须跟各
转载
2024-04-03 08:57:29
50阅读
