du -h --max-depth=1 du -hm --max-depth=2 | sort -n du -hm --max-depth=2 | sort -nr | head -12 以上都是当前目录，也可以指定目录 du / -h --max-depth=1 du / -hm --max-de
原创
2021-08-05 15:15:01
252阅读
1.ZooKeeper安装和启动 1.下载解压ZooKeeper
ZooKeeper官方地址：
http://zookeeper.apache.org/ 下载当前稳定版本：zookeeper-3.4.6.tar.gz 解压如下：
[lizhiwei@localhost ZooKeeper]$ tar -zxvf zookeeper-3.4.6...
题外话：关于ZooKeeper，Paxos算法、ZAP协议面试常问!高可用是站在客户端角度来看，CP或者AP是对集群来说的，角度不一样 高可用：leader挂了可以自动选举出来，不用人为去干预 个人见解：分布式其实和多线程在某些方面是一样的：多个机器协调工作，和多个线程协同工作？只不过多线程数据通信在同一个内存里面（共享内存（Shared Memory）），分布式必须要有信道，即消息传递（Mess
转载
2024-06-10 08:44:06
32阅读
HDFS的概述与特性介绍Hadoop Distributed File System 是一个文件系统，用于存储文件，通过目录树来定位文件，其次，它是分布式的，有很多服务器联合起来实现其功能，集群中的服务器有各自的角色适合一次写入，多次读出的场景，且不支持文件的修改，适合用来做数据分析，并不适合来做网盘应用优点：高容错性、适合处理大数据、可构建在廉价机器上，通过多副本机制，提高可靠性。缺点：不适合低
转载
2023-08-01 21:40:19
324阅读
最近一直在对CentOS系统进行学习，为方便自己也方便他人，整理了Linux常用命令及快捷键。常用Linux命令:文件和目录:# cd /home 进入 '/home' 目录# cd .. &
转载
2024-07-04 20:04:22
112阅读
linux 删除大目录方法
原创
2018-04-03 11:09:18
5753阅读
持续更新中ing！！！
原创
2023-11-14 17:41:49
0阅读
六、管理用例—Collections在POST基础功能那里有一张图片大致说了一下Collections 的作用， 这里我们再详细说明一下Collections集合：也就是将多个接口请求可以放在一起，并管理起来。什么样的接口请求可以放在同一个collection里？在这里告诉大家可以这样：一个工程一个Collection，这样方便查找及统一处理数据。第一步, 创建Collections 点击上图中的
本篇文章主要是对hadoop的hdfs进行调优，包括NameNode的多目录配置优化，DataNode的多目录配置优化，集群磁盘之间的数据均衡优化，后续还会更新 。不足之处，欢迎斧正！ 目录NameNode多目录配置配置规划具体配置内容如下：查看配置结果DataNode多目录配置配置规划具体配置内容如下：查看结果向集群传数据集群-磁盘之间的数据均衡规划 NameNode多目录配置NameNode的
转载
2023-09-20 10:31:34
178阅读
文章目录一、概述二、Hadoop DataNode多目录磁盘配置1）配置hdfs-site.xml2）配置详解1、 dfs.datanode.data.dir2、dfs.datanode.fsdataset.volume.choosing.policy3、dfs.datanode.available-space-volume-choosing-policy.balanced-space-pref
转载
2023-07-21 14:43:26
174阅读
当硬盘空间不够时，我们就很关心哪些目录或文件比较大，看看能否干掉一些了，怎么才能知道呢？#已易读的格式显示指定目录或文件的大小，-s选项指定对于目录不详细显示每个子目录或文件的大小du -sh [dirname|filename]如：当前目录的大小：du -sh .当前目录下个文件或目录的大小：du -sh *显示前10个占用空间最大的文件或目录：du -sh * | sort -nr | hea
原创
2013-09-18 11:46:27
391阅读
目录前言一、rsync远程同步概述1、rsync远程同步概念2、rsync功能及特点3、rsync的备份方式 4、rsync的上下行同步方式4.1 下行同步4.2 上行同步5、rsync+inotify6、rsync同类服务7、rsync与cp、scp对比二、rsync命令1、rsync格式语法2、rsync配置同步源的方法三、搭建rsync下行同步1、环境部署2、配置rsyncd源服务
由于目录下全是琐碎的小文件而且目录结构具深，使用rm -rf /backup ,速度是每秒钟40-60M,我去，10T的数据得删多长时间啊！网上找资料，可以通过rsync来实现，mkdir /tmp/nullrsync --delete-before -a -H -v --progress --stats /tmp/null/&
原创
2014-12-11 16:07:21
1222阅读
点赞
1、介绍 Git作为一个分布式的版本控制工具，在每天高频次的使用中难免遇到一些问题 本文围绕git的目录过大，从git进行版本控制底层存储出发，简要分析Git目录过大的原因，以及如何处理 2、Git存储原理 2.1 目录结构 使用版本控制的人都会知道，不管是svn还是更为流行的git，整个工程目录下
原创
2021-07-02 16:11:49
366阅读
llama 3大模型的目录已经引起了越来越多开发者的关注，似乎大家对如何高效地使用这个模型非常感兴趣。为了避免每个人在摸索的过程中走弯路，我决定把解决“llama 3大模型的目录”问题的过程记录下来，希望在这个过程中能够为大家提供一些帮助。
## 版本对比与兼容性分析
在进入具体的迁移方案之前，我们先来对不同版本之间进行对比。这是理解兼容性问题的第一步。以下的四象限图能够帮助我们快速评估每个版
容器中管理数据主要有两种方式1、数据卷2、数据卷容器一、数据卷1、基于training/webapp镜像创建一个容器，并在容器内创建一个数据卷使用training/webapp镜像创建一个web容器，并创建一个数据卷挂载到容器的/webapp目录root@docker-test:~# root@docker-test:/# docker run -idt -P --name web -v /tan
转载
2024-05-29 20:47:30
39阅读
Hadoop文件系统(HDFS)HDFS的概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色重要特性如下：HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64MHD
转载
2024-02-04 22:07:26
305阅读
HDFS详解1.HDFS 介绍HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储，他们是横跨在多台机器上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，他们为存储和处理超大规模数据提供所需的扩展能力1.1 HDFS 特
转载
2024-03-06 14:01:46
20阅读
在工作中发现配置完DFS后，一段时间后发现D盘空间不足。开始查找那个文件夹会那么大，最后找到罪魁祸首D:\Inetpub\wwwroot\newshop.ourgame.com\DfsrPrivate这个文件不停在增长查询微软问题，给出指导https://support.microsoft.com/zh-cn/kb/951010ConflictAndDeleted文件夹大小可能会超过其配置的限制
原创
2015-08-05 11:21:30
10000+阅读
点赞
当磁盘满了的时候，想知道哪个目录下的数据最大
可以使用这个命令
du --max-depth=2 /
这样可以从/根目录开始找，找两级目录，总计出目录的大小
这样就可以找到了
du --max-depth=2 / |sort -n
然后再去具体的目录执行相同的命令
在目录里可以按照文件大小排序
按大小倒序排列
ll -Srh
-S 大写S是按大小排序
转载
2021-08-08 17:14:20
730阅读
