一、HDFS的来源简介（自己的理解）理解：因为数据量越来越大，单台服务器已经承受不了那么大的数据量，所以很自然就会想到使用多台机器共同来存放数据，但是这样就会存在多台机器中数据的管理问题，因此分布式的文件系统HDFS就诞生了，HDFS文件系统相当于一个管理者，让多台存储数据的机器在用户面前像是透明的一样，就像在操作一台存储数据的服务器一样，这里再往深入的考虑的话，就是相当于把多台存储着
转载
2024-03-29 13:27:58
43阅读
HDFS 体系架构
1,HDFS 是一个主/从（Master/Slave）体系架构，由于分布式存储的性质，集群拥有两类节点 NameNode 和 DataNode。两者是通过rpc通信的
2,NameNode（名字节点）：系统中通常只有一个，中心服务器的角色，管理存储和检索多个 DataNode 的实际数据所需的所有元数据。
3,DataNode（数据节点）：系统中通常有多
转载
2024-05-11 19:22:53
27阅读
1 、编写脚本/root/bin/systeminfo.sh, 显示当前主机系统信息，包括主机名，IPv4 地址，操作系统版本，内核版本，CPU 型号，内存大小，硬盘大小。运行后结果是：2 、编写脚本/root/bin/backup.sh ，可实现每日将/etc/ 目录备份到/root/etcYYYY-mm-dd中运行结果是：3 、编写脚本/root/bin/disk.sh, 显示当前硬盘分区中空
原创
2016-08-12 19:46:29
828阅读
需求1：从一个目录中取出最近访问的5个文件，并且要求输出文件名和最后的访问时间。[root@lianxi1 ~]# ls -lut |grep "^-" |head -n5 |awk '{print $6,$7,$8,$NF}'需求2：查看当前系统中的各种shell程序，统计他们有多少个用户使用。[
原创
2016-11-08 15:36:42
603阅读
[root@localhost ~]# for i in `seq 1 5`;do echo 192.168.1.$i /var/$i /var/$i;done > ip_list.txt[root@localhost ~]# cat ip_list.txt |awk '{print $1}'192.168.1.1192.168.1.2192.168.1.3192.168.1.4192.16
原创
2017-08-23 15:12:58
571阅读
shell 应用
转载
2020-05-18 21:55:10
505阅读
点赞
1、查询当前目录下大于1M的文件ll -hfind ./ -maxdepth 1 -type f -size +1M#####################################################!/bin/bashcd /shellfor i in `find ./ -maxdepth 1 -type f -size +1M`do
原创
2018-06-04 17:00:28
744阅读
1.[install lamp] 2.[install lnmp] 3.[exit] pls input the num you want:要求：1、当用户输入1时，输出“startinstalling lamp.”然后执行/server/scripts/lamp.sh，脚本内容输出"lam
原创
2015-05-27 11:34:38
404阅读
1、编写脚本/root/bin/systeminfo.sh,显示当前主机系统信 息，包括主机名，IPv4地址，操作系统版本，内核版本， CPU型号，内存大小，硬盘大小。 [root@zab ~]# mkdir bin &n
原创
2017-11-26 20:03:48
536阅读
计算1-100的和[root@www ~]# cat 100.sh#!/bin/bashsum=0for a in `seq 1 100`; do sum=$[$sum+$a]done echo $sum[root@www ~]# sh 100.sh5050上面是直接显示总和下面列出计算结果[root@www ~]# cat 100.sh#!/bin/bashsum=0for a in `seq
原创
2014-11-10 09:04:28
693阅读
点赞
符号作用=赋值符号“”弱引用其内部的变量引用会被替换为变量值‘’强引用其变量的变量引用会保持原有字符.字符匹配，这是作为正则表达式的一部分，用来匹配任何单个字符。，逗号链接一系列的算术操作，虽然里面的内容全部运行，但只有最后一项被返回\转义字符,如\X 等价于"X"或'X':空命令,等价于"NOP"(no op,一个什么也不干的命令).也可以被
原创
2015-12-08 23:47:05
715阅读
1 显示磁盘空间调用命令 df -h | grep "/$"|awk '{print $5}'|sed 's/%//g' grep "/$" 的意思是匹配以什么结尾，这里是匹配/为结尾的行2 在这个文件的最后一列前加字符，用AWK 实现，注意this 要用双引号引起来 [root@zabbix-server ~]# cat 2.t
原创
2016-07-10 14:40:27
465阅读
每日更新，一起努力，总有一天我们也要像别人一样装逼
原创
2016-10-26 13:52:56
468阅读
1. 编写shell脚本，计算1-100的和；2. 编写shell脚本，要求输入一个数字，然后计算出从1到输入数字的和，要求，如果输入的数字小于1，则重新输入，直到输入正确的数字为止；3. 编写shell脚本，把/root/目录下的所有目录（只需要一级）拷贝到/tmp/目录下；4. 编写shell脚本，批量建立用户user_001, user_002, ... user_100并且所有用户同属于u
原创
2017-01-06 15:15:14
728阅读
1、[root@centos7shell]#cattest.sh#!/bin/bashvar="http://www.aaa.com/root/123.htm"#1.取出www.aaa.com/root/123.htmecho$var|awk-F"//"'{print$2}'#2.取出123.htmecho$var|awk-F"/&
原创
2017-11-28 17:53:34
752阅读
1. 求两个数的和 2. 求1~100的和 3. 将一目录下所有的文件的扩展名改为bak #!/bin/bash POS=/home/huangqingxiang/q/ cd $POS for i in $(ls $POS); do echo $i mv $i $i.bak done // 下面这个
转载
2019-08-20 09:50:00
87阅读
2评论
目录： 1、监控MySQL主从同步... 1 2、批量创建文件及改名... 3 3、批量创建用户随机密码... 6 4、判断网络主机存活... 7 5、解决DOS攻击生产案例... 7 6、MySQL启动脚本... 8 7、分库备份... 11 8、分库分表备份... 11 9、打印字母数不大于6的
原创
2022-06-28 12:18:19
84阅读
1.2HDFS（☆☆☆）1.2.1 HDFS 中的 block 默认保存几份？（A）A.3 份B.2 份C.1 份D.不确定1.2.2HDFS 默认 BlockSize 是（C）A.32MBB.64MB（2.7.2版本，本地模式）C.128MB（2.7.2版本，分布式模式）1.2.3 Client 端上传文件的时候下列哪项正确？（BC）A.数据经过NameNode传递DataNodeB.Clien
转载
2024-04-19 17:04:37
133阅读
启动HDFS后，输入hadoop fs命令，即可显示HDFS常用命令的用法[hadoop@localhost hadoop-2.5.2]$ hadoop fs
Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src&
转载
2024-02-12 21:26:00
78阅读
一、格式 1、父类 bin/hadoop fs 命令 2、子类 bin/hdfs dfs 命令 二、命令 1、help 作用：获取帮助文档格式：hadoop fs -help 命令名称 2、ls 作用：查看HDFS路径的文件 格式： hadoop fs -ls 路径 hadoop fs -ls -R
原创
2021-07-14 11:36:09
800阅读
