Hadoop 重要的端口1.Job Tracker 管理界面：500302.HDFS 管理界面 ：500703.HDFS通信端口：90004.MapReduce通信端口：9001常用访问页面1. HDFS 界面 http://hostname:500702. MapReduce 管理界面 http://hostname:50030
原创
2021-09-02 16:42:43
148阅读
将自己工作中常用的Hadoop命令整理如下：1. 查看hadoop文件 hadoop fs -ls /2. 新建文件夹hadoop dfs -mkdir /input 3. 上传本地文件终端输入： vim test1.txt键入内容保存:wq终端输入：hadoop fs -put ./test 1.txt /input(上传到Hadoop的目标路径）
hado
转载
2023-05-29 10:35:03
218阅读
1.删除0字节文件
find -type f -size 0 -exec rm -rf {} \;复制代码
2.查看进程按内存从大到小排列
ps -e -o "%C : %p : %z : %a"|sort -k5 -nr
3.按cpu利用率从大到小排列
ps -e 
原创
2011-04-18 22:11:04
840阅读
cut截取cut -d: -f+数字+文件 取文件的第几段 ,多个数字之间加逗号cut -c 截取第几个字符 (3-5 3到5个)sort排序-t 分隔符 -u 去重复-n 以数字排序-k 几段( -k3,5 ---3到5段)-f 忽略字母大小写so
原创
2016-06-08 17:07:10
437阅读
1/常用替换sed-i's/172.16.101.178/192.168.20.32/g'/usr/local/nginx/nginx.conf2/常用添加cat>/usr/local/redis/etc/redis.conf<<EOFdaemonizeyesport6379timeout60loglevelwarningdatabases16EOF
原创
2018-05-29 17:11:29
344阅读
Shell俗称壳（用来区别于核），是指“为使用者提供操作界面”的软件---》命令解析器shell就是用户和系统交互的工具shell的分类（基本上shell分两大类）图形界面shell（GraphicalUserInterfaceshell即GUI命令行式shell（CommandLineInterfaceshell，即CLI基础命令diff比较两个文件或目录的不同分别写两个不同内容的文件diff作
原创
2019-08-21 23:54:57
10000+阅读
点赞
命令行光标切换行首、行尾 macOS: control + a 光标回到行首 control + e 光标回到行尾
原创
2022-10-10 06:22:53
26阅读
【设置环境变量】1、使用env命令显示所有的环境变量$ env2、使用echo命令查看单个环境变量$ echo $PATH3、设置一个新的环境变量$ export HELLO="Hello!"语法：export [-fnp][变量名称]=[变量设置值]参数： -f 代表[变量名称]中为函数名称。 -n 删除指定的变量。变量实际上并未删除，只是不会输出到后续指令的执行环境中。 -p 列出所有的
原创
2014-12-26 17:00:18
1053阅读
查看端口lsof-i:8080(查看80端口占用情况)打印菜单[root@almk]#cat<<EOF123EOF123[root@almk]#用户输入交互[root@almk]#read-p"Gavameanumber:"aGavameanumber:90[root@almk]#echo$a90[root@almk]#如果￥UID不等于1就执行后面的[root@a
原创
2017-12-12 22:58:30
752阅读
一、shell常用命令下面命令应用中，双引号可以不加；<1>alias 给一个已经存放的文件取一个别名 (临时
原创
2022-07-11 15:47:37
160阅读
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭
原创
2022-11-22 00:16:29
29阅读
启动Hadoop
进入HADOOP_HOME目录。
执行sh bin/start-all.sh
关闭Hadoop
进入HADOOP_HOME目录。
执行sh bin/stop-all.sh
1、查看指定目录下内容
hadoop dfs –ls [文件目录]
eg: hadoop dfs –ls
转载
精选
2012-10-17 17:44:56
423阅读
名出文件test_2.txt中user1的行： hadoop dfs -cat /user/hive/warehouse/u_data/test_2.txt |grep user1列出hadoop数据根目录：hadoop fs -ls /列出文件系统中组成各个文件的块：hadoop fsck / -files -blocks复制文件：hadoop fs -copyFromLocal test_3.
原创
2014-04-19 17:44:15
605阅读
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME
原创
2022-11-07 13:05:40
66阅读
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。 执行s
原创
2024-03-15 10:43:03
14阅读
netstat -n | awk'/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' CLOSED：无连接是活动的或正在进行LISTEN：服务器在等待进入呼叫SYN_RECV：一个连接请求已经到达，等待确认SYN_SENT：应用已经开始，打开一个连接ESTABLISHED：正常数据传输状态FIN_WAIT1：应用说它已
原创
2013-08-21 23:53:46
653阅读
1.列出所有目录使用量，并按大小排序。复制代码 代码如下:ls|xargs du -h|sort -rn #不递归下级目录使用du -sh2.查看文件排除以#开关和空白行，适合查看配置文件。复制代码 代码如下:egrep -v "^#|^$" filenamesed '/#.*$/d; /^ *$/d'3.删除空格和空行。复制代码 代码如下:sed '/^$/d' filename #
转载
精选
2016-06-13 16:40:06
302阅读
