目录
系统篇
查看系统剩余空间
统计篇
shell wc命令
查找篇
shell find命令
shell grep 命令
Shell 对比两个文本文件找出不同行
炫技篇
shell set -euxo pipefail命令
shell 生成随机证件编码
系统篇(孤陋寡闻版)
shell uname命令
shell curl命令
shell 文件/文件夹操作
系统篇
查看系统剩余空间
Linux服务器要经常查看空间剩余情况,以免突然程序不能上传更新去查找问题而耽误太多时间。
1.查看当前文件夹下有多少文件,查看当前目录下的文件和文件夹数。
ls |wc -l
2.查看系统整体空间剩余情况,查看系统的分配,已使用和可用情况。
df -h
3.查看每个文件夹的占用情况,可以查看当前路径下的每个文件夹的大小,因此快速定位大文件所存在的位置。
查询当前目录总大小
du -sh
查询当前目录下所有子目录总大小,* 指所有目录,如果只要查询某个目录 替换掉*即可。
du -sh *
4.查询当前目录下所有子目录总大小 并按大小排序
du -sh * | sort -nr
筛选出前15条
du -sh * | sort -nr | head -n 15
筛选内容含G字符的
du -sh * | sort -nr | grep G
正则表达式筛选内容含G字符的
du -sh * | sort -nr | egrep ^[0-9]*G.*
du参数解释
-h或–human-readable 以K,M,G为单位,提高信息的可读性
-s或–summarize 仅显示总计,即当前目录的大小。
统计篇
shell wc命令
统计文件里面有多少单词,多少行,多少字符。
wc语法
wc [-lwm]
选项与参数:
-l :仅列出行;
-w :仅列出多少字(英文单字);
-m :多少字符;
默认使用wc统计/etc/passwd
#wc /etc/passwd
40 45 1719 /etc/passwd
40是行数,45是单词数,1719是字节数
wc的命令比较简单使用,每个参数使用如下:
#wc -l /etc/passwd #统计行数,在对记录数时,很常用
40 /etc/passwd #表示系统有40个账户
#wc -w /etc/passwd #统计单词出现次数
45 /etc/passwd
#wc -m /etc/passwd #统计文件的字节数
1719
查找篇
shell find命令
常用形式
find [path...][expression]
[path]:find 命令查找的目录路径,其中 ./ 表示当前目录,/ 表示系统根目录
[expression]:可以分为
-options [-print -exec -ok ...]
options:指定 find 命令的常用选项
print:find 命令将匹配的文件输出到标准输出
exec:find 命名对匹配的文件执行该参数所给出的 shell 命令
ok:与 -exec 类似,只不过在执行每一个命令之前都会给出提示,让用户决定是否执行
-name <表达式>:根据文件名查找文件
-iname <表达式>:根据文件名查找文件,忽略大小写
-path <表达式>:根据路径查找文件
-ipath <表达式>:根据路径查找文件,忽略大小写
-amin <分钟>:过去N分钟内访问过的文件
-atime <天数>:过去N天内访问过的文件
-cmin <分钟>:过去N分钟内修改过的文件
-ctime <天数>:过去N天内修改过的文件
-newer <参照文件>:
-anewer <参照文件>:比参照文件更晚被读取过的文件
-cnewer <参照文件>:比参照文件更晚被修改过的文件
-size <大小>:根据文件大小查找文件,单位b c w k M G
-type <文件类型>:根据文件类型查找文件。b 块设备 c 字符设备 d 目录 p 管道文件 f 普通文件 l 符号链接文件 s 端口文件
-user <用户名>:按归属用户查找文件
-uid <uid>:按UID查找文件
-group <群组名>:按归属群组查找文件
-gid <gid>:按GID查找文件
-empty:查找空文件
-mtime -n +n:按照文件的更改时间来查找文件,-n 表示文件更改时间在 n 天之内,+n 表示文件更改时间在 n 天之外。
1.实战
从根目录开始查找所有扩展名为.log的文本文件,并找出包含”ERROR”的行
find / -type f -name "*.log" | xargs grep "ERROR"
系统查找到httpd.conf文件后即时在屏幕上显示httpd.conf文件信息
find/-name"httpd.conf"-ls
在根目录下查找某个文件
find . -name "test"
在当前目录和子目录下查找某个文件
find ./ -type d
查找大小为 n 的文件,末尾带有 c 时表示文件大小以字节计,带 k 时表示文件大小以 KB 计,以此类推,查找当前目录下大小大于10k的文件
find ./ -size +10000c
find 与 xargs 搭配,xargs 与 -exec 类似,对 find 命名匹配的文件执行该参数所给出的 shell 命令,并且效率更高
find -type f -name '*.php'|xargs grep 'GroupRecord'
查找当前目录下所有文件并输出文件类型
find . -type f -print | xargs file
查找当前目录下所有txt文件并将结果输出到txt.log文件,一行输出一个结果
find . -name "*.txt" -print | xargs -n1 > /e/txt.log
查找当前目录下的所有文件并在这些文件中搜索add_experience并将结果输出到文件
find . -type f | xargs grep "add_experience" > /f/add_experience.txt
删除文件大小为0的文件
find ./ -size 0 | xargs rm -f
查找在当前目录下2天内修改的文件
find ./ -mtime -2
删除3天以前的所有文件和文件夹
find ./ -mtime +3 -print | xargs rm -f -r
查找比文件 file1 新(即更改时间晚)的文件
查找当前目录下比1.txt新的文件
find ./ -newer 1.txt
2.正则表达式
元字符 | 功能 | 例子 | 匹配什么 |
shell grep 命令
grep 是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。
grep命令是Globally search a Regular Expression and Print的缩写,表示进行全局的正则匹配并进行打印。grep的相关扩展命令包括egrep和fgrep,其中egrep支持更多的正则匹配,fgrep只进行字符的匹配,不支持正则表达式。
grep用法说明
grep [option] "pattern" filename
grep [OPTIONS] [-e PATTERN | -f FILE] [FILENAME...]
option 常见选项
-c:只输出匹配行的计数
-i:不区分大小写(只适用与单字符)
-n:显示匹配行及行号
-s:不显示不存在或无匹配文本的错误信息
-v:显示不包含匹配文本的所有行,即与-o 相反
-o:只显示文件中匹配到的部分
-A3:将匹配之后的3行展示出来
-B3:将匹配之前的3行展示出来
-f: 指定需要匹配的文件
-l:列出匹配的文件清单
-L:列出不匹配的文件清单
-r:递归查找
-R:查找所有文件包含子目录
-*: 表示当前目录所有文件,也可以是某个文件名
-\< 和 \>:分别标注单词的开始与结尾。
-'^':指匹配的字符串在行首
-'$':指匹配的字符串在行尾
pattern:要搜索的关键字或正则表达式语句
1.实战:
查找1.txt中存在aaa的行,并输出行号
grep -n "aaa" 1.txt
搜索aaa开头的行
grep -n '^aaa' 1.txt
搜索至少包含连续3个a的行
grep -n 'a\{3,\}' 1.txt
搜索包含aaa或者daa的行
grep -n '[ad]aa' 1.txt
从文件内容查找匹配指定字符串的行
grep "被查找的字符串" 文件名
从文件内容查找与正则表达式匹配的行
grep –e “正则表达式” 文件名
查找时不区分大小写,默认情况区分大小写
grep –i "被查找的字符串" 文件名
查找匹配的行数
grep -c "被查找的字符串" 文件名
从文件内容查找不匹配指定字符串的行
grep –v "被查找的字符串" 文件名
在某个目录下查找包含某个字符串的文件
grep -r "zh_CN" ./
只匹配整个单词,而不是字符串的一部分(如匹配‘magic’,而不是‘magical’)
grep -w pattern files
显示匹配 pattern1 或 pattern2 的行
grep pattern1 | pattern2 files
显示既匹配 pattern1 又匹配 pattern2 的行
grep pattern1 files | grep pattern2
已经grep man * 会匹配 ‘Batman’、‘manic’、‘man’等
假如想匹配‘manic’和‘man’,但不是‘Batman’
grep '\<man' *
假如想匹配‘man’,而不是‘Batman’或‘manic’等其他的字符串
grep '\<man\>' *
案例说明
原始文件file.txt如下所示
abcdefg
abcdefg
1234567
1234567
only_one
abcdefg1234567
abcdefg1234567
abcdefgh12345678
abcdefgh12345678
abcdefh1234568
abcdefh1234568
aaabbb111222
aaaabbbb11112222
匹配指定内容并且打印出行号
grep -n 'abcdefg123' file.txt
6:abcdefg1234567
7:abcdefg1234567
将匹配行的前一行和后一行内容都打印出来
grep -A1 -B1 -n 'abcdefg123' file.txt
5:only one
6:abcdefg1234567
7:abcdefg1234567
8:abcdefgh12345678
匹配abcdefg123456或者abcdefh123456的行
grep 'abcdef[gh]123456' -n file.txt
6:abcdefg1234567
7:abcdefg1234567
10:abcdefh1234568
11:abcdefh1234568
找到a开头,8结尾的行
grep '^a.*8$' -n file.txt
8:abcdefgh12345678
9:abcdefgh12345678
10:abcdefh1234568
11:abcdefh1234568
找到a出现3到5次的行
grep 'a\{3,5\}' -n file.txt 或者 egrep 'a{3,5}' -n file.txt
12:aaabbb111222
13:aaaabbbb11112222
匹配1111或者aaaa的行
egrep 'aaaa|1111' -n file.txt 或者 grep 'aaaa\|1111' -n file.txt
13:aaaabbbb11112222
匹配指定文件中的行
grep -f re_file.txt -n file.txt
6:abcdefg1234567
7:abcdefg1234567
10:abcdefh1234568
11:abcdefh1234568
13:aaaabbbb11112222
2.正则表达式
元字符 | 功能 | 例子 | 匹配什么 |
^ | 锚定行的开始 | /^love/ | 匹配所有以love开头的行 |
$ | 锚定行的结束 | /love$/ | 匹配所有以love 结束的行 |
. | 匹配一个字符 | /l..e/ | 匹配这样的行,这些行包含这样的字符:第一个字符是l,紧跟着两个字符,然后是e |
* | 代表0个或多个先前字符 | /*love/ | 匹配所有这样的行,有0个或多个空格,空格后跟着love |
[] | 匹配字符组中的一个字符 | /[Ll]ove/ | 匹配所有包含love或者Love的行 |
[^] | 匹配一个不在范围内的字符 | /[^A-Z]ove/ | |
< | 锚定单词的开始 | <love | 匹配所有这样的行,这些行包含以love开头的单词(vi和grep支持这个功能) |
> | 锚定单词的结束 | Love> | 匹配所有这样的行,这些行包含以love结束的单词(vi和grep支持这个功能) |
(..) | 标记后面用到的匹配字符 | /(love)able1rs/ | 最多可以使用9个标签。第一个标签是模板最左边的部分。在本例子中,模板love保存的标签为1,后面的1指得就是love;本例子搜索的是这样的行,这些行包含这样的字符,在Loveabel后面跟着lovers |
x{m} | M次复制字符x | ||
x{m,} | 至少m次复制字符x | ||
x{m,n} | 至少m次,至多n次复制字x | ||
w | 文字和数字字符,[A-Za-z0-9] | Lw*e | 匹配一个L字符,紧跟着0个或多个文字或数字字符,然后是e |
W | 同上 | ||
b | 单词分界线 | bloveb | 仅仅匹配单词love |
shell whereis命令
linux下查找某个文件位置的方法
whereis <程序名称>
查找软件的安装路径
-b 只查找二进制文件
-m 只查找帮助文件
-s 只查找源代码
-u 排除指定类型文件
-f 只显示文件名
-B <目录> 在指定目录下查找二进制文件
-M <目录> 在指定目录下查找帮助文件
-S <目录> 在指定目录下查找源代码
locate <文件名称>
在文件索引数据库中搜索文件
-d <数据库路径> 搜索指定数据库
updatedb
更新文件索引数据库
Shell 对比两个文本文件找出不同行
分别使用comm命令法、grep命令法实现
comm命令法
命令如下:comm -3 file1 file2
有一个问题就是,如果两个文件排序不一样的话,会出问题。
grep命令法
命令如下:grep -vwf file1 file2
统计file1中没有,file2中有的行
炫技篇
shell set -euxo pipefail命令
# set is used to set the environment variables.
# -e: exit immediately when a command returning a non-zero exit code.
# -u: treat unset variables as an error.
# -o pipefail: sets the exit code of a pipeline to that of the rightmost command to exit with a non-zero status,
# or to zero if all commands of the pipeline exit successfully.
粗略解释
set -e 表示一旦脚本中有命令的返回值为非0,则脚本立即退出,后续命令不再执行;
set -o pipefail表示在管道连接的命令序列中,只要有任何一个命令返回非0值,则整个管道返回非0值,即使最后一个命令返回0.
【总结】:bash脚本被当作高级语言应用默认的不会开启安全认证(类似其他语言,变量不存在会报错,bash默认不会)。
为了让我们的脚本更安全通常我们会使用‘set -euxo pipefail'。
set -euxo pipefail 的功能为:
-e 即当一个命令失败时,立即退出。如果你不想立即退出则可用 || true
$ cat try_bash.sh
#!/bin/sh
set -e
test_sete(){
# invalid command
ddd
}
test_sete || true
echo "---> continuly"
---执行shell脚本
$ ./try_bash.sh
./try_bash.sh: line 5: ddd: command not found
---> continuly
剔除后
$ sed -i 's/|| true//' try_bash.sh
$ cat try_bash.sh
#!/bin/sh
set -e
test_sete(){
# invalid command
ddd
}
test_sete
echo "---> continuly"
---执行shell脚本
$ ./try_bash.sh
./try_bash.sh: line 5: ddd: command not found
-u 即遇到未定义的变量,报错并立即退出。
$ cat try_bash_u.sh
#!/bin/sh
set -u
test_setu(){
# invalid command
echo ${1}
}
test_setu ${1}
echo "---> continuly"
---执行shell脚本
$ ./try_bash_u.sh testing
testing
---> continuly
---执行shell脚本
$ ./try_bash_u.sh
./try_bash_u.sh: line 7: 1: unbound variable
-x 即在执行每一个command之前打印出来。这个对于debug脚本非常有用,可具体看到在执行那一步遇到的问题。但是所有的参数也都会相应的在执行脚本以明文形式输出。
--执行shell脚本
$ ./try_bash_x.sh testing
+ test_setu testing
+ echo testing
testing
+ echo '---> continuly'
---> continuly
-E 即'trap'用来在一个脚本中捕捉某些信号。除了一些常见的信号,'trap'可以用来捕捉一些特定信号,像EXIT,DEBUG, RETURN,ERR等。没有 -E,trap会不总是能捕捉信号。如果出现'trap'捕获不到的情况,可以使用该参数。如果捕捉信号正常,则可以忽略该参数。
$ cat try_bash_E.sh
#!/bin/bash
set -E
trap "echo ERR trap fired!" ERR
myfunc()
{
# 'foo' is a non-existing command
foo
}
myfunc
echo "bar"
--执行shell脚本
$ ./try_bash_E.sh
./try_bash_E.sh: line 9: foo: command not found
ERR trap fired!
ERR trap fired!
bar
--剔除后
$ sed -i "s/set -E//" try_bash_E.sh
--再执行shell脚本
$ ./try_bash_E.sh
./try_bash_E.sh: line 9: foo: command not found
ERR trap fired!
bar
-o pipefail 即在运行脚本时,通常我们只看最后一个命令的退出码。例如'invalid_command || echo "invalid command"',我们获得退出码为0,因为我们获得整个管道的最后一个命令。
加上-o pipefail,则会根据整个管道链的退出码来判断,只有所有退出码为0,退出码才会为0。
$ cat try_bash_o.sh
#!/bin/bash
set -e -o pipefail
# 'foo' is a non-existing command
foo | echo "a"
echo "bar"
--执行shell脚本
$ ./try_bash_o.sh
a
./try_bash_o.sh: line 5: foo: command not found
$ echo $?
127
剔除后
$ sed -i 's/-o pipefail//' try_bash_o.sh
--执行shell脚本
$ ./try_bash_o.sh
a
./try_bash_o.sh: line 5: foo: command not found
bar
$ echo $?
0
shell 生成随机码值编码
shell的函数,只能返回0、1。所以要返回内容只能 echo写入到文件中。
#!/bin/bash
#生成随机码值,性别,年龄,电话,姓名,日期,分数和对应等级,并生成insert语句
#作者AiYS,2018-02-06,转载请注明
#随机码值,性别和年龄
function random_id {
#证件前6位地区码集合
area_code_collection=($(awk '{print $1}' area_code.txt))
#从地区码集合中随机取一个地区码
area_code=${area_code_collection[$(shuf -i 0-3513 -n 1)]}
#随机生成生日
birthday=$(date +"%Y%m%d" -d "-$(shuf -i 1000-15000 -n 1) days")
#计算当前年份
current_year=$(date +"%Y%m%d" | cut -c 1-4)
#计算生成的码值的年份
id_year=$(echo ${birthday} | cut -c 1-4)
#根据当前年份和码值年份计算年龄
age=$((${current_year}-${id_year}))
#随机生成证件15-17的3位顺序码,但是不知范围暂定400
seq=$(shuf -i 100-400 -n 1)
#根据证件第17位判断性别,奇男偶女
gender_num=$(echo ${seq} | cut -c 3)
[ $((gender_num%2)) -eq 0 ] && gender="F" || gender="M"
#用数组保存码值前17位的每一位
for ((i=0,j=1;i<17;i++,j++))
do
array[$i]=$(echo ${area_code}${birthday}${seq} | cut -c $j)
done
sum=0
#用字典保存取模11后余数对映的第18位映射关系
declare -A checkcode_map
checkcode_map=(["0"]="1" ["1"]="0" ["2"]="X" ["3"]="9" ["4"]="8" ["5"]="7" ["6"]="6" ["7"]="5" ["8"]="5" ["9"]="3" ["10"]="2")
#前17位对应的权重值
coefficient=(7 9 10 5 8 4 2 1 6 3 7 9 10 5 8 4 2)
#前17位乘以对应的权重求和
for ((i=0;i<17;i++))
do
sum=$((${sum}+${array[$i]}*${coefficient[$i]}))
done
#和取模11
map=$((sum%11))
#生成第18位校验码
checkcode=${checkcode_map[$map]}
echo -e "${area_code}${birthday}${seq}${checkcode},${gender},${age}" >> id.txt
}
#生成随机电话号码
function random_tel {
pretel=(130 131 132 133 134 135 136 137 138 139 145 147 150 151 152 153 155 156 157 158 159 170 171 173 176 177 178 180 181 182 183 184 185 186 187 188 189)
echo ${pretel[$(shuf -i 0-36 -n 1)]}$(shuf -i 10000000-99999999 -n 1) >> tel.txt
}
#生成随机姓名
function random_name {
fname=(赵 钱 孙 李 周 吴 郑 王 冯 陈 褚 卫 蒋 沈 韩 杨 朱 秦 尤 许 何 吕 施 张 孔 曹 严 华 金 魏 陶 姜 戚 谢 邹 窦 章 云 苏 潘 葛 奚 范 彭 郎 鲁 韦 昌 马 苗 凤 花 方 俞 任 袁 柳 鲍 史 唐 费 廉 岑 薛 雷 贺 倪 汤 滕 殷 罗 毕 郝 安 常 乐 于 傅 齐 康 伍 余 元 顾 孟 平 黄 穆 萧 尹 姚 邵 湛 汪 祁 毛 禹 狄 戴 谈 宋 茅 庞 熊 纪 舒 屈 项 祝 董 梁 杜 阮 蓝 闵 席 季 贾 江 童 颜 郭 梅 盛 林 徐 邱 骆 高 夏 蔡 田 樊 胡 凌 霍 虞 万 柯 管 卢 莫 解 宗 丁 邓 单 洪 包 石 崔 吉 钮 龚 程 嵇 邢 裴 陆 荀 羊 甄 麴 封 芮 羿 储 靳 邴 糜 松 段 伊 刘 景 龙 叶 白 赖 卓 蔺 屠 乔 阳 闻 党 翟 谭 姬 申 郦 牛 扈 燕 温 晏 柴 瞿 阎 习 向 古 廖 寇 聂 晁 曾 司马 上官 欧阳 夏侯 诸葛 东方 赫连 皇甫 尉迟 公羊 澹台 公孙 轩辕 令狐 钟离 宇文 长孙 慕容 司徒 完颜)
lname=($(awk '{print $1}' lname.txt))
echo ${fname[$(shuf -i 0-226 -n 1)]}${lname[$(shuf -i 0-2810 -n 1)]}${lname[$(shuf -i 0-2810 -n 1)]} >> name.txt
}
#生成随机日期和时间
function random_time {
echo "$(date +"%Y-%m-%d" -d "-$(shuf -i 365-10000 -n 1) days"),$(date +"%Y-%m-%d %H:%M:%S" -d "-$(shuf -i 5000-12000 -n 1) days")" >> date.txt
}
#生成随机的分数和对应的等级
function random_score {
integer=$(shuf -i 40-99 -n 1)
#decimal=$(tr -dc 0-9 </dev/urandom | head -c 2)两位随机小数
decimal=$(shuf -i 0-9 -n 1)
score="${integer}.${decimal}"
if [ ${integer} -gt 95 ];then
grade='S'
elif [ ${integer} -gt 85 ];then
grade='A'
elif [ ${integer} -gt 75 ];then
grade='B'
elif [ ${integer} -gt 65 ];then
grade='C'
else
grade='D'
fi
echo "${score},${grade}" >> score.txt
}
#删除之前生成的文件
function delete_file {
[ -f id.txt ] && $(rm id.txt) >/dev/null 2>&1
[ -f name.txt ] && $(rm name.txt) >/dev/null 2>&1
[ -f tel.txt ] && $(rm tel.txt) >/dev/null 2>&1
[ -f date.txt ] && $(rm date.txt) >/dev/null 2>&1
[ -f score.txt ] && $(rm score.txt) >/dev/null 2>&1
}
function generate_records {
read -p "需要生成多少条记录:" count
delete_file
if [ ${count} -lt 0 ];then
echo -e "输入错误!输入的数字小于1\n"
else
for ((m=0;m<${count};m++))
do
random_id
random_name
random_tel
random_time
random_score
#echo "生成第$m条记录"
done
fi
#合并生成的文件用,分隔字段
paste -d "," id.txt name.txt tel.txt date.txt score.txt > records.txt
delete_file
}
function sql {
[ -f student.sql ] && $(rm student.sql) > /dev/null 2>&1
#生成sql插入文件student.sql
outfile='student.sql'
IFS=","
while read id gender age name tel entrance examination score grade
do
cat >> ${outfile} << EOF
INSERT INTO student (id,name,gender,age,tel,entrance,examination,score,grade) VALUES ('${id}','${name}','${gender}',$age,'${tel}',${entrance},${examination},${score},'${grade}');
EOF
done < records.txt
}
generate_records
read -p "是否生成sql文件?y or n:" yn
[ "$yn" = "y" -o "$yn" = "Y" ] && sql || echo "Byebye
系统篇(孤陋寡闻版)
shell uname命令
uname命令用于打印当前系统相关信息(内核版本号、硬件架构、主机名称和操作系统类型等)。
shell uname命令
uname命令
uname命令用于打印当前系统相关信息(内核版本号、硬件架构、主机名称和操作系统类型等)。
语法
uname(选项)
选项
-a或--all:显示全部的信息;
-m或--machine:显示电脑类型;
-n或-nodename:显示在网络上的主机名称;
-r或--release:显示操作系统的发行编号;
-s或--sysname:显示操作系统名称;
-v:显示操作系统的版本;
-p或--processor:输出处理器类型或"unknown"; -i或--hardware-platform:输出硬件平台或"unknown"; -o或--operating-system:输出操作系统名称; --help:显示帮助; --version:显示版本信息。
实例
[root@localhost ~]# uname #单独使用uname命令时相当于uname -s
Linux
[root@localhost ~]# uname -a
Linux localhost 2.6.18-348.6.1.el5 #1 SMP Tue May 21 15:34:22 EDT 2013 i686 i686 i386 GNU/Linux
[root@localhost ~]# uname -m
i686
[root@localhost ~]# uname -n
localhost
[root@localhost ~]# uname -r
2.6.18-4-686
[root@localhost ~]# uname -s
Linux
[root@localhost ~]# uname -v
#1 SMP Tue May 21 15:34:22 EDT 2013
[root@localhost ~]# uname -p
i686
[root@localhost ~]# uname -i
i386
[root@localhost ~]# uname -o
GNU/Linux
[root@localhost ~]# uname --version
uname (GNU coreutils) 5.97 Copyright (C) 2006 free Software Foundation, Inc.
这是自由软件。您可以按照 GNU GPL 协议 的条款再发布此软件的副本,但我们无法保证相关法律不对这一情形进行限制。
shell curl命令
在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具,可以说是一款很强大的http命令行工具。它支持文件的上传和下载,是综合传输工具,但按传统,习惯称url为下载工具。
curl命令
在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具,可以说是一款很强大的http命令行工具。它支持文件的上传和下载,是综合传输工具,但按传统,习惯称url为下载工具。
语法
curl [option] [url]
常见参数
-A/--user-agent <string> 设置用户代理发送给服务器
-b/--cookie <name=string/file> cookie字符串或文件读取位置
-c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中
-C/--continue-at <offset> 断点续转
-D/--dump-header <file> 把header信息写入到该文件中
-e/--referer 来源网址
-f/--fail 连接失败时不显示http错误
-o/--output 把输出写到该文件中
-O/--remote-name 把输出写到该文件中,保留远程文件的文件名
-r/--range <range> 检索来自HTTP/1.1或FTP服务器字节范围
-s/--silent 静音模式。不输出任何东西
-T/--upload-file <file> 上传文件
-u/--user <user[:password]> 设置服务器的用户和密码
-w/--write-out [format] 什么输出完成后
-x/--proxy <host[:port]> 在给定的端口上使用HTTP代理
-#/--progress-bar 进度条显示当前的传送状态
不常见参数
-a/--append 上传文件时,附加到目标文件
--anyauth 可以使用“任何”身份验证方法
--basic 使用HTTP基本验证
-B/--use-ascii 使用ASCII文本传输
-d/--data <data> HTTP POST方式传送数据
--data-ascii <data> 以ascii的方式post数据
--data-binary <data> 以二进制的方式post数据
--negotiate 使用HTTP身份验证
--digest 使用数字身份验证
--disable-eprt 禁止使用EPRT或LPRT
--disable-epsv 禁止使用EPSV
--egd-file <file> 为随机数据(SSL)设置EGD socket路径
--tcp-nodelay 使用TCP_NODELAY选项
-E/--cert <cert[:passwd]> 客户端证书文件和密码 (SSL)
--cert-type <type> 证书文件类型 (DER/PEM/ENG) (SSL)
--key <key> 私钥文件名 (SSL)
--key-type <type> 私钥文件类型 (DER/PEM/ENG) (SSL)
--pass <pass> 私钥密码 (SSL)
--engine <eng> 加密引擎使用 (SSL). "--engine list" for list
--cacert <file> CA证书 (SSL)
--capath <directory> CA目 (made using c_rehash) to verify peer against (SSL)
--ciphers <list> SSL密码
--compressed 要求返回是压缩的形势 (using deflate or gzip)
--connect-timeout <seconds> 设置最大请求时间
--create-dirs 建立本地目录的目录层次结构
--crlf 上传是把LF转变成CRLF
--ftp-create-dirs 如果远程目录不存在,创建远程目录
--ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用
--ftp-pasv 使用 PASV/EPSV 代替端口
--ftp-skip-pasv-ip 使用PASV的时候,忽略该IP地址
--ftp-ssl 尝试用 SSL/TLS 来进行ftp数据传输
--ftp-ssl-reqd 要求用 SSL/TLS 来进行ftp数据传输
-F/--form <name=content> 模拟http表单提交数据
-form-string <name=string> 模拟http表单提交数据
-g/--globoff 禁用网址序列和范围使用{}和[]
-G/--get 以get的方式来发送数据
-h/--help 帮助
-H/--header <line> 自定义头信息传递给服务器
--ignore-content-length 忽略的HTTP头信息的长度
-i/--include 输出时包括protocol头信息
-I/--head 只显示文档信息
-j/--junk-session-cookies 读取文件时忽略session cookie
--interface <interface> 使用指定网络接口/地址
--krb4 <level> 使用指定安全级别的krb4
-k/--insecure 允许不使用证书到SSL站点
-K/--config 指定的配置文件读取
-l/--list-only 列出ftp目录下的文件名称
--limit-rate <rate> 设置传输速度
--local-port<NUM> 强制使用本地端口号
-m/--max-time <seconds> 设置最大传输时间
--max-redirs <num> 设置最大读取的目录数
--max-filesize <bytes> 设置最大下载的文件总量
-M/--manual 显示全手动
-n/--netrc 从netrc文件中读取用户名和密码
--netrc-optional 使用 .netrc 或者 URL来覆盖-n
--ntlm 使用 HTTP NTLM 身份验证
-N/--no-buffer 禁用缓冲输出
-p/--proxytunnel 使用HTTP代理
--proxy-anyauth 选择任一代理身份验证方法
--proxy-basic 在代理上使用基本身份验证
--proxy-digest 在代理上使用数字身份验证
--proxy-ntlm 在代理上使用ntlm身份验证
-P/--ftp-port <address> 使用端口地址,而不是使用PASV
-Q/--quote <cmd> 文件传输前,发送命令到服务器
--range-file 读取(SSL)的随机文件
-R/--remote-time 在本地生成文件时,保留远程文件时间
--retry <num> 传输出现问题时,重试的次数
--retry-delay <seconds> 传输出现问题时,设置重试间隔时间
--retry-max-time <seconds> 传输出现问题时,设置最大重试时间
-S/--show-error 显示错误
--socks4 <host[:port]> 用socks4代理给定主机和端口
--socks5 <host[:port]> 用socks5代理给定主机和端口
-t/--telnet-option <OPT=val> Telnet选项设置
--trace <file> 对指定文件进行debug
--trace-ascii <file> Like --跟踪但没有hex输出
--trace-time 跟踪/详细输出时,添加时间戳
--url <URL> Spet URL to work with
-U/--proxy-user <user[:password]> 设置代理用户名和密码
-V/--version 显示版本信息
-X/--request <command> 指定什么命令
-y/--speed-time 放弃限速所要的时间。默认为30
-Y/--speed-limit 停止传输速度的限制,速度时间'秒
-z/--time-cond 传送时间设置
-0/--http1.0 使用HTTP 1.0
-1/--tlsv1 使用TLSv1(SSL)
-2/--sslv2 使用SSLv2的(SSL)
-3/--sslv3 使用的SSLv3(SSL)
--3p-quote like -Q for the source URL for 3rd party transfer
--3p-url 使用url,进行第三方传送
--3p-user 使用用户名和密码,进行第三方传送
-4/--ipv4 使用IP4
-6/--ipv6 使用IP6
1.实战
基本用法
curl http://www.linux.com
执行后,www.linux.com 的html就会显示在屏幕上了
Ps:由于安装linux的时候很多时候是没有安装桌面的,也意味着没有浏览器。
因此这个方法也经常用于测试一台服务器是否可以到达一个网站
[root@localhost tmp]# curl http://www.linux.com
<html>
<head><title>301 Moved Permanently</title></head>
<body>
<center><h1>301 Moved Permanently</h1></center>
<hr><center>nginx</center>
</body>
</html>
保存访问的网页
使用linux的重定向功能保存
curl http://www.linux.com >> linux.html
可以使用curl的内置option:-o(小写)保存网页
curl -o linux.html http://www.linux.com
#执行完成后会显示如下界面,显示100%则表示保存成功
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 79684 0 79684 0 0 3437k 0 --:--:-- --:--:-- --:--:-- 7781k
可以使用curl的内置option:-O(大写)保存网页中的文件;
要注意这里后面的url要具体到某个文件,不然抓不下来
curl -O http://www.linux.com/hello.sh
测试网页返回值
curl -o /dev/null -s -w %{http_code} www.linux.com
Ps:在脚本中,这是很常见的测试网站是否正常的用法
指定proxy服务器以及其端口
很多时候上网需要用到代理服务器(比如是使用代理服务器上网或者因为使用curl别人网站而被别人屏蔽IP地址的时候),幸运的是curl通过使用内置option:-x来支持设置代理
curl -x 192.168.100.100:1080 http://www.linux.com
cookie
有些网站是使用cookie来记录session信息。
对于chrome这样的浏览器,可以轻易处理cookie信息,
但在curl中只要增加相关参数也是可以很容易的处理cookie
保存http的response里面的cookie信息。内置option:-c(小写);执行后cookie信息就被存到了cookiec.txt里面了
curl -c cookiec.txt http://www.linux.com
保存http的response里面的header信息。内置option: -D;执行后cookie信息就被存到了cookied.txt里面了
curl -D cookied.txt http://www.linux.com
PS:-c(小写)产生的cookie和-D里面的cookie是不一样的。
使用cookie
很多网站都是通过监视你的cookie信息来判断你是否按规矩访问他们的网站的,因此我们需要使用保存的cookie信息。内置option: -b
curl -b cookiec.txt http://www.linux.com
模仿浏览器
有些网站需要使用特定的浏览器去访问他们,有些还需要使用某些特定的版本。curl内置option:-A可以让我们指定浏览器去访问网站;这样服务器端就会认为是使用IE8.0去访问的
curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.linux.com
伪造referer(盗链)
很多服务器会检查http访问的referer从而来控制访问。比如:你是先访问首页,然后再访问首页中的邮箱页面,这里访问邮箱的referer地址就是访问首页成功后的页面地址,如果服务器发现对邮箱页面访问的referer地址不是首页的地址,就断定那是个盗连了;
curl中内置option:-e可以让我们设定referer;这样就会让服务器其以为你是从www.linux.com点击某个链接过来的
curl -e "www.linux.com" http://mail.linux.com
下载文件
使用内置option:-o(小写)
curl -o dodo1.jpg http:www.linux.com/dodo1.JPG
使用内置option:-O(大写)
curl -O http://www.linux.com/dodo1.JPG
循环下载
有时候下载图片可以能是前面的部分名称是一样的,就最后的尾椎名不一样
curl -O http://www.linux.com/dodo[1-5].JPG
# 这样就会把dodo1,dodo2,dodo3,dodo4,dodo5全部保存下来
下载重命名
curl -O http://www.linux.com/{hello,bb}/dodo[1-5].JPG
# 由于下载的hello与bb中的文件名都是dodo1,dodo2,dodo3,dodo4,dodo5。
因此第二次下载的会把第一次下载的覆盖,这样就需要对文件进行重命名。
curl -o #1_#2.JPG http://www.linux.com/{hello,bb}/dodo[1-5].JPG
# 这样在hello/dodo1.JPG的文件下载下来就会变成hello_dodo1.JPG,其他文件依此类推,
从而有效的避免了文件被覆盖
分块下载
有时候下载的东西会比较大,这个时候我们可以分段下载。使用内置option:-r
curl -r 0-100 -o dodo1_part1.JPG http://www.linux.com/dodo1.JPG
curl -r 100-200 -o dodo1_part2.JPG http://www.linux.com/dodo1.JPG
curl -r 200- -o dodo1_part3.JPG http://www.linux.com/dodo1.JPG
cat dodo1_part* > dodo1.JPG
# 这样就可以查看dodo1.JPG的内容了
通过ftp下载文件
curl可以通过ftp下载文件,curl提供两种从ftp中下载的语法
curl -O -u 用户名:密码 ftp://www.linux.com/dodo1.JPG
curl -O ftp://用户名:密码@www.linux.com/dodo1.JPG
显示下载进度条
curl -# -O http://www.linux.com/dodo1.JPG
不显示下载进度信息
curl -s -O http://www.linux.com/dodo1.JPG
断点续传
在windows中,我们可以使用迅雷这样的软件进行断点续传。
curl可以通过内置option:-C同样可以达到相同的效果;
如果在下载dodo1.JPG的过程中突然掉线了,可以使用以下的方式续传
curl -C -O http://www.linux.com/dodo1.JPG
上传文件
curl不仅仅可以下载文件,还可以上传文件。通过内置option:-T来实现;
这样就向ftp服务器上传了文件dodo1.JPG
curl -T dodo1.JPG -u 用户名:密码 ftp://www.linux.com/img/
显示抓取错误
curl -f http://www.linux.com/error
shell 文件/文件夹操作
1、将一个文件夹下的所有内容复制到另一个文件夹下
cp -r /home/packageA/* /home/cp/packageB/
或
cp -r /home/packageA/. /home/cp/packageB/
这两种方法效果是一样的。
2、将一个文件夹复制到另一个文件夹下
cp -r /home/packageA /home/packageB
运行命令之后packageB文件夹下就有packageA文件夹了。
3、删除一个文件夹及其下面的所有文件
rm -r /home/packageA
4、移动一个文件夹到另一个文件夹下面
mv /home/packageA /home/packageB/
或
mv /home/packageA /home/packageB
这两种方法效果是一样的。
如果是移动文件夹下的所有文件的话就可以文件夹后面跟上 /*
mv /home/packageA/* /home/packageB/