Hadoop-MR实现日志清洗（四）6.单机部署Hadoop（伪分布式）在我们自己购买的阿里云Linux主机上部署单机hadoop，测试我们的mapreduce程序。也可以在windows上安装虚拟机部署。6.1配置Java环境下载jdk-8u171-linux-x64.tar.gz后上传到主机，解压缩： tar zxf jdk-8u171-linux-x64.tar.gz 得到文件夹：jdk
#coding:utf-8
# 任务需要，需要删除多余的文件，手动删除太麻烦，几行python搞定
import os
from glob import glob
path = r"/media/icml-014/peixu/MyData/2019brain/valid/*" # 获取到目录
all_file = glob(path) # 得到该目录下的所有文件
for i in range(l
linux下利用shell批量删除空文件方法一：FILE=$(ls /root/test)
for i in $FILE
do
FILE_STR=$(cat /root/test/$i)
if [ -z "$FILE_STR" ];then
# echo $i
rm -rf /root/test/$i
fi-
