HDFS中的数据迁移到阿里云的OSS脚本

#!/bin/bash

oss_size1=`hdfs dfs -du -s oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/test_dbjs_home_nav/${date_desc} | awk '{print $1}'`
if [[ oss_size1 -gt 0 ]]
then echo "${date_desc}数据已存在于oss中，不需要再移动到oss"
else 
    echo "开始移动${date_desc}的数据"
hadoop distcp -skipcrccheck /group/user/tools/meta/hive-temp-table/test_dbjs_home_nav/${date_desc}/* oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/test_dbjs_home_nav/${date_desc}/
fi
oss_size2=`hdfs dfs -du -s oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/test_dbjs_home_nav/${date_desc} | awk '{print $1}'`
if [[ oss_size2 -gt 0 ]]
then echo "${date_desc}数据已存在于oss中，可以删除本地${date_desc}的数据"
    echo "开始删除${date_desc}的数据"
    hdfs dfs -rm -r -skipTrash /group/user/tools/meta/hive-temp-table/test_dbjs_home_nav/${date_desc}
else echo "${date_desc}数据不存在于oss中，暂不删除本地${date_desc}的数据"
fi