脚本如下:
if [ "$1" == "" ]; then
echo ./genconf.sh [TABLENAME]
exit 1
fi
source ../../../conf.properties
TABLENAME=`basename $1`
conf=conf_$DATE
CF="f"
dt_res=""
function dt {
if [ "$1" == "ROWKEY" ]; then
dt_res=$1":"
else
dt_res=$CF"|"$1":"
fi
shift
if [ "$#" == "1" ]; then
dt_res=$dt_res""
else
dt_res=$dt_res"concat("
fi
for var in $@
do
dt_res=$dt_res"trim("$var"),"
done
# Delete the last ,
dt_res=${dt_res%%,}
if [ "$#" != "1" ]; then
dt_res=$dt_res")"
fi
}
source ../../table_hbase/$TABLENAME
rowSpec=$QUERY
tmp=`cat ../../table_hive/$TABLENAME`
fields=''
for field in $tmp;do
fields=$fields' '$field
done
fields=`echo ${fields:1}`
echo $fields > $TABLENAME.bak
textRecordSpec=`sed 's/ /,/g' $TABLENAME.bak`
rm -f $TABLENAME.bak
tablename=$TABLENAME"_"$DATE
# Get the table source dir
tablesourcedir=`grep $TABLENAME ../../table-oracle-tohbase.list | sed "s/%DATE%/$DATE/g" | awk -F ',' '{print $4}' `
echo "$TABLENAME : $tablesourcedir"
# Get the split key spec
splitkeyspec=`grep $TABLENAME splitkey.conf | awk -F '=' '{print $2}' `
echo "$TABLENAME : $splitkeyspec"
cp template.properties $conf/$tablename.properties
sed -i s/%TABLENAME%/$tablename/g $conf/$tablename.properties ---> s表示替换 g是正则 表示文件所有 %TABLENAME%表示文件中要替换的字符 $tablename是要替换的结果 $tablename.properties是目标文件
sed -i s/%TABLESOURCEDIR%/$tablesourcedir/g $conf/$tablename.properties 是直接在当前目录下将目标文件内容替换成需要的结果
sed -i s/%HDFS_URL%/"$HDFS_URL_SED"/g $conf/$tablename.properties
sed -i s/%BULKLOAD_OUTDIR%/"$BULKLOAD_OUTDIR_SED"/g $conf/$tablename.properties
sed -i s/%TEXTRECORDSPEC%/$textRecordSpec/g $conf/$tablename.properties
sed -i s/%ROWSPEC%/$rowSpec/g $conf/$tablename.properties
sed -i s/%SPLITKEYSPEC%/"$splitkeyspec"/g $conf/$tablename.properties
[root@www ~]# sed [-nefr] [动作]
选项与参数:
-n :使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e :直接在命令列模式上进行 sed 的动作编辑;
-f :直接将 sed 的动作写在一个文件内, -f filename 则可以运行 filename 内的 sed 动作;
-r :sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i :直接修改读取的文件内容,而不是输出到终端。
动作说明: [n1[,n2]]function
n1, n2 :不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作是需要在 10 到 20 行之间进行的,则『 10,20[动作行为] 』
function:
a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~
c :取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!
d :删除,因为是删除啊,所以 d 后面通常不接任何咚咚;
i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
p :列印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行~
s :取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配正规表示法!例如 1,20s/old/new/g 就是啦!