txt数据的处理,本篇则讨论下CSV数据的处理。处理的大致思路相同,主要区别在于CSV数据列(或称字段)与列之间用逗号隔开,而txt一般用空格隔开。

CSV格式的介绍来自于网络。

(Comma Separated Values),逗号分隔型取值格式,是一种纯文本格式,用来存储数据,用逗号分隔字段(用vim打开可发现这点)。CSV格式是分隔的数据格式,有字段/列分隔的逗号字符和记录/行分隔换行符。字段包含特殊字符(逗号,换行符,或双引号),必须以双引号括住。行内包含一个项目是空字符串,可以以双引号括住。字段的值包含双引号时,要双写这个双引号(就像把一个双引号当做转义符一样)。

csv逗号分隔java csv格式逗号分隔_csv逗号分隔java

1 excel打开csv文件情形

 

csv逗号分隔java csv格式逗号分隔_csv逗号分隔java_02

2 gvim打开csv文件情形

由图1和图2对比可以看出:

  • 文件字段以逗号作为分隔符,行结束不用逗号 
  • " "括起来;(对比第五行第一列) 
  •  如果行中某一字段为空,能需要逗号分隔以示其存在。(对比第四行第二列)

 

处理要求:现有数据wind_201101.csv(见图3),提取date、vwind两列到新建文件  

          vwind_201101.csv

csv逗号分隔java csv格式逗号分隔_开发工具_03

3  wind_201101.csv


需要解决两个问题:

1.由于awk输入字段分隔符内置变量为FS,默认字段分隔符FS值是空格或tab,而CSV文件字段分隔符是逗号,所以需要改变FS值,有两种方法,通过在BEGIN语句中赋值或命令行加选项-F赋值。

awk -F","  '{print $1 , $3}'  wind_201101.csv

 

csv逗号分隔java csv格式逗号分隔_csv逗号分隔java_04

4 输出结果

2.可以从上图看出,默认输出字段分隔符是单个空格,被保存在内置变量OFS中。如果用OFS默认值,$1和$3之间的逗号会被转换成单个空格,print函数打印这两个字段时会在它们之间加上一个空格。由于要求保存为CSV文件,OFS要设置成逗号分隔符,有两种方法,通过在BEGIN语句中赋值或$1和$3之间逗号加上双引号。

awk -F","  '{print $1 "," $3}'  wind_201101.csv 

 

                      

csv逗号分隔java csv格式逗号分隔_awk_05

5 输出结果

 

3.将输出结果写入vwind_201101.csv中:

awk -F","  '{print $1 "," $3}'  wind_201101.csv > vwind_201101.csv

或 

awk 'BEGIN{FS="," ; OFS="," }{print $1,$3}'  wind_201101.csv >vwind_201101.csv

*******************************************************************************