基本操作
我们先下载个csv文件用作后面的测试数据。
将数据文件 http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data下载到本地,文件路径为 /Users/yangxu/flinkml/data/iris/iris.data,使用文本编辑器打开如下所示,每行为一条数据,每条数据包括4个数值字段和一个字符串字段,各字段间使用逗号分隔。
读取本地数据
使用CsvSourceBatchOp可以批式读CSV格式文件,其必填的两个参数为:filePath和schemaStr。filePath为CSV格式文件所在的路径;schemaStr为数据各字段的名称和类型。关于Schema String更多的介绍可以参见:
Alink品数:Alink Schema String简介【Alink使用技巧】zhuanlan.zhihu.com
可以使用如下脚本,读取数据,并取前5条数据打印显示出来。
source_local = CsvSourceBatchOp()
.setFilePath("/Users/yangxu/flinkml/data/iris/iris.data")
.setSchemaStr("sepal_length double, sepal_width double, petal_length double, petal_width double, category string")
source_local.firstN(5).print()
数据打印显示如下:
注意:CsvSourceBatchOp必填的参数filePath和schema进行赋值,filePath为本地文件存储路径"/Users/yangxu/flinkml/data/iris/iris.data",schema为iris数据集的列名和类型信息,共有5个字段:sepal_length, sepal_width, petal_length, petal_width, category;其数据类型分别为double, double, double, double, string
读取网络数据
相对于前面介绍的读取本地CSV数据,我们只需将数据存储路径参数filePath,赋值为http路径地址即可。脚本如下:
source_url = CsvSourceBatchOp()
.setFilePath("http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data")
.setSchemaStr("sepal_length double, sepal_width double, petal_length double, petal_width double, category string")
source_url.firstN(5).print()
数据打印显示如下:
参数详细说明
Alink CsvSourceBatchOp提供了丰富的读取功能,具体内容可以参阅其参数说明文档:
https://github.com/alibaba/Alink/blob/master/docs/cn/csvsourcebatchop.mdgithub.com
更复杂的例子
对于葡萄酒品质数据集:http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv,我们将其下载达到本地,可以看到其文件内容。
第一行为数据列名的说明,第二行开始是数据,可以看到都是数值类型,各个数之间用分号“;”进行分隔。
我们可以通过设置参数ignoreFirstLine为True,略过第一行;并且可以设置字段分隔符参数fieldDelimiter为分号“;”。另外,由于列名不能包含空格,所以由文件第一列转化来的列名需要进行相应处理,这里我们将其写为驼峰形式;并加上数据类型,这里都是double类型,构成了数据集的SchemaStr。具体的脚本如下:
wine_url = CsvSourceBatchOp()
.setFilePath("http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv")
.setSchemaStr("fixedAcidity double,volatileAcidity double,citricAcid double,residualSugar double,"+
"chlorides double,freeSulfurDioxide double,totalSulfurDioxide double,density double,"+
"pH double,sulphates double,alcohol double,quality double")
.setFieldDelimiter(";")
.setIgnoreFirstLine(True);
wine_url.firstN(5).print()
数据打印显示如下:
可以看到由于每行的数据较多,在显示的时候进行了分段显示,每段数据可以由其最左方的行索引编号关联。