基本操作

我们先下载个csv文件用作后面的测试数据。
将数据文件 http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data下载到本地,文件路径为 /Users/yangxu/flinkml/data/iris/iris.data,使用文本编辑器打开如下所示,每行为一条数据,每条数据包括4个数值字段和一个字符串字段,各字段间使用逗号分隔。


RESTful API读取flink指标 flink读取csv_读取blob


读取本地数据

使用CsvSourceBatchOp可以批式读CSV格式文件,其必填的两个参数为:filePath和schemaStr。filePath为CSV格式文件所在的路径;schemaStr为数据各字段的名称和类型。关于Schema String更多的介绍可以参见:

Alink品数:Alink Schema String简介【Alink使用技巧】zhuanlan.zhihu.com


可以使用如下脚本,读取数据,并取前5条数据打印显示出来。


source_local = CsvSourceBatchOp()
    .setFilePath("/Users/yangxu/flinkml/data/iris/iris.data")
    .setSchemaStr("sepal_length double, sepal_width double, petal_length double, petal_width double, category string")
source_local.firstN(5).print()


数据打印显示如下:


RESTful API读取flink指标 flink读取csv_字段_02


注意:CsvSourceBatchOp必填的参数filePath和schema进行赋值,filePath为本地文件存储路径"/Users/yangxu/flinkml/data/iris/iris.data",schema为iris数据集的列名和类型信息,共有5个字段:sepal_length, sepal_width, petal_length, petal_width, category;其数据类型分别为double, double, double, double, string

读取网络数据

相对于前面介绍的读取本地CSV数据,我们只需将数据存储路径参数filePath,赋值为http路径地址即可。脚本如下:


source_url = CsvSourceBatchOp()
    .setFilePath("http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data")
    .setSchemaStr("sepal_length double, sepal_width double, petal_length double, petal_width double, category string")
source_url.firstN(5).print()


数据打印显示如下:


RESTful API读取flink指标 flink读取csv_数据_03


参数详细说明

Alink CsvSourceBatchOp提供了丰富的读取功能,具体内容可以参阅其参数说明文档:

https://github.com/alibaba/Alink/blob/master/docs/cn/csvsourcebatchop.mdgithub.com


RESTful API读取flink指标 flink读取csv_ci_04


更复杂的例子

对于葡萄酒品质数据集:http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv,我们将其下载达到本地,可以看到其文件内容。


RESTful API读取flink指标 flink读取csv_字段_05


第一行为数据列名的说明,第二行开始是数据,可以看到都是数值类型,各个数之间用分号“;”进行分隔。

我们可以通过设置参数ignoreFirstLine为True,略过第一行;并且可以设置字段分隔符参数fieldDelimiter为分号“;”。另外,由于列名不能包含空格,所以由文件第一列转化来的列名需要进行相应处理,这里我们将其写为驼峰形式;并加上数据类型,这里都是double类型,构成了数据集的SchemaStr。具体的脚本如下:


wine_url = CsvSourceBatchOp()
    .setFilePath("http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv")
    .setSchemaStr("fixedAcidity double,volatileAcidity double,citricAcid double,residualSugar double,"+
                  "chlorides double,freeSulfurDioxide double,totalSulfurDioxide double,density double,"+
                  "pH double,sulphates double,alcohol double,quality double")
    .setFieldDelimiter(";")
    .setIgnoreFirstLine(True);
wine_url.firstN(5).print()


数据打印显示如下:


RESTful API读取flink指标 flink读取csv_字段_06


可以看到由于每行的数据较多,在显示的时候进行了分段显示,每段数据可以由其最左方的行索引编号关联。