Motivation

  • Spark是基于Hadoop可用的生态系统构建的，因此Spark可以通过Hadoop MapReduce的InputFormat和OutputFormat接口存取数据。
  • Spark所提供的上层接口有这几类：
  • File formats and filesystems: 对于存储在本地或分布式系统的数据，比如NFS，HDFS，Amazon S3。Spark可以访问多种数据格式，包括text，JSON，SequenceFiles，protocol buffers。
  • Structured data sources through Spark SQL: Spark SQL模块提供了结构化数据结构的API，包括JSON和Apache Hive
  • Databases and key/value pairs：包括内置的和第三方的库，可以用来连接Cassandra，HBase，Elasticsearch以及JDBC数据库。

File Formats

  • Spark提供大量的数据格式来使数据加载和存储更加方便。这些包括了非结构化(比如文本)，半结构化(比如JSON)，结构化(比如序列文件)。

格式名称

结构化

评论

Text files

非结构化

Plain old text files. Records are assumed to be one per line.

JSON

半结构化

普通的基于文本的格式，半结构化；大多数库需要每行一个记录

CSV

结构化

非常常见的基于文本的格式，经常和电子表格应用一起使用

SequenceFils

结构化

一个常见的Hadoop文件格式，用于key/value数据

Protocol buffers

结构化

一个快速的，space-efficient多语言格式

Object files

结构化




Useful for saving data from a Spark job to be consumed by shared code. Breaks if you change your classes, as it relies on Java Serialization. 




Text Files

  • 在Spark中，加载和存储文本文件十分方便。当你加载一个文本文件作为RDD时，每一行都变成RDD中的一个元素。
  • 也可以一次加载多个text files到一个pair RDD，key就是文件名，value是文件内容

Loading text file

val input = sc.textFile("file:///home/holden/repos/spark/README.md")
  • 可以通过制定minPartitions来控制partitions的数量
  • 当我们指定目录而非文件时，有两种处理方式：
  • 使用textFile()方法：那么将会把所有部分加载到RDD
  • 使用wholeTextFiles()方法：当我们需要知道输入来自哪个文件或需要一次处理一个文件时，wholeTextFiles()方法会返回一个pair RDD，其中key是文件名。
# get the average value per file
val input = sc.wholeTextFiles("file://home/holden/salesFiles")
val result = input.mapValues{ y =>
    val nums = y.split(" ".map(x => x.toDouble)
    nums.sum / nums.size.toDouble
}

Saving text files

result.saveAsTextFile(outputfile)

JSON

  • 最简单的加载JSON数据的方式是作为文本加载，然后使用JSON parser来映射值。同样的，也可以使用preferred JSON序列化库来将值作为strings写出。
  • 在JAVA和sacla中我们也可以使用自定义的Hadoop format来操作JSON数据

Loading JSON

  • 上面说的以文本方式加载JSON的方法，只能用于每行一个JSON的情况。如果你想处理多行的JSON，你只能加载整个文件，然后parse每一行，这时候如果构建一个JSON parser是昂贵的的话，你可以使用mapPartitions()方法来reuse the parser.
# loading JSON in Scala
import com.fasterxml.jackson.module.scala.DefaultScalaModule
import com.fasterxml.jackson.module.scala.experimental.ScalaObjectMapper
import com.fasterxml.jackson.databind.ObjectMapper
import com.fasterxml.jackson.databind.DeserializationFeature
...
case class Person(name: String, lovesPandas: Boolean) // Must be a top-level class ...
// Parse it into a specific case class. We use flatMap to handle errors
// by returning an empty list (None) if we encounter an issue and a
// list with one element if everything is ok (Some(_)).
val result = input.flatMap(record => {
try {
Some(mapper.readValue(record, classOf[Person]))
} catch {
case e: Exception => None
}})
  • 处理错误格式记录是一个大问题。如果你是简单地skip错误的数据，那么你最好使用accumulators来追踪错误数目。

Saving JSON

# example of python
(data.filter(lambda x: x['lovesPandas']).map(lambda x: json.dumps(x)) .saveAsTextFile(outputFile))

# example of scala
result.filter(p => P.lovesPandas).map(mapper.writeValueAsString(_)) .saveAsTextFile(outputFile)

Comma-Seperated Values and Tab-Separated Values

  • Comma-separated value(CSV) are supposed to contain a fixed number of fields per line, and the fields是逗号分隔的(或是tab分隔的TSV文件)。
  • P79   TBD....