val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://hadoop000:3306").option("dbtable", "hive.dept").option("user", "root").option("password", "123456").load()
jdbcDF.createOrReplaceTempView("dept")
val hiveDF = sql("SELECT * FROM emp")
val sqlDF = sql("SELECT * FROM emp e JOIN dept d ON e.deptno = d.deptno").show
sqlDF.write.format("json").save("file:///empJoinDept.json")
Spark SQL读取MySQL的dept和hive的emp表,做join和分组查询,后写到json
原创
©著作权归作者所有:来自51CTO博客作者Stitch_x的原创作品,请联系作者获取转载授权,否则将追究法律责任
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
spark读取对指定字段数据进行更新插入 spark读取多个topic
Kafka topic及partition设计 1、对于银行应用日志,一个系统建一个topic,每台主机对应一个partition,规则为,flume采集时,同一个应用,数据送到同一个topic,一个主机,送一个partition,这样做是为了同一个日志的数据在一个partition中,顺序不会乱。另,flume配置文件可以配置sink的topic和partit
sparkStreaming kafka flume配置文件 Recevier与Director spark