1、spark 概述Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎Spark Core中提供了Spark的最基础的与最核心的功能Spark SQL是Spark用来操作结构化数据的组件Spark Streaming是Spark平台上针对实时数据进行流式计算的APISpark MLib 是Spark提供一个机器学习算法库Spark GraphX 是spark面向图计算提供的框架与算法Spark 3.0默认使用的scala编译版本为2.122、wordcount案例使用
spark sql 读取mysql的数据;spark sql 写入数据到mysql中
hadoop 2.7. 7 完全分布式 + spark 2.1.1 完全分布式部署
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号