Spring Cloud Data Flow 介绍
需要JAVA Spring Cloud大型企业分布式微服务云构建的B2B2C电子商务平台源码 一零三八七七四六二六
1.Data flow 是一个用于开发和执行大范围数据处理其模式包括ETL,批量运算和持续运算的统一编程模型和托管服务。
2.对于在现代运行环境中可组合的微服务程序来说,spring cloud data flow是一个原生云可编配的服务。 使用spring cloud data flow,开发者可以为像数据抽取,实时分析,和数据导入/导出这种常见用例创建和编配数据通道 (data pipelines)。
3.Spring cloud data flow 是基于原生云对 spring XD的重新设计,该项目目标是简化大数据应用的开发。 Spring XD 的流处理和批处理模块的重构分别是基于 spring boot的stream 和 task/batch 的微服务程序。
这些程序现在都是自动部署单元而且他们原生的支持像 Cloud Foundry、Apache YARN、Apache Mesos和Kubernetes 等现代运行环境。
4.Spring cloud data flow 为基于微服务的分布式流处理和批处理数据通道提供了一系列模型和最佳实践。
特点
1.使用DSL,REST-APIs,Dashboard,和 drag-and-drop gui开发
2.独立的创建,单元测试,故障排除,和管理微服务程序
3.使用开箱即用的stream和task/batch应用迅速的构建数据通道
4.把微服务作为maven或者docker的构件
5.在不中断数据流的情况下扩展数据通道
6.在现代运行环境平台上编配以数据为中心的应用程序
7.利用度量,健康检查远程管理每一个微服务程序
架构
Spring cloud data flow 简化了应用程序的开发和部署 将精力集中到数据处理的用例上主要的架构概念在 应用程序、data flow 服务器和目标运行环境上
应用程序有两个特点:
1.周期长的流处理,程序通过消息中间件消费和产生连续不断的数据
2.短周期的任务处理,程序处理有限的数据集合然后中断
取决于运行环境,应用程序可以有两种打包方式
1.spring boot 打成jar包可以托管在一个maven仓库,文件,http或者是其他spring资源实现
2.Docker
对比其他架构平台: Spring Cloud Data Flow的架构风格不同于其他流处理和批处理平台。例如Apache Spark,Apache Flink,和Google Cloud Dataflow 应用程序运行在特定的计算引擎集群里。
相比Spring Cloud Data Flow,这些计算引擎原生的给平台提供一个丰富的环境去执行复 杂的数据运算,但是在别的运行环境引入复杂性,往往是不需要的。这不意味着你用 Spring Cloud Data Flow 就不能做实时数据计算。
类似的,Apache Storm,Hortonworks DataFlow 和Spring Cloud Data Flow的前身,Spring XD,都指定了程序运行集群,每个产品的独特性,决定了你的代码要在平台上运行并进行健康检查确保长周期应用在运行失败的时候可以重新启动。通常,我们为了能正确的嵌入到集群执行框架需要实现框架指定接口。
