Maven工程对应相关依赖查询

  • 前言
  • 正文


前言

Spark Structured Streaming+Kafka+Hbase Scala版例子，整体入口。

正文

这个其实很简单，但是我发现我手下的开发人员确实有不知道怎么查的，就简单介绍一下。

我一般就是直接在这个网址查
https://mvnrepository.com/

最简单的办法就是百度搜你要的框架名+maven，一般前几个结果里就是这个网站。
例如我现在要开发spark,那么我百度搜spark-sql maven，记得2个关键字中间带个空格.

进去之后如下图：

spark怎么maven地址 spark maven依赖_solr

选择你对应的版本号，这里要注意2个版本号，一个是你使用集群对应的版本号，比如我用的CDH7.1.4，对应的Spark版本就是2.4.5，我用的scala版本是2.12。所以我用的依赖就是

spark怎么maven地址 spark maven依赖_solr_02


我是WINDOWS本地跑所以scope要去掉

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql-kafka-0-10_2.12</artifactId>
            <version>2.4.5</version>
<!--            <scope>test</scope>-->
        </dependency>

这里在说一个这个网站使用的小技巧，教你在你不知道用什么版本依赖的时候怎么去选择版本。
例如我的CDP7.1.4里使用的Solr8.4.1版本，我要用spring data for sorl框架来开发，而spring data的版本号跟solr版本不是对应的关系，也就是不存在spring data for sorl8.4.1版，它是按spring data 的版本来编号的，那么我怎么知道我应该采用用哪个版本的依赖呢，如下图，在上一张图片那个页面的基础上往下拉，你会看到你使用的框架本身使用的依赖，这里我换成spring data for sorl来举例子

注意第一章图，我打开的版本是

spring-data-solr/4.1.13.RELEASE版，这个版本使用的sorl驱动是8.2.0，而我的版本是8.4.1，很明显如果我用spring-data-solr/4.1.13.RELEASE这个版本会导致我的驱动版本比我实际的solr要低2个小版本，低版本驱动去驱动高版本的库有的时候会出问题。

spark怎么maven地址 spark maven依赖_spring_03


所以这个时候我就查询spring-data-solr/4.1.13.RELEASE的下一个版本，4.1.13已经是我写这篇文章时候最高的版本号了，

他的下一个版本是4.2.0，如下图，4.2.0的依赖的solr驱动是8.5.1，比我的8.4.1多了一个中间的版本号，但是本身spring-data-solr没有支持8.4.1的驱动，但是正常驱动肯定会向下兼容，所以我的最终选择一定是spring-data-solr/4.2.0.RELEASE：

spark怎么maven地址 spark maven依赖_spring_04