• 中文
    • English
  • 注册
  • 查看作者
  • 源码级深度理解 Java SPI

    SPI 是一种用于动态加载服务的机制。它的核心思想就是解耦,属于典型的微内核架构模式。SPI 在 Java 世界应用非常广泛,如:Dubbo、Spring Boot 等框架。本文从源码入手分析,深入探讨 Java SPI 的特性、原理,以及在一些比较经典领域的应用。

    一、SPI 简介

    SPI 全称 Service Provider Interface,是 Java 提供的,旨在由第三方实现或扩展的 API,它是一种用于动态加载服务的机制。Java 中 SPI 机制主要思想是将装配的控制权移到程序之外,在模块化设计中这个机制尤其重要,其核心思想就是 解耦。

    Java SPI 有四个要素:

    • SPI 接口: 为服务提供者实现类约定的的接口或抽象类。

    • SPI 实现类: 实际提供服务的实现类。

    • SPI 配置: Java SPI 机制约定的配置文件,提供查找服务实现类的逻辑。配置文件必须置于 META-INF/services 目录中,并且,文件名应与服务提供者接口的完全限定名保持一致。文件中的每一行都有一个实现服务类的详细信息,同样是服务提供者类的完全限定名称。

    • ServiceLoader: Java SPI 的核心类,用于加载 SPI 实现类。ServiceLoader 中有各种实用方法来获取特定实现、迭代它们或重新加载服务。

    二、SPI 示例

    正所谓,实践出真知,我们不妨通过一个具体的示例来看一下,如何使用 Java SPI。

    2.1 SPI 接口

    首先,需要定义一个 SPI 接口,和普通接口并没有什么差别。

    2.2 SPI 实现类

    假设,我们需要在程序中使用两种不同的数据存储——MySQL 和 Redis。因此,我们需要两个不同的实现类去分别完成相应工作。

    MySQL查询 MOCK 类

    Redis 查询 MOCK 类

    service 传入的是期望加载的 SPI 接口类型 到目前为止,定义接口,并实现接口和普通的 Java 接口实现没有任何不同。

    2.3 SPI 配置

    如果想通过 Java SPI 机制来发现服务,就需要在 SPI 配置中约定好发现服务的逻辑。配置文件必须置于 META-INF/services 目录中,并且,文件名应与服务提供者接口的完全限定名保持一致。文件中的每一行都有一个实现服务类的详细信息,同样是服务提供者类的完全限定名称。以本示例代码为例,其文件名应该为io.github.dunwu.javacore.spi.DataStorage,

    文件中的内容如下:

    2.4 ServiceLoader

    完成了上面的步骤,就可以通过 ServiceLoader 来加载服务。示例如下:

    输出:

    三、SPI 原理

    上文中,我们已经了解 Java SPI 的要素以及使用 Java SPI 的方法。你有没有想过,Java SPI 和普通 Java 接口有何不同,Java SPI 是如何工作的。实际上,Java SPI 机制依赖于 ServiceLoader 类去解析、加载服务。因此,掌握了 ServiceLoader 的工作流程,就掌握了 SPI 的原理。ServiceLoader 的代码本身很精练,接下来,让我们通过走读源码的方式,逐一理解 ServiceLoader 的工作流程。

    3.1 ServiceLoader 的成员变量

    先看一下 ServiceLoader 类的成员变量,大致有个印象,后面的源码中都会使用到。

    3.2 ServiceLoader 的工作流程

    (1)ServiceLoader.load 静态方法

    应用程序加载 Java SPI 服务,都是先调用 ServiceLoader.load 静态方法。

    ServiceLoader.load 静态方法的作用是:

    ① 指定类加载 ClassLoader 和访问控制上下文;

    ② 然后,重新加载 SPI 服务

    • 清空缓存中所有已实例化的 SPI 服务

    • 根据 ClassLoader 和 SPI 类型,创建懒加载迭代器

    这里,摘录 ServiceLoader.load 相关源码,如下:

    (2)应用程序通过 ServiceLoader 的 iterator 方法遍历 SPI 实例

    ServiceLoader 的类定义,明确了 ServiceLoader 类实现了  Iterable  接口,所以,它是可以迭代遍历的。实际上,ServiceLoader 类维护了一个缓存 providers(  LinkedHashMap  对象),缓存 providers 中保存了已经被成功加载的 SPI 实例,这个 Map 的 key 是 SPI 接口实现类的全限定名,value 是该实现类的一个实例对象。

    当应用程序调用 ServiceLoader 的 iterator 方法时,ServiceLoader 会先判断缓存 providers 中是否有数据:如果有,则直接返回缓存 providers 的迭代器;如果没有,则返回懒加载迭代器的迭代器。

    (3)懒加载迭代器的工作流程

    上面的源码中提到了,lookupIterator 是 LazyIterator 实例,而 LazyIterator 用于懒加载 SPI 实例。那么, LazyIterator 是如何工作的呢?

    这里,摘取 LazyIterator 关键代码

    • 拼接  META-INF/services/  + SPI 接口全限定名

    • 通过类加载器,尝试加载资源文件

    • 解析资源文件中的内容,获取 SPI 接口的实现类的全限定名 nextName

    • hasNextService() 方法解析出了 SPI 实现类的的全限定名 nextName,通过反射,获取 SPI 实现类的类定义 Class。

    • 然后,尝试通过 Class 的 newInstance 方法实例化一个 SPI 服务对象。如果成功,则将这个对象加入到缓存 providers 中并返回该对象。

    3.3 SPI 和类加载器

    通过上面两个章节中,走读 ServiceLoader 代码,我们已经大致了解 Java SPI 的工作原理,即通过 ClassLoader 加载 SPI 配置文件,解析 SPI 服务,然后通过反射,实例化 SPI 服务实例。我们不妨思考一下,为什么加载 SPI 服务时,需要指定类加载器 ClassLoader 呢?

    学习过 JVM 的读者,想必都了解过类加载器的 双亲委派模型 (Parents Delegation Model)。双亲委派模型要求除了顶层的 BootstrapClassLoader 外,其余的类加载器都应有自己的父类加载器。这里类加载器之间的父子关系一般通过组合(Composition)关系来实现,而不是通过继承(Inheritance)的关系实现。

    双亲委派机制约定了: 一个类加载器首先将类加载请求传送到父类加载器,只有当父类加载器无法完成类加载请求时才尝试加载。

    双亲委派的好处: 使得 Java 类伴随着它的类加载器,天然具备一种带有优先级的层次关系,从而使得类加载得到统一,不会出现重复加载的问题:

    1. 系统类防止内存中出现多份同样的字节码

    2. 保证 Java 程序安全稳定运行

    例如:java.lang.Object 存放在 rt.jar 中,如果编写另外一个 java.lang.Object 的类并放到 classpath 中,程序可以编译通过。因为双亲委派模型的存在,所以在 rt.jar 中的 Object 比在 classpath 中的 Object 优先级更高,因为 rt.jar 中的 Object 使用的是启动类加载器,而 classpath 中的 Object 使用的是应用程序类加载器。正因为 rt.jar 中的 Object 优先级更高,因为程序中所有的 Object 都是这个 Object。

    双亲委派的限制: 子类加载器可以使用父类加载器已经加载的类,而父类加载器无法使用子类加载器已经加载的。——这就导致了双亲委派模型并不能解决所有的类加载器问题。Java SPI 就面临着这样的问题:

    • SPI 的接口是 Java 核心库的一部分,是由 BootstrapClassLoader 加载的;

    • 而 SPI 实现的 Java 类一般是由 AppClassLoader 来加载的。BootstrapClassLoader 是无法找到 SPI 的实现类的,因为它只加载 Java 的核心库。它也不能代理给 AppClassLoader,因为它是最顶层的类加载器。这也解释了本节开始的问题——为什么加载 SPI 服务时,需要指定类加载器 ClassLoader 呢?因为如果不指定 ClassLoader,则无法获取 SPI 服务。

    如果不做任何的设置,Java 应用的线程的上下文类加载器默认就是 AppClassLoader。在核心类库使用 SPI 接口时,传递的类加载器使用线程上下文类加载器,就可以成功的加载到 SPI 实现的类。线程上下文类加载器在很多 SPI 的实现中都会用到。

    通常可以通过Thread.currentThread().getClassLoader()和 Thread.currentThread().getContextClassLoader() 获取线程上下文类加载器。

    3.4 Java SPI 的不足

    Java SPI 存在一些不足:

    • 不能按需加载,需要遍历所有的实现,并实例化,然后在循环中才能找到我们需要的实现。如果不想用某些实现类,或者某些类实例化很耗时,它也被载入并实例化了,这就造成了浪费。

    • 获取某个实现类的方式不够灵活,只能通过 Iterator 形式获取,不能根据某个参数来获取对应的实现类。

    • 多个并发多线程使用 ServiceLoader 类的实例是不安全的。

    四、SPI 应用场景

    SPI 在 Java 开发中应用十分广泛。首先,在 Java 的 java.util.spi package 中就约定了很多 SPI 接口。下面,列举一些 SPI 接口:

    • : 为 TimeZone 类提供本地化的时区名称。

    • : 为指定的语言环境提供日期和时间格式。

    • : 为 NumberFormat 类提供货币、整数和百分比值。

    • : 从 4.0 版开始,JDBC API 支持 SPI 模式。旧版本使用 Class.forName() 方法加载驱动程序。

    • : 提供 JPA API 的实现。

    • 等等

    除此以外,SPI 还有很多应用,下面列举几个经典案例。

    4.1 SPI 应用案例之 JDBC DriverManager

    作为 Java 工程师,尤其是 CRUD 工程师,相必都非常熟悉 JDBC。众所周知,关系型数据库有很多种,如:MySQL、Oracle、PostgreSQL 等等。JDBC 如何识别各种数据库的驱动呢?

    4.1.1 创建数据库连接

    我们先回顾一下,JDBC 如何创建数据库连接的呢?

    在 JDBC4.0 之前,连接数据库的时候,通常会用 Class.forName(XXX) 方法来加载数据库相应的驱动,然后再获取数据库连接,继而进行 CRUD 等操作。

    而 JDBC4.0 之后,不再需要用Class.forName(XXX) 方法来加载数据库驱动,直接获取连接就可以了。显然,这种方式很方便,但是如何做到的呢?

    (1)JDBC 接口: 首先,Java 中内置了接口 java.sql.Driver。

    (2)JDBC 接口实现: 各个数据库的驱动自行实现 java.sql.Driver 接口,用于管理数据库连接。

    • MySQL:在 MySQL的 Java 驱动包 mysql-connector-java-XXX.jar 中,可以找到 META-INF/services 目录,该目录下会有一个名字为java.sql.Driver 的文件,文件内容是com.mysql.cj.jdbc.Driver。

    com.mysql.cj.jdbc.Driver 正是 MySQL 版的 java.sql.Driver 实现。如下图所示:

    源码级深度理解 Java SPI

    • PostgreSQL 实现:在 PostgreSQL 的 Java 驱动包 postgresql-42.0.0.jar 中,也可以找到同样的配置文件,文件内容是 org.postgresql.Driver,org.postgresql.Driver 正是 PostgreSQL 版的 java.sql.Driver 实现。

    (3)创建数据库连接

    以 MySQL 为例,创建数据库连接代码如下:

    4.1.2 DriverManager

    从前文,我们已经知道 DriverManager 是创建数据库连接的关键。它究竟是如何工作的呢?

    可以看到是加载实例化驱动的,接着看 loadInitialDrivers 方法:

    上面的代码主要步骤是:

    1. 从系统变量中获取驱动的实现类。

    2. 利用 SPI 来获取所有驱动的实现类。

    3. 遍历所有驱动,尝试实例化各个实现类。

    4. 根据第 1 步获取到的驱动列表来实例化具体的实现类。

    需要关注的是下面这行代码:

    这里实际获取的是java.util.ServiceLoader.LazyIterator 迭代器。调用其 hasNext 方法时,会搜索 classpath 下以及 jar 包中的 META-INF/services 目录,查找 java.sql.Driver 文件,并找到文件中的驱动实现类的全限定名。调用其 next 方法时,会根据驱动类的全限定名去尝试实例化一个驱动类的对象。

    4.2 SPI 应用案例之 Common-Loggin

    common-logging(也称 Jakarta Commons Logging,缩写 JCL)是常用的日志门面工具包。common-logging 的核心类是入口是 LogFactory,LogFatory 是一个抽象类,它负责加载具体的日志实现。

    其入口方法是 LogFactory.getLog 方法,源码如下:

    从以上源码可知,getLog 采用了工厂设计模式,是先调用 getFactory 方法获取具体日志库的工厂类,然后根据类名称或类型创建日志实例。

    LogFatory.getFactory 方法负责选出匹配的日志工厂,其源码如下:

    从 getFactory 方法的源码可以看出,其核心逻辑分为 4 步:

    • 首先,尝试查找全局属性org.apache.commons.logging.LogFactory,如果指定了具体类,尝试创建实例。

    • 利用 Java SPI 机制,尝试在 classpatch 的 META-INF/services 目录下寻找org.apache.commons.logging.LogFactory 的实现类。

    • 尝试从 classpath 目录下的 commons-logging.properties 文件中查找org.apache.commons.logging.LogFactory 属性,如果指定了具体类,尝试创建实例。

    • 以上情况如果都不满足,则实例化默认实现类,即org.apache.commons.logging.impl.LogFactoryImpl。

    4.3 SPI 应用案例之 Spring Boot

    Spring Boot 是基于 Spring 构建的框架,其设计目的在于简化 Spring 应用的配置、运行。在 Spring Boot 中,大量运用了自动装配来尽可能减少配置。

    下面是一个 Spring Boot 入口示例,可以看到,代码非常简洁。

    那么,Spring Boot 是如何做到寥寥几行代码,就可以运行一个 Spring Boot 应用的呢。我们不妨带着疑问,从源码入手,一步步探究其原理。

    4.3.1 @SpringBootApplication 注解

    首先,Spring Boot 应用的启动类上都会标记一个

    @SpringBootApplication 注解。

    @SpringBootApplication 注解定义如下:

    除了 @Target、 @Retention、@Documented、@Inherited 这几个元注解, 

    @SpringBootApplication 注解的定义中还标记了 @SpringBootConfiguration、@EnableAutoConfiguration、@ComponentScan 三个注解。

    4.3.2 @SpringBootConfiguration 注解

    从@SpringBootConfiguration 注解的定义来看,@SpringBootConfiguration 注解本质上就是一个 @Configuration 注解,这意味着被@SpringBootConfiguration 注解修饰的类会被 Spring Boot 识别为一个配置类。

    4.3.3 @EnableAutoConfiguration 注解

    @EnableAutoConfiguration 注解定义如下:

    @EnableAutoConfiguration 注解包含了 @AutoConfigurationPackage与 @Import({AutoConfigurationImportSelector.class}) 两个注解。

    4.3.4 @AutoConfigurationPackage 注解

    @AutoConfigurationPackage 会将被修饰的类作为主配置类,该类所在的 package 会被视为根路径,Spring Boot 默认会自动扫描根路径下的所有 Spring Bean(被 @Component 以及继承 @Component 的各个注解所修饰的类)。——这就是为什么 Spring Boot 的启动类一般要置于根路径的原因。这个功能等同于在 Spring xml 配置中通过 context:component-scan 来指定扫描路径。@Import 注解的作用是向 Spring 容器中直接注入指定组件。@AutoConfigurationPackage 注解中注明了@Import({Registrar.class})。Registrar 类用于保存 Spring Boot 的入口类、根路径等信息。

    4.3.5 SpringFactoriesLoader.loadFactoryNames 方法

    @Import(AutoConfigurationImportSelector.class) 表示直接注入AutoConfigurationImportSelector。

    AutoConfigurationImportSelector 有一个核心方法getCandidateConfigurations 用于获取候选配置。该方法调用了SpringFactoriesLoader.loadFactoryNames 方法,这个方法即为 Spring Boot SPI 的关键,它负责加载所有 META-INF/spring.factories 文件,加载的过程由 SpringFactoriesLoader 负责。

    Spring Boot 的 META-INF/spring.factories 文件本质上就是一个 properties 文件,数据内容就是一个个键值对。

    SpringFactoriesLoader.loadFactoryNames 方法的关键源码:

    归纳上面的方法,主要作了这些事:

    加载所有 META-INF/spring.factories 文件,加载过程有 SpringFactoriesLoader 负责。

    • 在 CLASSPATH 中搜寻所有 META-INF/spring.factories 配置文件。

    • 然后,解析 spring.factories 文件,获取指定自动装配类的全限定名。

    4.3.6 Spring Boot 的 AutoConfiguration 类

    Spring Boot 有各种 starter 包,可以根据实际项目需要,按需取材。在项目开发中,只要将 starter 包引入,我们就可以用很少的配置,甚至什么都不配置,即可获取相关的能力。通过前面的 Spring Boot SPI 流程,只完成了自动装配工作的一半,剩下的工作如何处理呢 ?

    以 spring-boot-starter-web 的 jar 包为例,查看其 maven pom,可以看到,它依赖于 spring-boot-starter,所有 Spring Boot 官方 starter 包都会依赖于这个 jar 包。而 spring-boot-starter 又依赖于 spring-boot-autoconfigure,Spring Boot 的自动装配秘密,就在于这个 jar 包。

    从 spring-boot-autoconfigure 包的结构来看,它有一个 META-INF/spring.factories ,显然利用了 Spring Boot SPI,来自动装配其中的配置类。

    源码级深度理解 Java SPI

    下图是 spring-boot-autoconfigure 的 META-INF/spring.factories 文件的部分内容,可以看到其中注册了一长串会被自动加载的 AutoConfiguration 类。

    源码级深度理解 Java SPI

    以 RedisAutoConfiguration 为例,这个配置类中,会根据 @ConditionalXXX 中的条件去决定是否实例化对应的 Bean,实例化 Bean 所依赖的重要参数则通过 RedisProperties 传入。

    源码级深度理解 Java SPI

    RedisProperties 中维护了 Redis 连接所需要的关键属性,只要在 yml 或 properties 配置文件中,指定 spring.redis 开头的属性,都会被自动装载到 RedisProperties 实例中。

    源码级深度理解 Java SPI

    通过以上分析,已经一步步解读出 Spring Boot 自动装载的原理。

    五、SPI 应用案例之 Dubbo

    Dubbo 并未使用 Java SPI,而是自己封装了一套新的 SPI 机制。Dubbo SPI 所需的配置文件需放置在 META-INF/dubbo 路径下,配置内容形式如下:

    与 Java SPI 实现类配置不同,Dubbo SPI 是通过键值对的方式进行配置,这样可以按需加载指定的实现类。Dubbo SPI 除了支持按需加载接口实现类,还增加了 IOC 和 AOP 等特性。

    5.1 ExtensionLoader 入口

    Dubbo SPI 的相关逻辑被封装在了 ExtensionLoader 类中,通过 ExtensionLoader,可以加载指定的实现类。

    ExtensionLoader 的 getExtension 方法是其入口方法,其源码如下:

    可以看出,这个方法的作用就是:首先检查缓存,缓存未命中则调用 createExtension 方法创建拓展对象。那么,createExtension 是如何创建拓展对象的呢,其源码如下:

    createExtension 方法的的工作步骤可以归纳为:

    1. 通过 getExtensionClasses 获取所有的拓展类

    2. 通过反射创建拓展对象

    3. 向拓展对象中注入依赖

    4. 将拓展对象包裹在相应的 Wrapper 对象中

    以上步骤中,第一个步骤是加载拓展类的关键,第三和第四个步骤是 Dubbo IOC 与 AOP 的具体实现。

    5.2 获取所有的拓展类

    Dubbo 在通过名称获取拓展类之前,首先需要根据配置文件解析出拓展项名称到拓展类的映射关系表(Map<名称, 拓展类>),之后再根据拓展项名称从映射关系表中取出相应的拓展类即可。相关过程的代码分析如下:

    这里也是先检查缓存,若缓存未命中,则通过 synchronized 加锁。加锁后再次检查缓存,并判空。此时如果 classes 仍为 null,则通过 loadExtensionClasses 加载拓展类。下面分析 loadExtensionClasses 方法的逻辑。

    loadExtensionClasses 方法总共做了两件事情,一是对 SPI 注解进行解析,二是调用 loadDirectory 方法加载指定文件夹配置文件。SPI 注解解析过程比较简单,无需多说。下面我们来看一下 loadDirectory 做了哪些事情。

    loadDirectory 方法先通过 classLoader 获取所有资源链接,然后再通过 loadResource 方法加载资源。我们继续跟下去,看一下 loadResource 方法的实现。

    loadResource 方法用于读取和解析配置文件,并通过反射加载类,最后调用 loadClass 方法进行其他操作。loadClass 方法用于主要用于操作缓存,该方法的逻辑如下:

    如上,loadClass 方法操作了不同的缓存,比如 cachedAdaptiveClass、cachedWrapperClasses 和 cachedNames 等等。除此之外,该方法没有其他什么逻辑了。

    参考资料

  • 0
  • 0
  • 0
  • 91
  • 请登录之后再进行评论

    登录
  • 任务
  • 实时动态
  • 发布
  • 单栏布局 侧栏位置: