Dubbo之SPI原始碼分析

土豆肉絲蓋澆飯發表於2019-03-04

1.Dubbo SPI介紹

Dubbo的擴充套件點載入機制,用於在程式執行時,通過引數的不同,載入同一介面的不同實現。
同時也提供了類似aop與ioc的功能。

2.使用方式

2.1 直接獲取擴充套件點

ExtensionLoader.getExtensionLoader(WrappedExt.class).getExtension("XXX");
複製程式碼

直接獲取具體的擴充套件點實現,會進行擴充套件點自動包裝(aop)以及擴充套件點自動裝配(ioc)

2.2 獲取擴充套件點適配類

private Protocol protocol = ExtensionLoader.getExtensionLoader(Protocol.class).getAdaptiveExtension();
複製程式碼

獲取擴充套件點的適配類。如果是框架建立的適配類,介面方法在執行時根據url中key對應的value呼叫不同SPI實現。而自定義適配類,可以自行編寫邏輯決定呼叫那個SPI實現。也會觸發擴充套件點自動裝配(ioc)

2.3 獲取自動啟用擴充套件點

ExtensionLoader.getExtensionLoader(Filter.class).getActivateExtension(invoker.getUrl(), key, group)
複製程式碼

這個特性主要使用在ProtocolFilterWrapper中,用於獲取invoker的Filter攔截器鏈,group分為consumer和provider,兩者的攔截器鏈不同。

3.特性介紹

1.擴充套件點自動注入
如果當前擴充套件點內有其他擴充套件點,會自動注入這些擴充套件點的適配物件
2.擴充套件點自動包裝
如果擴充套件點實現中有建構函式的引數為當前擴充套件點介面的,會被識別為包裝類,獲取其他擴充套件點時,會通過這個包裝類包裝,如果有多個包裝類,包裝多次
3.擴充套件點自動適配
每次擴充套件點有且僅有一個適配類(通過@Adaptive註解),如果不存在,框架會在獲取適配物件的時候自動建立。適配物件用於在執行時根據url的引數或者其他自行實現邏輯選擇呼叫具體某個SPI實現
4.擴充套件點自動啟用
通過呼叫ExtensionLoader#getActivateExtension(URL, String, String)篩選出滿足條件的SPI實現。

4.原始碼分析

SPI的邏輯主要實現在ExtensionLoader,我們從實際使用方式的角度進行原始碼分析,每個特性都會涉及。

獲取ExtensionLoader

我們通過getExtensionLoader獲取SPI介面對應的ExtensionLoader,獲取之後會把這個ExtensionLoader快取下來

public static <T> ExtensionLoader<T> getExtensionLoader(Class<T> type) {
        if (type == null)
            throw new IllegalArgumentException("Extension type == null");
        //必須是介面
        if (!type.isInterface()) {
            throw new IllegalArgumentException("Extension type(" + type + ") is not interface!");
        }
        //介面類 必須要有SPI註解
        if (!withExtensionAnnotation(type)) {
            throw new IllegalArgumentException("Extension type(" + type +
                    ") is not extension, because WITHOUT @" + SPI.class.getSimpleName() + " Annotation!");
        }
        //快取ExtensionLoader到EXTENSION_LOADERS
        ExtensionLoader<T> loader = (ExtensionLoader<T>) EXTENSION_LOADERS.get(type);
        if (loader == null) {
            EXTENSION_LOADERS.putIfAbsent(type, new ExtensionLoader<T>(type));
            loader = (ExtensionLoader<T>) EXTENSION_LOADERS.get(type);
        }
        return loader;
    }
複製程式碼

獲取ExtensionLoader這個過程只是新建了ExtensionLoader,不會觸發配置載入

private ExtensionLoader(Class<?> type) {
        this.type = type;
        objectFactory = (type == ExtensionFactory.class ? null : ExtensionLoader.getExtensionLoader(ExtensionFactory.class).getAdaptiveExtension());
    }
複製程式碼

ExtensionLoader快取在下面的容器中

    private static final ConcurrentMap<Class<?>, ExtensionLoader<?>> EXTENSION_LOADERS = new ConcurrentHashMap<Class<?>, ExtensionLoader<?>>();

複製程式碼

也就是我們的每個SPI介面都會對應一個ExtensionLoader例項

配置載入

ExtensionLoader通過getExtensionClasses來載入配置,觸發配置檔案件載入並不是在ExtensionLoader例項化的時候,而是在實際獲取擴充套件點的時候。

private Map<String, Class<?>> getExtensionClasses() {
        Map<String, Class<?>> classes = cachedClasses.get();
        //通過cachedClasses是否被設定,來判斷是否進行過配置載入
        if (classes == null) {
            synchronized (cachedClasses) {
                classes = cachedClasses.get();
                if (classes == null) {
                    //從檔案載入擴充套件點配置
                    classes = loadExtensionClasses();
                    cachedClasses.set(classes);
                }
            }
        }
        return classes;
    }
複製程式碼

如果配置沒有載入過,通過loadExtensionClasses載入配置

private Map<String, Class<?>> loadExtensionClasses() {
        //從SPI註解提取預設SPI實現
        //只能有一個預設實現
        final SPI defaultAnnotation = type.getAnnotation(SPI.class);
        if (defaultAnnotation != null) {
            String value = defaultAnnotation.value();
            if ((value = value.trim()).length() > 0) {
                String[] names = NAME_SEPARATOR.split(value);
                if (names.length > 1) {
                    throw new IllegalStateException("more than 1 default extension name on extension " + type.getName()
                            + ": " + Arrays.toString(names));
                }
                if (names.length == 1) cachedDefaultName = names[0];
            }
        }

        Map<String, Class<?>> extensionClasses = new HashMap<String, Class<?>>();
        //從三個預設目錄下面載入配置檔案
        loadDirectory(extensionClasses, DUBBO_INTERNAL_DIRECTORY);
        loadDirectory(extensionClasses, DUBBO_DIRECTORY);
        loadDirectory(extensionClasses, SERVICES_DIRECTORY);
        return extensionClasses;
    }
複製程式碼

可以看到,會通過loadDirectory方法從三個預設目錄載入配置

private void loadDirectory(Map<String, Class<?>> extensionClasses, String dir) {
        String fileName = dir + type.getName();
        try {
            Enumeration<java.net.URL> urls;
            ClassLoader classLoader = findClassLoader();
            if (classLoader != null) {
                urls = classLoader.getResources(fileName);
            } else {
                urls = ClassLoader.getSystemResources(fileName);
            }
            //urls可能為多個,同一個名字的file分佈在多個jar包的情況
            if (urls != null) {
                while (urls.hasMoreElements()) {
                    java.net.URL resourceURL = urls.nextElement();
                    //載入配置檔案
                    loadResource(extensionClasses, classLoader, resourceURL);
                }
            }
        } catch (Throwable t) {
            logger.error("Exception when load extension class(interface: " +
                    type + ", description file: " + fileName + ").", t);
        }
    }
複製程式碼

一個SPI介面的配置檔案可能會存在於在多個jar包內,所以通過classLoader載入的時候會拿到多個URL路徑。通過loadResource載入這些配置檔案。

 private void loadResource(Map<String, Class<?>> extensionClasses, ClassLoader classLoader, java.net.URL resourceURL) {
        try {
            BufferedReader reader = new BufferedReader(new InputStreamReader(resourceURL.openStream(), "utf-8"));
            try {
                String line;
                while ((line = reader.readLine()) != null) {
                    //帶#的為註釋,跳過
                    final int ci = line.indexOf(`#`);
                    if (ci >= 0) line = line.substring(0, ci);
                    line = line.trim();
                    if (line.length() > 0) {
                        try {
                            String name = null;
                            //spi名 和 spi實現類 用=分隔
                            int i = line.indexOf(`=`);
                            //name可以省略
                            if (i > 0) {
                                name = line.substring(0, i).trim();
                                line = line.substring(i + 1).trim();
                            }
                            if (line.length() > 0) {
                                //載入擴充套件點
                                loadClass(extensionClasses, resourceURL, Class.forName(line, true, classLoader), name);
                            }
                        } catch (Throwable t) {
                            IllegalStateException e = new IllegalStateException("Failed to load extension class(interface: " + type + ", class line: " + line + ") in " + resourceURL + ", cause: " + t.getMessage(), t);
                            exceptions.put(line, e);
                        }
                    }
                }
            } finally {
                reader.close();
            }
        } catch (Throwable t) {
            logger.error("Exception when load extension class(interface: " +
                    type + ", class file: " + resourceURL + ") in " + resourceURL, t);
        }
    }
複製程式碼

loadClass用來實際解析配置,注意它的入參會對SPI實現類進行類載入。

private void loadClass(Map<String, Class<?>> extensionClasses, java.net.URL resourceURL, Class<?> clazz, String name) throws NoSuchMethodException {
        if (!type.isAssignableFrom(clazz)) {
            throw new IllegalStateException("Error when load extension class(interface: " +
                    type + ", class line: " + clazz.getName() + "), class "
                    + clazz.getName() + "is not subtype of interface.");
        }
        if (clazz.isAnnotationPresent(Adaptive.class)) {
            //clazz有Adaptive註解的話
            //代表這個clazz是適配類
            if (cachedAdaptiveClass == null) {
                cachedAdaptiveClass = clazz;
            } else if (!cachedAdaptiveClass.equals(clazz)) {
                throw new IllegalStateException("More than 1 adaptive class found: "
                        + cachedAdaptiveClass.getClass().getName()
                        + ", " + clazz.getClass().getName());
            }
        } else if (isWrapperClass(clazz)) {
            //如果這個clazz有以這個擴充套件點介面為引數的建構函式,代表這個實現類是包裝類
            Set<Class<?>> wrappers = cachedWrapperClasses;
            if (wrappers == null) {
                cachedWrapperClasses = new ConcurrentHashSet<Class<?>>();
                wrappers = cachedWrapperClasses;
            }
            //包裝類能有多個
            wrappers.add(clazz);
        } else {
            //進入這裡代表是普通的擴充套件點
            clazz.getConstructor();
            if (name == null || name.length() == 0) {
                //如果沒有spi名,從Extenion註解或者classname中解析出來
                name = findAnnotationName(clazz);
                if (name.length() == 0) {
                    throw new IllegalStateException("No such extension name for the class " + clazz.getName() + " in the config " + resourceURL);
                }
            }
            String[] names = NAME_SEPARATOR.split(name);
            if (names != null && names.length > 0) {
                Activate activate = clazz.getAnnotation(Activate.class);
                if (activate != null) {
                    //快取Activate註解 只快取第一個
                    cachedActivates.put(names[0], activate);
                }
                for (String n : names) {
                    //快取 clazz 和 spiname 關係,只快取第一個
                    if (!cachedNames.containsKey(clazz)) {
                        cachedNames.put(clazz, n);
                    }
                    Class<?> c = extensionClasses.get(n);
                    if (c == null) {//儲存 spiname 和 clazz的關係
                        extensionClasses.put(n, clazz);
                    } else if (c != clazz) {//存在重複配置
                        throw new IllegalStateException("Duplicate extension " + type.getName() + " name " + n + " on " + c.getName() + " and " + clazz.getName());
                    }
                }
            }
        }
    }
複製程式碼

loadClass會將各種配置儲存下來,之後的使用中都會用到這些配置。

獲取擴充套件點例項

獲取到ExtensionLoader例項之後,我們可以通過getExtension(“spiName”)來直接獲取我們的擴充套件點實現。

public T getExtension(String name) {
        if (name == null || name.length() == 0)
            throw new IllegalArgumentException("Extension name == null");
        if ("true".equals(name)) {
            return getDefaultExtension();
        }
        //cachedInstances用於快取擴充套件點例項
        Holder<Object> holder = cachedInstances.get(name);
        if (holder == null) {
            cachedInstances.putIfAbsent(name, new Holder<Object>());
            holder = cachedInstances.get(name);
        }
        Object instance = holder.get();
        //如果快取中不存在擴充套件點例項,建立擴充套件點例項
        if (instance == null) {
            synchronized (holder) {
                instance = holder.get();
                if (instance == null) {
                    instance = createExtension(name);
                    holder.set(instance);
                }
            }
        }
        return (T) instance;
    }
複製程式碼

通過cachedInstances對已經例項化的擴充套件點實現進行快取,如果該擴充套件點從未被例項化,使用createExtension進行例項化

private T createExtension(String name) {
        //這裡觸發掃描擴充套件點配置檔案
        Class<?> clazz = getExtensionClasses().get(name);
        if (clazz == null) {
            //找不到spi實現,丟擲特定異常
            throw findException(name);
        }
        try {
            //對spi name對應clazz進行例項化
            //EXTENSION_INSTANCES裡面儲存的只是原始的例項
            //cachedInstances內儲存的是經過依賴注入以及包裝的例項
            T instance = (T) EXTENSION_INSTANCES.get(clazz);
            if (instance == null) {
                EXTENSION_INSTANCES.putIfAbsent(clazz, clazz.newInstance());
                instance = (T) EXTENSION_INSTANCES.get(clazz);
            }
            //如果這個擴充套件點依賴其他擴充套件點,注入擴充套件點(ioc)
            injectExtension(instance);
            //如果有包裝類的話,進行包裝
            Set<Class<?>> wrapperClasses = cachedWrapperClasses;
            if (wrapperClasses != null && !wrapperClasses.isEmpty()) {
                for (Class<?> wrapperClass : wrapperClasses) {
                    instance = injectExtension((T) wrapperClass.getConstructor(type).newInstance(instance));
                }
            }
            return instance;
        } catch (Throwable t) {
            throw new IllegalStateException("Extension instance(name: " + name + ", class: " +
                    type + ")  could not be instantiated: " + t.getMessage(), t);
        }
    }
複製程式碼

在例項化擴充套件點之前,會通過getExtensionClasses載入配置,如果已經載入過,跳過。載入完配置檔案之後,就可以通過spi名獲取對應spi實現類,然後對這個類進行例項化。注意到時候話之後,還會通過injectExtension方法進行擴充套件點自動注入以及通過wrapperClasses進行擴充套件點自動包裝。

獲取擴充套件點適配例項

通過getAdaptiveExtension方法來獲取擴充套件點適配例項。在擴充套件點自動注入的時候,注入的例項也是適配例項。

public T getAdaptiveExtension() {
        //cachedAdaptiveInstance用於快取擴充套件點自動適配例項
        Object instance = cachedAdaptiveInstance.get();
        if (instance == null) {
            if (createAdaptiveInstanceError == null) {//快取的建立錯誤如果不為null,直接報錯
                synchronized (cachedAdaptiveInstance) {
                    instance = cachedAdaptiveInstance.get();
                    if (instance == null) {
                        try {
                            //如果cachedAdaptiveInstance不存在,進行建立
                            instance = createAdaptiveExtension();
                            cachedAdaptiveInstance.set(instance);
                        } catch (Throwable t) {
                            //建立失敗也快取,下次直接報錯
                            createAdaptiveInstanceError = t;
                            throw new IllegalStateException("fail to create adaptive instance: " + t.toString(), t);
                        }
                    }
                }
            } else {
                throw new IllegalStateException("fail to create adaptive instance: " + createAdaptiveInstanceError.toString(), createAdaptiveInstanceError);
            }
        }

        return (T) instance;
    }
複製程式碼

首先會判斷是否存在適配例項的快取,如果之前已經獲取過,直接返回快取的例項。不存在,通過createAdaptiveExtension建立。

 private T createAdaptiveExtension() {
        try {
            //對適配例項也進行依賴注入
            return injectExtension((T) getAdaptiveExtensionClass().newInstance());
        } catch (Exception e) {
            throw new IllegalStateException("Can not create adaptive extension " + type + ", cause: " + e.getMessage(), e);
        }
    }
複製程式碼

在getAdaptiveExtensionClass中會判斷配置中是否解析出適配類,如果不存在適配類,會通過程式碼拼接的方式動態生成適配類。

private Class<?> getAdaptiveExtensionClass() {
        //如果沒有初始化,觸發初始化
        getExtensionClasses();
        //如果spi實現中含有適配類直接返回
        if (cachedAdaptiveClass != null) {
            return cachedAdaptiveClass;
        }
        //如果spi實現沒有提供適配類,那麼通過位元組碼生成
        return cachedAdaptiveClass = createAdaptiveExtensionClass();
    }
複製程式碼

在createAdaptiveExtensionClass方法中會動態生成適配類,適配類的大致邏輯是,每個適配類的方法會在執行時從URL中通過@Adaptive配置的key提取value來選擇特定擴充套件點實現。

獲取擴充套件點自動啟用例項

通過getActivateExtension來獲取自動啟用的例項。

public List<T> getActivateExtension(URL url, String[] values, String group) {
        List<T> exts = new ArrayList<T>();
        List<String> names = values == null ? new ArrayList<String>(0) : Arrays.asList(values);
        if (!names.contains(Constants.REMOVE_VALUE_PREFIX + Constants.DEFAULT_KEY)) {
            getExtensionClasses();
            for (Map.Entry<String, Activate> entry : cachedActivates.entrySet()) {
                String name = entry.getKey();
                Activate activate = entry.getValue();
                //group需要匹配
                //group==null true
                //group!=null activate.group()==null false
                //group in activate.group() true
                //group not in activate.group() false
                if (isMatchGroup(group, activate.group())) {
                    T ext = getExtension(name);
                    if (!names.contains(name)//排查名字匹配的,下面邏輯會新增這些
                            && !names.contains(Constants.REMOVE_VALUE_PREFIX + name)
                            && isActive(activate, url)//url裡面需要匹配activate.value中至少一個key
                            ) {
                        exts.add(ext);
                    }
                }
            }
            Collections.sort(exts, ActivateComparator.COMPARATOR);
        }
        //下面的只要name匹配即可
        List<T> usrs = new ArrayList<T>();
        for (int i = 0; i < names.size(); i++) {
            String name = names.get(i);
            if (!name.startsWith(Constants.REMOVE_VALUE_PREFIX)
                    && !names.contains(Constants.REMOVE_VALUE_PREFIX + name)) {
                if (Constants.DEFAULT_KEY.equals(name)) {
                    if (!usrs.isEmpty()) {
                        exts.addAll(0, usrs);
                        usrs.clear();
                    }
                } else {
                    T ext = getExtension(name);
                    usrs.add(ext);
                }
            }
        }
        if (!usrs.isEmpty()) {
            exts.addAll(usrs);
        }
        return exts;
    }
複製程式碼

大致邏輯是,這個方法的value引數,直接通過擴充套件點名獲取擴充套件點實現(不需要有@Activate註解)。而group引數,針對的是有@Activate註解的擴充套件點實現,首先擴充套件點實現的@Activate註解的group屬性需要匹配,其次@Activate的value屬性需要匹配傳入的url,也就時@Activate的value需要在url中至少找到一個匹配的key。group和value的匹配相互獨立,取並集。

5.與Java SPI的區別

總體來講,Dubbo SPI 和 JAVA SPI的思想是相同的,都是為了在框架中提供擴充套件點,讓使用者或者其他框架擴充套件這個介面的邏輯。
Dubbo SPI 基於 JAVA SPI的思想擴充套件了上面講的4個特性,這是JAVA SPI所沒有的。
單從使用方式上來講,Dubbo SPI可以通過API直接獲取某個擴充套件點實現,而JAVA SPI需要使用迭代器,依次獲取。換句話說,如果要在JAVA SPI獲取某個擴充套件點實現,需要把所有擴充套件點都例項化了。而Dubbo SPI獲取那個擴充套件點只會例項化那個擴充套件點。
JAVA SPI使用方式如下

ServiceLoader<Animal> serviceLoader =ServiceLoader.load(Animal.class);
        Iterator<Animal> animals =serviceLoader.iterator();
        while (animals.hasNext())
        {
            Animal animal =animals.next();
            animal.walk();
        }
複製程式碼

最後

這篇SPI是我第二次寫了,對於自己也有點新的收穫吧。我還是希望我的文章大家都能看懂,而不是光講原始碼。
下面是我公眾號,大家可以關注下。

image

相關文章