SSM框架實現高併發秒殺API學習筆記

席潤發表於2019-02-19
SSM框架API筆記

慕課網yijun zhang老師的《Java高併發秒殺API》系列課程學習總結

maven命令建立web骨架專案

mvn archetype:generate -DgroupId=org.seckill -DartifactId=seckill -DarchetypeArtifactId=maven-archetype-webapp

groupId和artifactId用來標註專案座標，專案名為org.seckill；archetypeArtifactId指明使用maven的webapp原型來建立專案。

建立成功後選定pom檔案匯入IDEA。

建立需要的資料夾，並選定其型別，如原始檔夾java，資原始檔夾resources。

其中web.xml檔案的使用的是Servlet2.3版本，預設jsp的el表示式不工作，需要切換為更高的版本。進入~\apache-tomcat-9.0.14\webapps\examples\WEB-INF，開啟其中的web.xml檔案，將其標籤內容複製過來，替換專案檔案中的標籤。

pom檔案中junit預設是3.8版本，3.0版本預設使用程式設計方式，4.0使用註解方式來執行，需替換為4.0版本。

匯入相關依賴

1.日誌：使用slf4j + logback

slf4j-api、logback-core、logback-classic

2.資料庫相關依賴，使用mybatis、mysql，連線池使用druid

mysql-connector-java、druid、mybatis、mybatis-spring

3.Servlet web相關依賴

standard、jackson-databind、javax.servlet-api

4.spring依賴

核心依賴：spring-core、spring-beans、spring-context

dao層相關依賴：spring-jdbc、spring-tx、jstl

web相關依賴：spring-web、spring-webmvc

test相關依賴：spring-test

資料庫建立：建立資料庫，建立秒殺庫存表，並初始化一些資訊，建立秒殺成功明細表（schema.sql）

Dao層相關

建立entity層，放置實體類。對應資料庫表。

建立dao層，dao層相關介面，定義增刪改查方法

mybatis配置

建立mybatis配置檔案mybatis-config，進入mybatis官網檢視示例，配置全域性屬性，例：

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE configuration
        PUBLIC "-//mybatis.org//DTD Config 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>
    <!--配置全域性屬性-->
    <settings>
        <!--使用jdbc的getGeneratedKeys 獲取資料庫自增主鍵值-->
        <setting name="useGeneratedKeys" value="true"/>
        <!--使用列別名替換列名 預設：true-->
        <setting name="useColumnLabel" value="true"/>
        <!--開啟駝峰命名轉換：Table(create_time) -> Entity(createTime)-->
        <setting name="mapUnderscoreToCamelCase" value="true"/>
    </settings>
</configuration>
複製程式碼

在resources資料夾下建立mapper層，其下建立對映dao層的sql配置檔案,官網，例：

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
        PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="org.seckill.dao.SeckillDao">
    <!--目的：為dao介面方法提供sql語句配置-->

    <!--xml中不允許出現<=，使用<![CDATA[ ]]>標籤，<![CDATA[<=]]>-->
    <update id="reduceNumber">
        update seckill
        set number = number -1
        where seckill_id = #{seckillId}
        and start_time <![CDATA[<=]]> #{killTime}
        and end_time >= #{killTime}
        and number >0;
    </update>

    <select id="queryById" resultType="Seckill" parameterType="long">
          select seckill_id,name,number,start_time,end_time,create_time
          from seckill
          where seckill_id = #{seckillId}
    </select>
</mapper>
複製程式碼

建立jdbc配置檔案jdbc.properties，例：

driver=com.mysql.cj.jdbc.Driver
url=jdbc:mysql://localhost:3306/seckill?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC
user=root
password=123456
複製程式碼
mybatis整合spring

mybatis整合spring，在resources資料夾下建立spring層，放置與spring相關配置。建立spring-dao.xml配置檔案，在其中配置整合mybatis過程。例：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:context="http://www.springframework.org/schema/context"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">
    <!--  配置整合mybatis過程 -->
    <!--  1、配置資料庫相關引數 properties的屬性：${url}-->
    <context:property-placeholder location="classpath:jdbc.properties"/>

    <!--2:資料庫連線池-->
    <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource">
        <!--配置連線池屬性-->
        <property name="driverClassName" value="${driver}"/>
        <property name="url" value="${url}"/>
        <property name="username" value="${user}"/>
        <property name="password" value="${password}"/>

        <property name="initialSize" value="10"/>
        <property name="maxActive" value="30"/>
        <property name="minIdle" value="10"/>
        <!--關閉連線後不自動commit，預設false-->
        <property name="defaultAutoCommit" value="false"/>

        <property name="maxWait" value="1000"/>

        <property name="timeBetweenConnectErrorMillis" value="60000"/>
        <property name="minEvictableIdleTimeMillis" value="300000" />
    </bean>

    <!--約定大於配置-->
    <!--3:配置SqlSessionFactory物件-->
    <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
        <!--注入資料庫連線池-->
        <property name="dataSource" ref="dataSource"/>
        <!--配置Mybatis全域性配置檔案-->
        <property name="configLocation" value="classpath:mybatis-config.xml"/>
        <!--掃描entity包 使用別名 org.seckill.entity.Seckill->Seckill-->
        <property name="typeAliasesPackage" value="org.seckill.entity"/>
        <!--掃描sql配置檔案:mapper需要的xml檔案-->
        <property name="mapperLocations" value="classpath:mapper/*.xml"/>
    </bean>

    <!--4:配置掃描Dao介面包,動態實現Dao介面,注入到Spring容器中-->
    <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">
        <!--注入sqlSessionFactory-->
        <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory"/>
        <!--給出掃描Dao介面包-->
        <property name="basePackage" value="org.seckill.dao"/>
    </bean>

</beans>
複製程式碼

單元測試

錯誤1 、錯誤2

Service層相關

建立dto層，資料傳輸層，例如封裝執行秒殺後的結果、封裝json資料、暴露秒殺地址

建立exception層，自定義繼承自RuntimeException的異常，例：

package org.seckill.exception;

// 秒殺相關業務異常
public class SeckillException extends RuntimeException{
    public SeckillException(String message) {
        super(message);
    }

    public SeckillException(String message, Throwable cause) {
        super(message, cause);
    }
}
複製程式碼

可繼續建立繼承此異常類的詳細異常，如重複異常、秒殺關閉異常，同上。

建立enums層，列舉返回資訊

建立service，實現業務邏輯，介面與實現

使用spring託管Service

使用spring託管Service依賴配置，建立spring-service.xml配置檔案，在其中配置，例：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:context="http://www.springframework.org/schema/context" xmlns:tx="http://www.springframework.org/schema/tx"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx.xsd">

    <!--掃描service包下所有使用註解的型別-->
    <context:component-scan base-package="org.seckill.service"/>

    <!-- 配置事務管理器 -->
    <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
        <!-- 注入資料庫連線池 -->
        <property name="dataSource" ref="dataSource"/>
    </bean>

    <!--配置基於註解的宣告式事務
        預設使用註解來管理事務行為
    -->
    <tx:annotation-driven transaction-manager="transactionManager"/>
</beans>
複製程式碼
使用日誌

使用到了日誌，官網參考建立logback.xml配置檔案進行配置，最簡單例：

<?xml version="1.0" encoding="UTF-8" ?>
<configuration debug="true">

    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <!-- encoders are  by default assigned the type
             ch.qos.logback.classic.encoder.PatternLayoutEncoder -->
        <encoder>
            <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>

    <root level="debug">
        <appender-ref ref="STDOUT" />
    </root>
</configuration>
複製程式碼

單元測試

Controller層相關

整合配置SpringMVC框架

建立spring-web.xml配置檔案，在其中配置Spring MVC，例：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:mvc="http://www.springframework.org/schema/mvc"
       xmlns:context="http://www.springframework.org/schema/context"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">
    <!--配置Spring-MVC-->
    <!-- 1、開啟springMVC註解模式-->
    <!-- 簡化配置：
        (1) 自動註冊DefaultAnnotationHandlerMapping,AnnotationMethodHandlerAdapter
        (2) 提供了一系列功能：資料繫結/數字和日期的format@NumberFormat @DateTimeFormat,
            xml 和 json預設讀寫支援
    -->
    <mvc:annotation-driven/>

    <!--servlet-mapping 對映路徑：/ -->

    <!--2、靜態資源配置 預設servlet配置
        1）加入對靜態資源的處理 js gif png
        2）允許使用“/”做整體對映
    -->
    <mvc:default-servlet-handler/>

    <!-- 3、配置jsp 顯示viewResolver-->
    <bean class="org.springframework.web.servlet.view.InternalResourceViewResolver">
        <property name="viewClass" value="org.springframework.web.servlet.view.JstlView"/>
        <property name="prefix" value="/WEB-INF/jsp/"/>
        <property name="suffix" value=".jsp"/>
    </bean>

    <!--4、掃描web相關的bean-->
    <context:component-scan base-package="org.seckill.web"/>
</beans>
複製程式碼

建立web層，即控制層，實現Restful介面設計

在web.xml檔案中配置DispatcherServlet，例：

<web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee
                      http://xmlns.jcp.org/xml/ns/javaee/web-app_4_0.xsd"
         version="4.0"
         metadata-complete="true">
    <!--配置DispatcherServlet-->
    <servlet>
        <servlet-name>seckill-dispatcher</servlet-name>
        <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
        <!-- 配置springMVC需要載入的配置檔案
                spring-dao.xml,spring-service.xml,spring-web.xml
        -->
        <init-param>
            <param-name>contextConfigLocation</param-name>
            <param-value>classpath:spring/spring-*.xml</param-value>
        </init-param>
    </servlet>
    <servlet-mapping>
        <servlet-name>seckill-dispatcher</servlet-name>
        <!-- '/'預設匹配所有請求-->
        <url-pattern>/</url-pattern>
    </servlet-mapping>
</web-app>

複製程式碼

使用BootStrap與jQuery開發頁面結構，再使用JS實現互動邏輯

頁面測試：成功

高併發優化

優化分析
CDN

CDN（內容分發網路）是加速使用者獲取資料的系統，部署在離使用者最近的網路節點上，命中CDN不需要訪問後端伺服器。

系統詳情頁部署到CDN節點，CDN對詳情頁靜態化，詳情頁中有很多獲取靜態資源的請求css，js等，這些請求的資源也會部署到CDN，訪問詳情頁不用訪問系統，即獲取不到系統時間，所以做一個請求獲取當前伺服器的系統時間很有必要。

通過上面分析知訪問詳情頁不用訪問系統，java訪問一次記憶體（Cacheline）大約10ns，即1秒鐘大約可做1億次，所以獲取系統時間不用優化。

秒殺地址介面返回資料會變化，無法使用CDN快取，適合伺服器快取：Redis等，伺服器1秒可抗10wQPS,redis叢集后可抗百萬級QPS（QPS為每秒查詢率），一次性維護成本低。可優化。

redis

其他方案：

NoSQLMQ

優點：可抗很高的併發

缺點：運維成本和穩定型：NoSQL、MQ等為分散式服務，穩定性不足

​ 開發成本：資料一致性，回滾方案等，需要人工處理

    冪等性難保證：重複秒殺問題
複製程式碼

​ 不適合新手的架構

為什麼不使用MySQL優化？

MySQL真的低效？

測試：同一個id執行update減庫存壓力測試

update壓力測試

約4wQPS

java控制事務行為分析

shiwu

瓶頸分析

fenxi

​ Java GC（Garbage Collection，垃圾收集，垃圾回收）機制

分析結果：不是MySQL、Java慢。原因為java客戶端執行SQL語句，等待執行結果，再做判斷，再去執行，而java和資料庫通訊之間會有網路延遲或者GC，這些時間也要載入執行事務中，而同一行事務為序列化。

行級鎖在commit之後釋放，所以優化方向是減少行級鎖持有時間

延遲分析

同城機房網路

異地機房網路

如何判斷Update更新庫存成功？

兩個條件：1、Update自身沒報錯；2、客戶端確認Update影響記錄數

優化思路：

把客戶端邏輯放到MySQL服務端，避免網路延遲和GC影響

如何放到MySQL服務端？

兩種解決方案：

——定製SQL方案：update /* + [auto_commit] */ ,需要修改MySQL原始碼

執行update後自動做回滾，update記錄數為1時commit，0則rollback，避免客戶端與MySQL服務端之間的網路延遲和GC影響

——使用儲存過程：整個事務在MySQL端完成

優化總結：

前端控制：暴露介面（將動、靜態資料及核心功能點分離）、按鈕防重複

動靜態資料分離：CDN快取、後端快取（Redis、MemCache）

事務競爭優化：減少事務鎖時間

Redis後端快取優化

Redis安裝（64位Windows下）

優化地址暴露介面

匯入redis客戶端jedis及序列號工具protostuff

dao為放置資料庫及其他儲存類的包，在dao包下建立cache層，cache層下放RedisDao類，快取在redis中為二進位制陣列，若redis中存在快取，獲取二進位制陣列byte[]，進行反序列化，將資料放入建立的空物件。若不存在快取，則將物件序列化轉換為byte[]放入redis。

改進秒殺實現方法中獲取資料，先訪問redis，若無資料，則訪問資料庫，並將資料放入redis。

在spring-dao.xml檔案中配置RedisDao，例

<!--RedisDao-->
<bean id="redisDao" class="org.seckill.dao.cache.RedisDao">
    <!--實際配置應放入配置檔案-->
    <constructor-arg index="0" value="localhost"/>
    <constructor-arg index="1" value="6379"/>
</bean>
複製程式碼

此快取優化一致性維護建立在超時的基礎上，因為秒殺物件在正常情況下不會改變，若需要改動，廢棄新建。

事務執行優化

update 減庫存 【rowLock】 <——網路延遲、GC——> insert 購買明細 <——網路延遲、GC——>

commit/rollback【freeLock】

簡單優化——減少了行級鎖持有時間，使MySQL獲得更高的QPS

insert 購買明細 <——網路延遲、GC——> update 減庫存【rowLock】 <——網路延遲、GC——>

commit/rollback【freeLock】

深度優化——將事務SQL在MySQL端執行（儲存過程）

在資料庫建立儲存過程（seckill.sql）

然後在SeckillDao介面中新建使用儲存過程執行秒殺的方法，此方法傳入引數為Map型別（在service實現方法中需要將結果放入引數告訴MySQL，該操作使用了org.apache.commons.collections的MapUtils方法，需在pom檔案中引入）。然後在其對應配置檔案中使用mybatis呼叫儲存過程。再在秒殺業務介面中新建通過儲存過程執行秒殺操作的方法，在其實現類中實現該方法，在該方法中呼叫dao介面中的方法。測試1成功。在controller中改用該方法，網頁測試，成功。

系統可能用到哪些服務？

CDN、 WebServer：Nginx + Jetty、 Redis、 MySQL

大型系統部署架構

jiagou

開發：前端 + 後端 測試（迭代、修改、壓力測試等） DBA（儲存過程、分庫分表等） 運維（負責機器監控、Nginx配置等）

—關於使用current_timestamp時間與北京時間相差8小時解決辦法

blog.csdn.net/uzbekistan/…

—關於Tomcat日誌輸出中文亂碼，網上幾種方法無效，待解決

專案程式碼地址

相關文章