JAVA + LR實現apache流媒體的效能測試

testingbang發表於2019-08-15

最近的一個專案,視訊點播系統,使用apache實現的流媒體伺服器。其實準確的說叫做偽流(HTTP Pseudo-Streaming),基本原理和概念自行了解吧。


讓我簡單的描述就是仍然是HTTP下載,播放器播放本地快取。只不過它也實現了一些和正規流媒體服務類似的功能。視訊點播類系統的效能測試,說簡單了主要就是模擬大量使用者去看視訊。服務端監控整體效能,客戶端關注各自表現。這裡難點主要在於如何模擬大量使用者觀看視訊?如何判斷各客戶端展現?


多客戶端的模擬無外乎3種方法:
1.全公司總動員,一起看。
2.一臺機器開多個播放頁面(或者是一個頁面上嵌入多個播放器),呼叫多臺機器。
3.拋棄客戶端的解碼播放過程,直接想法下載視訊檔案。

第一種方法不用說,雖然最真實,但太原始沒有技術含量,如果是小公司人還不一定夠。
第二種方法在需要測試的使用者數不大時還可以,否則會佔用較多資源,而且技術含量也較低。這種方式,一臺機器上能模擬的使用者數很有限,因為CPU會很快成為瓶頸。
第三種方法最高效,在千兆網環境下,一臺機器可以模擬很多路使用者,此時網路頻寬是瓶頸(如果頻寬更大,估計硬碟IO就是瓶頸了)。但是沒有解碼和播放,如何判斷客戶端的效果呢?兩種方式,一是對比下載速度和位元速率,理論上只要下載速度足夠就可以了;二是測試過程中也可以開啟幾個真實的播放視窗來驗證播放效果,因為壓力在服務端,可以認為每個客戶端都是等價的。


本文要講的就是第三種測試方法。
以前還測過FMS的流媒體,網上可以找到現成的工具來實現本方法,只要呼叫就可以了。但HTTP的這次也搜了兩天,好像還真沒有,只好自己動手了。看來最高效的方法,實現起來卻是最麻煩的。基本思路是JAVA實現下載功能,用LR的JAVA Vuser實現多使用者的控制。動手前先給自己整理了一個需求

功能:
模擬下載√
播放列表√
下載速度記錄:總平均速度、每秒速度√
*偽裝成播放器進行連線
*客戶端限速

測試結果:
apache限速
下載速度
檔案完整

功能擴充套件
jar包或者exe檔案傳參(播放列表)

打對鉤的是已經實現了,帶星號的是未實現、也不一定需要實現的高階功能。通過測試程式,需要得到的結果是下載是否正確完成?下載速度是否足夠?apache的限速模組是否起作用(如果開啟)?這裡可能會有個問題,如果下載程式突破了apache的限速,那有可能是測試程式的問題,這就引出了上面的高階功能“偽裝成播放器”。


下面直接貼程式碼,說明儘量放到註釋裡。

下載類,提供靜態方法。


package com.test;
import java.io.*;
import java.net.*;
import java.util.*;
public class DownloadFile {
    /*
     *下載指定URL的檔案
     *userid是用於儲存本地檔案的標識
     **/
    public static int getHttpFileByUrl(String address, String userid) {
        int bufferSize = 1024;
        int size = 0;
        byte[] buf = new byte[bufferSize];
        
        /*
         *下載時間字串
         *用於檔案標識
         *格式201210260130
         **/        
        Date date = new Date();
        SimpleDateFormat formatDate = new SimpleDateFormat("yyyyMMddHHmmss");
        String downloadTime = formatDate.format(date);
        
         /*
          *計算下載速度相關
          */
        int totalDownloadSize = 0;
        int lastDownloadSize = 0;
        long lastCheckTime = 0;
        long startDownloadTime = 0;
        int sec = 0;
        
        /*
         *下載和計算過程
         */
        try {
            URL url = new URL(address);
            URLConnection conn = url.openConnection();
            BufferedInputStream bis = new BufferedInputStream(conn.getInputStream());
            FileOutputStream fos = new FileOutputStream("e:\test\testvideo" + "_" + downloadTime + "_" + userid); 
            
            System.out.println("File Size:" + conn.getContentLength()/1024 + "KB");
            
            startDownloadTime = System.currentTimeMillis();
            lastCheckTime = startDownloadTime;
            
            while ((size = bis.read(buf)) != -1)
            {
                fos.write(buf,0,size);
                totalDownloadSize += size;
                
                /*
                 *計算每秒下載速度
                 */
                if (System.currentTimeMillis() - lastCheckTime > 1000) {
                    System.out.println(sec + ": " + (totalDownloadSize - lastDownloadSize)/1024 + "KB");
                    lastCheckTime = System.currentTimeMillis();
                    lastDownloadSize = totalDownloadSize;
                    sec++;
                }
            }
            
            System.out.println("Vuser " + userid + " Download Completed!");
            System.out.println("Average Download Speed: " + (totalDownloadSize/1024)/((System.currentTimeMillis() - startDownloadTime)/1000) + "KB/s");
            
            fos.close();
            bis.close();
            
        }catch (MalformedURLException e) {
            e.printStackTrace();
        }catch (IOException e) {
            e.printStackTrace();
        }
        
        return totalDownloadSize/1024;
    }    
}

測試驅動。



import com.test.*;
import java.util.*;
import java.io.*;
public class DownloadDrive {
    public static void main (String[] args) {
        
        //System.out.println("test");
        //DownloadFile.test();
        
        /*
         *呼叫者測量
         *自行實現
         */
        int DownLoadSize = 0;
        double DownLoadTime = 0;
        int Speed = 0;
                
        String url;
        ArrayList urlList = new ArrayList();
        /*
         *讀取待下載的URL地址
         *儲存到list中
         */
        try{
            BufferedReader br = new BufferedReader(new FileReader("url.txt"));
            while((url = br.readLine()) != null){
                urlList.add(url);
            }    
        }catch(IOException ie){
            ie.printStackTrace();
        }
        
        System.out.println("Total URLs: " + urlList.size());
        
        /*
         *依次下載list中的檔案
         */
        for(int i = 0; i < urlList.size(); i++){
            url = (String)urlList.get(i);
            System.out.println(url);            
            //傳入url和每個呼叫者的標識
            DownloadFile.getHttpFileByUrl(url, "1");
        }
    }    
    
}

將待下載的URL儲存到url.txt中,每行一個地址。檔案放到DownloadDrive.class同目錄中。


到這,主要程式碼已經實現了。下一步需要做的是和LR整合,用LR的Java Vuser對下載功能進行控制,模擬多使用者。 其實也就是重寫一個測試驅動,只不過這個驅動是需要LR內部方法了,應該沒有什麼技術上的難點了。


接下來,通過LoadRunner來實現多執行緒的模擬和控制。

新建LR的JAVA Vuser指令碼,這裡可以直接進行JAVA編碼,又可以呼叫LR的內部方法,如事務、思考時間、集合點等等。到了這步已經沒有任何難點了,開發人員只要花1個小時瞭解下LR的基本使用和常用方法即可,測試人員如果不會JAVA……那還是算了吧。

Action.java內容如下:

import lrapi.lr;
import com.test.*;
import java.util.*;
import java.io.*;
public class Actions
{
    public int init() throws Throwable {
        return 0;
    }//end of init
    public int action() throws Throwable {
        
        /*
        呼叫者測量
        */
        int downloadSize = 0;
        int downloadTime = 0;
        long startTime = 0;
        long endTime = 0;
        int speed = 0;
        int vid;
        vid = lr.get_vuser_id();
        /*
        從url檔案生成arraylist
            */
        String url;
        ArrayList urlList = new ArrayList();
        try{        
                BufferedReader br = new BufferedReader(new FileReader("url.txt"));
             while((url = br.readLine()) != null){
               urlList.add(url);
        }
        }catch(IOException ie){
          ie.printStackTrace();
        }
        lr.enable_redirection(true);
        lr.set_debug_message(lr.MSG_CLASS_JIT_LOG_ON_ERROR, lr.SWITCH_OFF);
        System.out.println("Total URLs: " + urlList.size());
        for(int i = 0; i < urlList.size(); i++){
          url = (String)urlList.get(i);
          System.out.println(url);
          //事務名稱
          String trxName = "URL" + (i+1);
          startTime = System.currentTimeMillis();
          lr.start_transaction(trxName);
          //傳入url和每個呼叫者的標識
          downloadSize = DownloadFile.getHttpFileByUrl(url, Integer.toString(vid));
          lr.end_transaction(trxName, lr.AUTO);
          endTime = System.currentTimeMillis();
          downloadTime = (int)(endTime - startTime)/1000;
          speed = downloadSize / downloadTime;
          lr.output_message(trxName + ": completed");
          lr.output_message("time cost: " + downloadTime + "s");
          lr.output_message("average speed: " + speed + "KB/s");
          lr.output_message("");
        }
        lr.set_debug_message(lr.MSG_CLASS_JIT_LOG_ON_ERROR, lr.SWITCH_ON);
        return 0;
    }//end of action
    public int end() throws Throwable {
        return 0;
    }//end of end
}

所有以lr開頭的方法都是LR內部方法,這裡只用到了事務、日誌等幾個。

編譯之前我們的JAVA下載程式碼,將包(com.test)放入LR指令碼的目錄中,如圖:

開啟LR指令碼,執行試一下。

可以看到正常輸出了日誌,再驗證一下下載到的檔案是否完整,找到輸出路徑,如“h:testtestvideo_20121106194419_-1”,用播放器開啟這個檔案,正常播放。說明我們的指令碼已經OK了,下面就要做多使用者的測試了。

開啟controller,設定同時執行2個VUSER(為了保證負載機的網路不成為瓶頸),執行場景。

可以看到,2個VUSER都按預期正常完成了。

從幾個方面驗證測試的有效性:
1是負載機的網路利用,上面單使用者執行指令碼時下載速度是5M/s(apache伺服器做了限速),這次兩個使用者同時下載達到了10M。


2是每個VUSER的輸出日誌。
3是下載檔案的完整性。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69942496/viewspace-2653769/,如需轉載,請註明出處,否則將追究法律責任。

相關文章