【基準測試】BenchmarkDotNet介紹

WilsonPan發表於2020-05-17

BenchmarkDotNet 概述

BenchmarkDotNet helps you to transform methods into benchmarks, track their performance, and share reproducible measurement experiments. It's no harder than writing unit tests

提取幾個關鍵字（其實是隻認識那幾個英文單詞）

  • 將方法轉換基準測試
  • 跟蹤效能
  • 可重複實驗
  • 不必單元測試難

說白了，就是程式碼的效能測試，通常是用來比較兩段程式碼/方法，或者在不同平臺上的執行效果。

BenchmarkDotNet 快速入門

  1. 新增包
dotnet add package BenchmarkDotNet
  1. 新增需要基準測試的方法（這裡我準備兩個排序演算法，快速排序 && 堆排序）
[Benchmark]
[Arguments(new int[] { 3, 1, 10, 9, 6, 2, 5, 7, 8, 4 })]
public void QuickSort(int[] nums) => Demo.BenchmarkDotNet.QuickSort.Sort(nums);

[Benchmark]
[Arguments(new int[] { 3, 1, 10, 9, 6, 2, 5, 7, 8, 4 })]
public void HeapSort(int[] nums) => Demo.BenchmarkDotNet.HeapSort.Sort(nums);
  1. Main裡執行BenchmarkRunner.Run
var summary = BenchmarkRunner.Run<QuickSortVsHeapSort>();
  1. 執行（需要Release模式）
dotnet run -c=Release
  1. 分析結果
BenchmarkDotNet=v0.12.1, OS=Windows 10.0.18363.778 (1909/November2018Update/19H2)
Intel Core i7-10510U CPU 1.80GHz, 1 CPU, 8 logical and 4 physical cores
.NET Core SDK=3.1.202
  [Host]     : .NET Core 3.1.4 (CoreCLR 4.700.20.20201, CoreFX 4.700.20.22101), X64 RyuJIT
  DefaultJob : .NET Core 3.1.4 (CoreCLR 4.700.20.20201, CoreFX 4.700.20.22101), X64 RyuJIT


|    Method |      nums |     Mean |    Error |   StdDev |
|---------- |---------- |---------:|---------:|---------:|
| QuickSort | Int32[10] | 61.98 ns | 0.242 ns | 0.202 ns |
|  HeapSort | Int32[10] | 89.19 ns | 0.374 ns | 0.332 ns |

除了控制檯，還可以在BenchmarkDotNet.Artifacts/result找到多種格式的輸出結果

可以看到QuickSort ，HeapSort比較接近，但是我們測試的資料量太少，所以這個沒代表性

  1. 總結

可以看到BenchmarkDotNet對原來的程式碼是沒有侵入式，通常我是新建一個測試類，然後再測試類初始化測試引數，這樣對原來程式碼沒有侵入

進階用法

多組輸入引數

[Benchmark]
[ArgumentsSource(nameof(Data))]
public void QuickSort(int[] nums) => Demo.BenchmarkDotNet.QuickSort.Sort(nums);

public IEnumerable<int[]> Data()
{
    var random = new Random();
    var datas = Enumerable.Range(1, 10000).ToArray();
    // 打亂陣列
    for (int i = datas.Length - 1; i > 0; i--)
    {
        var value = datas[i];
        var randomIndex = random.Next(0, i);
        datas[i] = datas[randomIndex];
        datas[randomIndex] = value;
    }
    yield return datas.Take(100).ToArray();
    yield return datas.Take(1000).ToArray();
    yield return datas;
}

ArgumentsSource : 引數可以是方法/屬性的名稱

多平臺比較

  1. 在基準測試類中新增SimpleJob
[SimpleJob(RuntimeMoniker.NetCoreApp31)]
[SimpleJob(RuntimeMoniker.Net472)]
public class QuickSortVsHeapSort
{
}
  1. 專案方案新增多個執行時
<TargetFrameworks>netcoreapp3.1;net472</TargetFrameworks>

新增統計欄位

在基準測試類新增MaxColumn , MinColumn,MemoryDiagnoser

[MaxColumn, MinColumn, MemoryDiagnoser]
public class QuickSortVsHeapSort
{
  ...
}

新增基準

比較快速排序和堆排序，可以用其中一個作為基準，也可以新增一個作為基準作為參考。例如這裡選擇以氣泡排序作為基準 ，下圖是各個排序演算法的時間複雜度

排序 平均情況 最壞情況 最好情況 空間複雜度
氣泡排序 O(\(n^2\)) O(\(n^2\)) O(\(n^2\)) O(1)
快速排序 O(n\(\log_2n\)) O(\(n^2\)) O(n\(\log_2n\)) O(n\(\log_2n\))
堆排序 O(n\(\log_2n\)) O(n\(\log_2n\)) O(n\(\log_2n\)) O(1) 
[Benchmark(Baseline = true)]
[ArgumentsSource(nameof(Data))]
public void BubbleSort(int[] nums) => Demo.BenchmarkDotNet.BubbleSort.Sort(nums);

使用BenchmarkDotNet 模板

  1. 安裝模板
dotnet new -i BenchmarkDotNet.Templates
  1. 建立模板
dotnet new benchmark

使用BenchmarkDotNet dotnet tool

  1. 安裝
dotnet tool install -g BenchmarkDotNet.Tool
  1. 使用
dotnet benchmark [arguments] [options]

轉載請標明出處 : https://www.cnblogs.com/WilsonPan/p/12904664.html
示例原始碼

相關文章