記一次某智慧製造MES系統CPU 爆高分析

一線碼農發表於2023-05-12

一：背景

1. 講故事

前段時間有位朋友找到我，說他 docker 中的web服務深夜cpu被打滿，讓我幫忙看一下，很多朋友問docker中怎麼抓dump，我一般都推薦使用 procdump 這款自動化工具，誰用誰知道，有了 dump 之後，接下來就是分析了。

二：WinDbg 分析

1. cpu 真的爆高嗎

有很多朋友問 linux 上的dump可以用 windbg 分析嗎？這裡統一回復下，是可以的，現在的 WinDbg 可以全平臺分析，不信看下圖：

不過有一點吐槽的是，Linux 不是微軟的，所以在作業系統層級上的除錯支援是不夠的，也不是 WinDbg 能力所觸及範圍之內，所以相比 Windows 有很多的不便。

接下來我們用 !tp 看一下當前的 cpu 到底是多少？


0:000> !tp
CPU utilization: 393 %
Worker Thread: Total: 19 Running: 5 Idle: 10 MaxLimit: 32767 MinLimit: 4
Work Request in Queue: 0
--------------------------------------
Number of Timers: 4
--------------------------------------
Completion Port Thread:Total: 0 Free: 0 MaxFree: 8 CurrentLimit: 0 MaxLimit: 1000 MinLimit: 4

從卦中看當前的 cpu=393% ，這表示什麼意思呢？在Linux上是這樣的，一個核佔用 100%，可以理解成當前有 4 個核被打滿。

那當前 docker 中給了多少 cpu 核呢？在 Windows 平臺上可以用 !cpuid，在 Linux 上肯定用不了了，沒關係，熟悉 CLR 的朋友應該知道，ServerGC 的heap個數預設按照cpu 的個數來的，也就是說當前多少個heap，也就有多少個 cpu core。

有了這個思路，使用 !eeversion 來看下 gc 模式吧。


0:000> !eeversion
4.700.21.56803 (3.x runtime)
4.700.21.56803 @Commit: 28bb6f994c28bc91f09bc0ddb5dcb51d0f066806
Server mode with 4 gc heaps
SOS Version: 7.0.8.10101 retail build

從卦中的 Server mode with 4 gc heaps 來看，當前docker使用 4 個 cpu 核，所以 393% 就表示了當前被完全打滿。

2. 為什麼會被打滿

一般來說cpu的跌宕起伏都是由 thread 誘發的，一個好的思路就是看下此時各個執行緒都在做什麼，可以使用 ~*e !clrstack 觀察，經過仔細對比發現有 4 處 SqlDataReader 貌似在讀什麼東西，剛好對應到了 CPU 核數，輸出如下：


0:000> ~*e !clrstack
OS Thread Id: 0x3f89 (24)
        Child SP               IP Call Site
00007F9FA14A0628 00007fa4803e2a93 System.Data.SqlClient.TdsParser.TrySkipValue(System.Data.SqlClient.SqlMetaDataPriv, Int32, System.Data.SqlClient.TdsParserStateObject) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 4399]
00007F9FA14A0640 00007fa47f9a5e03 System.Data.SqlClient.TdsParser.TrySkipRow(System.Data.SqlClient._SqlMetaDataSet, Int32, System.Data.SqlClient.TdsParserStateObject) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 4334]
00007F9FA14A0670 00007fa4803d2fba System.Data.SqlClient.SqlDataReader.TryCleanPartialRead() [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/SqlDataReader.cs @ 760]
00007F9FA14A0690 00007fa47f99e424 System.Data.SqlClient.SqlDataReader.TryReadInternal(Boolean, Boolean ByRef) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/SqlDataReader.cs @ 3286]
00007F9FA14A06F0 00007fa4804742e5 System.Data.SqlClient.SqlDataReader+c__DisplayClass190_0.b__1(System.Threading.Tasks.Task) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/SqlDataReader.cs @ 4448]
00007F9FA14A0720 00007fa480a239ea System.Data.SqlClient.SqlDataReader+c__DisplayClass194_0`1[[System.Boolean, System.Private.CoreLib]].b__0(System.Threading.Tasks.Task`1<System.Object>) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/SqlDataReader.cs @ 4804]
00007F9FA14A0770 00007fa4803fa6ce System.Threading.Tasks.ContinuationResultTaskFromResultTask`2[[System.__Canon, System.Private.CoreLib],[System.__Canon, System.Private.CoreLib]].InnerInvoke() [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/TaskContinuation.cs @ 191]
00007F9FA14A07B0 00007fa4803d5551 System.Threading.ExecutionContext.RunFromThreadPoolDispatchLoop(System.Threading.Thread, System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object) [/_/src/System.Private.CoreLib/shared/System/Threading/ExecutionContext.cs @ 315]
00007F9FA14A07F0 00007fa4803d1c2c System.Threading.Tasks.Task.ExecuteWithThreadLocal(System.Threading.Tasks.Task ByRef, System.Threading.Thread) [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/Task.cs @ 2421]
00007F9FA14A0870 00007fa4803b99a9 System.Threading.ThreadPoolWorkQueue.Dispatch() [/_/src/System.Private.CoreLib/shared/System/Threading/ThreadPool.cs @ 699]
00007F9FA14A0C80 00007fa4f11512df [DebuggerU2MCatchHandlerFrame: 00007f9fa14a0c80] 
OS Thread Id: 0x3f8a (25)
        Child SP               IP Call Site
00007F9FA3154580 00007fa4803bc857 System.Data.SqlClient.TdsParser.TryGetTokenLength(Byte, System.Data.SqlClient.TdsParserStateObject, Int32 ByRef) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 5889]
...
00007F9FA3154670 00007fa4803d2fba System.Data.SqlClient.SqlDataReader.TryCleanPartialRead() [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/SqlDataReader.cs @ 760]
00007F9FA3154690 00007fa47f99e424 System.Data.SqlClient.SqlDataReader.TryReadInternal(Boolean, Boolean ByRef) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/SqlDataReader.cs @ 3286]
...
00007F9FA3154870 00007fa4803b99a9 System.Threading.ThreadPoolWorkQueue.Dispatch() [/_/src/System.Private.CoreLib/shared/System/Threading/ThreadPool.cs @ 699]
00007F9FA3154C80 00007fa4f11512df [DebuggerU2MCatchHandlerFrame: 00007f9fa3154c80] 
OS Thread Id: 0x5211 (37)
        Child SP               IP Call Site
00007F9FD2FFC570 00007fa4803bc921 System.Data.SqlClient.TdsParserStateObject.TryReadUInt16(UInt16 ByRef) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParserStateObject.cs @ 1519]
00007F9FD2FFC580 00007fa4803bc891 System.Data.SqlClient.TdsParser.TryGetTokenLength(Byte, System.Data.SqlClient.TdsParserStateObject, Int32 ByRef) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 5889]
00007F9FD2FFC5C0 00007fa4803e2c06 System.Data.SqlClient.TdsParser.TrySkipValue(System.Data.SqlClient.SqlMetaDataPriv, Int32, System.Data.SqlClient.TdsParserStateObject) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 4399]
00007F9FD2FFC640 00007fa47f9a5e03 System.Data.SqlClient.TdsParser.TrySkipRow(System.Data.SqlClient._SqlMetaDataSet, Int32, System.Data.SqlClient.TdsParserStateObject) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 4334]
...
00007F9FD2FFC870 00007fa4803b99a9 System.Threading.ThreadPoolWorkQueue.Dispatch() [/_/src/System.Private.CoreLib/shared/System/Threading/ThreadPool.cs @ 699]
00007F9FD2FFCC80 00007fa4f11512df [DebuggerU2MCatchHandlerFrame: 00007f9fd2ffcc80] 
OS Thread Id: 0x5212 (38)
        Child SP               IP Call Site
00007F9FB3FFE580 00007fa4803bc839 System.Data.SqlClient.TdsParser.TryGetTokenLength(Byte, System.Data.SqlClient.TdsParserStateObject, Int32 ByRef) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 5889]
00007F9FB3FFE5C0 00007fa4803e2c06 System.Data.SqlClient.TdsParser.TrySkipValue(System.Data.SqlClient.SqlMetaDataPriv, Int32, System.Data.SqlClient.TdsParserStateObject) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 4399]
00007F9FB3FFE640 00007fa47f9a5e03 System.Data.SqlClient.TdsParser.TrySkipRow(System.Data.SqlClient._SqlMetaDataSet, Int32, System.Data.SqlClient.TdsParserStateObject) [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/TdsParser.cs @ 4334]
00007F9FB3FFE670 00007fa4803d2fba System.Data.SqlClient.SqlDataReader.TryCleanPartialRead() [/_/src/System.Data.SqlClient/src/System/Data/SqlClient/SqlDataReader.cs @ 760]
...
00007F9FB3FFE7F0 00007fa4803d1c2c System.Threading.Tasks.Task.ExecuteWithThreadLocal(System.Threading.Tasks.Task ByRef, System.Threading.Thread) [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/Task.cs @ 2421]
00007F9FB3FFE870 00007fa4803b99a9 System.Threading.ThreadPoolWorkQueue.Dispatch() [/_/src/System.Private.CoreLib/shared/System/Threading/ThreadPool.cs @ 699]
00007F9FB3FFEC80 00007fa4f11512df [DebuggerU2MCatchHandlerFrame: 00007f9fb3ffec80]

從卦中看，雖然非同步寫的很爽，可逆向分析起來真的是上刀山下火海。。。接下來思路在哪裡呢？可以這麼想，既然是和 SqlDataReader 有關係，那就挖一挖，看看裡面有什麼sql。


0:025> !dso
OS Thread Id: 0x3f8a (25)
RSP/REG          Object           Name
rdx              00007fa128ad9c08 System.Data.SqlClient.SNI.TdsParserStateObjectManaged
rdi              00007fa128ad9c08 System.Data.SqlClient.SNI.TdsParserStateObjectManaged
r9               00007fa128ad9c08 System.Data.SqlClient.SNI.TdsParserStateObjectManaged
r12              00007fa128ad9c08 System.Data.SqlClient.SNI.TdsParserStateObjectManaged
r13              00007fa128ad9b70 System.Data.SqlClient.TdsParser
...
00007F9FA31546B0 00007fa3297b8fb8 System.Data.SqlClient.SqlDataReader
...

0:025> !DumpObj /d 00007fa3297b84d0
Name:        System.String
MethodTable: 00007fa477db0f90
EEClass:     00007fa477d1e230
Size:        2496(0x9c0) bytes
File:        /usr/share/dotnet/shared/Microsoft.NETCore.App/3.1.22/System.Private.CoreLib.dll
String:      select xxx,xxx,xxx,xxx from template_xxxreport where 1=1 
Fields:
              MT    Field   Offset                 Type VT     Attr            Value Name
00007fa477daa0e8  400022a        8         System.Int32  1 instance             1237 _stringLength
00007fa477da6f00  400022b        c          System.Char  1 instance               73 _firstChar
00007fa477db0f90  400022c      108        System.String  0   static 00007fa027fff360 Empty

從 sql 看貌似是讀了 template_xxxreport 表, 而且還沒有篩選條件，看樣子是深夜跑什麼資料把 CPU 給抬起來了，那接下里的問題是什麼地方會執行這條sql呢？

3. 到底在哪裡執行的

剛才的執行緒棧看不到一句使用者程式碼，我們還可以用 !gcroot 追蹤下這個 sql 的祖宗，可能會有新的發現哦。


0:025> !gcroot 00007fa3297b84d0
    00007F9FA3154770 00007FA4803FA6CE System.Threading.Tasks.ContinuationResultTaskFromResultTask`2[[System.__Canon, System.Private.CoreLib],[System.__Canon, System.Private.CoreLib]].InnerInvoke() [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/TaskContinuation.cs @ 191]
        rbx: 
            ->  00007FA233579680 System.Threading.Tasks.ContinuationResultTaskFromResultTask`2[[System.Object, System.Private.CoreLib],[System.Threading.Tasks.Task`1[[System.Boolean, System.Private.CoreLib]], System.Private.CoreLib]]
            ->  00007FA233579748 System.Threading.Tasks.UnwrapPromise`1[[System.Boolean, System.Private.CoreLib]]
            ...
            ->  00007FA329BE4BB0 System.Threading.Tasks.StandardTaskContinuation
            ->  00007FA329BE4B18 System.Threading.Tasks.ContinuationTaskFromResultTask`1[[System.Boolean, System.Private.CoreLib]]
            ->  00007FA329BE4AD8 System.Action`1[[System.Threading.Tasks.Task`1[[System.Boolean, System.Private.CoreLib]], System.Private.CoreLib]]
            ->  00007FA329BE2AE8 System.Data.SqlClient.SqlDataReader+<>c__DisplayClass195_0`1[[System.Boolean, System.Private.CoreLib]]
            ->  00007FA32982AE50 System.Threading.Tasks.TaskCompletionSource`1[[System.Boolean, System.Private.CoreLib]]
            ->  00007FA32982AE68 System.Threading.Tasks.Task`1[[System.Boolean, System.Private.CoreLib]]
            ->  00007FA3297B91B0 System.Runtime.CompilerServices.AsyncTaskMethodBuilder`1+AsyncStateMachineBox`1[[xxx.xxx.Template_xxxxReport, xxx.xxx],[Dapper.SqlMapper+<QueryRowAsync>d__34`1[[xxx.xxxx.Template_xxxxReport, xxx.xxxx]], Dapper]]
            ->  00007FA3297B84D0 System.String

從引用鏈條看，這條sql使用 Dapper 的 QueryRowAsync 查詢，實體類是 xxx.xxxx.Template_xxxxReport，有了這些資訊就好辦了，反饋給朋友後，讓朋友看下這是哪裡的sql和model。

據朋友調查後，說是用的某商業資料訪問sdk 內部邏輯不嚴謹造成的，參考程式碼如下：


    public async Task<T> FindEntity<T>(object param) where T : class
    {
        //核心問題
        if (param == null)
        {
            param = new { };
        }

        var parameters = param.ToObject();

        //引數拼接
        foreach (var item in parameters)
        {
            // xxxxx
        }
    }

當 param =null 時，底層用 param = new { }; 當無引數處理，這就導致全表sql的發生，朋友說現在想想都有點後怕。。。

三：總結

這次事故主要是由 某商業資料訪問sdk 在異常引數處理時邏輯不嚴謹所致，畢竟 拋異常 比 全量查詢 要好得多，大家在買商業元件的時候，且行且珍惜。
圖片名稱

記一次 .NET 某醫院HIS系統 CPU爆高分析
2021-05-14
記一次 .NET 某藥廠業務系統 CPU爆高分析
2023-12-20
記一次 .NET 某儀器測量系統 CPU爆高分析
2023-09-22
記一次 .NET 某安全生產資訊系統 CPU爆高分析
2022-12-19
記一次 .NET 某智慧交通後臺服務 CPU爆高分析
2022-01-28
記一次 .NET 某供應鏈WEB網站 CPU 爆高事故分析
2022-02-23
Web網站
記一次 .NET 某資訊論壇 CPU爆高分析
2021-10-27
記一次 .NET 某醫保平臺 CPU 爆高分析
2023-02-21
記一次 .NET 某遊戲網站 CPU爆高分析
2023-02-13
遊戲網站
記一次 WinDbg 分析 .NET 某工廠MES系統記憶體洩漏分析
2022-01-10
記憶體
記一次 .NET 某智慧服裝智造系統記憶體洩漏分析
2021-12-01
記憶體
記一次 .NET 某旅行社Web站 CPU爆高分析
2021-05-17
Web
ERP/MES製造系統實施的效益分析
2020-11-27
記一次 .NET 某車零件MES系統登入異常分析
2023-05-08
記一次 .NET 某電商交易平臺Web站 CPU爆高分析
2021-05-28
Web
記一次 .NET 某工控MES程式崩潰分析
2022-12-16
製造業MES系統解決方案
2022-10-15
生產製造MES系統中，如何應用報表分析？
2018-09-18
記一次 .NET 某感測器採集系統執行緒爆高分析
2023-03-30
執行緒
什麼是MES製造執行系統？深入瞭解MES
2021-03-15
【MES】智慧製造背景下MES的發展方向
2018-03-13
製造業ERP系統與MES的區別
2019-12-27
製造業MES生產管理系統原始碼
2022-06-07
原始碼
工廠MES製造管理系統解決方案
2022-10-17
記一次 .NET 某工廠無人車排程系統執行緒爆高分析
2023-11-01
執行緒
記一次 .NET 某券商論壇系統卡死分析
2023-11-14
江門MES製造執行系統：助力工廠實現智慧化管理
2024-07-01
定義製造業操作（定義 MES/MOM 系統）
2021-12-30
解剖MES系統在製造企業中的作用
2021-11-05
MES製造執行系統生產計劃管理
2021-03-31
記一次 .NET遊戲站程式的 CPU 爆高分析
2021-04-21
遊戲
記一次 .NET某醫療器械清洗系統卡死分析
2023-04-18
製造執行系統(MES)的功能、優勢和整合
2020-07-31
智慧製造行業：智慧製造系統全景圖（附下載）
2020-02-25
行業
記一次 .NET 某工控電池檢測系統卡死分析
2023-11-13
記一次 .NET某新能源檢測系統崩潰分析
2023-10-16
記一次 .NET 某藥品倉儲管理系統卡死分析
2022-01-17
記一次 .NET 某公交卡扣費系統程式卡死分析
2021-11-15

記一次 某智慧製造MES系統CPU 爆高分析