走進四川電信 揭秘核心計費系統改造的背後

　　資料，已成為這個時代的基調。當我們因為資料帶來新的機遇而喜不自勝的時候，也常常會不可避免地遇到一些隨之而來的困擾。與如何更好地使用資料相比，資料的儲存和管理是更棘手的問題所在。甚至說，我們能夠發揮資料多大的潛力，在某種程度上取決於我們所具備的資料儲存和管理能力的大小，儲存架構起著近乎於決定性的作用。

　　前不久，筆者有幸來到了位於成都市貝森北路的中國電信成都樞紐中心，聽四川電信資深技術專家胡杰，為我們詳細講述了四川電信核心計費系統改造背後的故事。

　　 面臨的挑戰與瓶頸

　　 胡杰在四川電信的企業資訊化部工作，主要負責IT系統管理，據介紹，四川電信主要面臨以下挑戰：

　　1，資料快速膨脹，四川電信擁有7000萬使用者，每個月各種話單處理量在千億級別，確切資料是在900億到1000億之間的話單量；

　　2，業務時效要求越來越高，1天之內完成整個系統出賬；

　　3，I/O成最大瓶頸。

　　要知道，傳統的運營商還是比較保守，他們對SSD還抱有一些疑議，對SSD可靠性會比較擔憂，還是傾向於使用傳統陣列，但是四川電信在這方面則比較開明，傾向用最簡單、最能解決問題的技術，來解決面臨的I/O瓶頸問題，因此四川電信的IT改造早就開始了。

　　 據胡杰介紹，四川電信和英特爾合作是2014年開始，英特爾當時介紹了很多相關的SSD一些分散式儲存的產品。

　　2014年，開始引入分散式儲存和SSD，截止目前，四川電信的IT系統已經連續4年未採購集中儲存；

　　2016年，開始對核心系統進行分散式儲存改造；

　　2017年，開始對整個CRM的核心資料庫全部做分散式+SSD儲存改造；

　　2018年上半年，所有的計費帳務的核心繫統資料庫全部完成了分散式+SSD儲存改造。因計費系統I/O要求最極端，在這個過程當中我們引入了英特爾傲騰。

　　 對症下藥找到儲存挑戰的解決之道

　　俗話說：好鋼用在刀刃上，花錢花在裉節兒上。意思就是要切中要害，抓住最主要的環節。

　　很多人認為從集中式儲存向分散式儲存改造會存在很多風險，投資成本也會增加。但是為什麼四川電信還要鋌而走險呢？其實不然。在四川電信的實際測試中，發現集中式儲存受架構限制，始終是存在一些瓶頸；當分散式儲存加上SSD，可擴充套件性非常好，能解決目前面臨的大部分I/O瓶頸。

　　胡杰表示，在改造之前，我們DBA每天絕大部分時間在處理資料庫和IO有關的最佳化工作，為了一點點效能提升要付出很大精力。自從SSD分散式儲存改造以後，我們DBA現在的壓力非常小，除了一些異常故障的處理，基本上不去關心IO效能。有些人認為SSD成本可能比較高，但是我們看一個資料庫高階DBA的人力成本，一天就是幾千美金，再加上系統造成的系統故障的損失，SSD的價格就顯得微不足道了。

　　 為什麼會引入傲騰？

　　胡杰表示，之所以選擇傲騰是因為四川電信目前的計費資料庫，每天是海量的寫入，庫的寫入量，最極端的部分一張SSD一天會被擦寫十遍，如果傳統的SSD，可能是一年左右就會被報銷(DWPD資料比較好一點應該是5左右)，但是如果用傲騰(DWPD30)以後，在整個生命週期當中我們不會再擔心壽命問題。

　　其次，胡杰認為傲騰最大的優點就是高I/O的情況下，長期進行大資料量的寫入後，傲騰依然能保持極其穩定的時延。因為大家知道NANDSSD有一個後臺回收空間機制，如果是資料量特別巨大、頻繁的寫入，這個部分會看到過一段時間後臺回收以後對效能的影響非常之大，我們目前已經遇到普通SSD這種機制造成的系統當機，傲騰SSD由於儲存顆粒的革命性升級，不存在這種回收機制，因此不會出現上述問題。

　　透過對比觀察，在同一臺機器上同時插傲騰和普通的SSD，傲騰的部分未出現過任何問題，出問題的部分始終是出現在傳統的SSD那部分。而穩定則是企業使用者最看重的，從傲騰其他資料，像頻寬，IOPS，它和傳統SSD來看並沒有數量級的優勢，但是在時延穩定性方面優勢特別明顯。

　　 目標：實現完全去E，在效能上沒有任何瓶頸，能夠靈活滿足多種業務需求

　　目前絕大部分運營商的資料庫還是基於傳統的集中式儲存的架構。四川電信根據目前參考Oracle一體機的架構，使用RDMA+NVMe SSD的這種架構，在沒有完成整個系統的分散式架構改造之前，解決資料庫極高I/O的問題，是目前比較理想的架構。

　　目前四川電信在和英特爾合作當中，使用了NVMe over Fabrics，從目前來看對效能有40%到60%的提升，隨著NVMe over Fabrics的成熟，四川電信還會大規模使用NVMe over Fabrics這種技術，對潛力進一步挖掘。

　　寫在最後，筆者認為大資料時代，儲存挑戰不斷出現，且愈發嚴峻。傳統的應對挑戰的方式固然穩定可靠，但正如大家在討論中所傳達出的那樣，力求穩定是必要的，但絕不能固步自封。行業需要不斷有新的技術、新的產品才能更好地應對未來挑戰。對新的東西保持理性態度，同時又能不落窠臼、勇於嘗試，也許就是一個合理的道路。