微軟商業智慧客戶解決方案案例研究(轉載)

網路服務提供商透過完整的商業智慧解決方案提高運營效率

來源

概述

客戶簡介
國家：美國
行業：IT (Information Technology)

總部位於喬治亞州亞特蘭大市的Cox Communications是網路服務提供商中的佼佼者。該公司提供了全國性的高速寬頻網路，這一網路提供以下三種主要業務：有線電視，電話和高速因特網。

解決方案
Cox 從零開始建立了使使用者可以快速高效地做出決策和釋出資訊的解決方案。被稱做NetMon的解決方案整合了實時的網路資料，修正了來自多種異構資料來源的資料，並透過唯一的企業門戶向終端使用者提供了訪問相互關聯資料的能力。

獲益
• 提高了發現並修正錯誤的能力
• 更好地維護系統
• 更高效地使用資源
• 提高報表處理程式
• 非技術人員也可以製作並管理報表

Cox Communications 建立了一個用來對它的全國網路健康性和體系架構效能進行深度預測的商業智慧解決方案，。這個被稱為NetMon的解決方案可以從多種異構資料來源系統中以”拉”的方式獲取資料，將這些資料進行聚合和修正，並將所有資料關聯後透過唯一的企業門戶展現出來。Microsoft SQL Server Reporting Services提高了NetMon的價值，使得報表可以由業務分析專家而不是軟體開發人員進行建立和管理。NetMon幫助公司內所有級別的人員以更快的速度做出更好的決策，從而提高了發現並處理錯誤的能力，使得企業可以更好地對系統進行維護，更有效地使用資源，加快了報表的處理程式。
客戶狀況
Cox Communications是美國第四大的網路服務提供商，有將近21,000員工和六百三十萬使用者，每年的收益八億美金。該公司提供的電訊服務包括數字影片系統，本地與長途電話服務，高速因特網，面向商業的音訊與資料服務等。
對於Cox，發展到最大不是它的最終目標，它的目標希望能夠做到行業中最好。做為電訊行業的領導者，COX在Communication Engineering and Design Magazine2002年的評選中獲取了Operator of Year的榮譽，在過去十年的Cablevision Multichannel News Operator的年度榮譽獎評選中三次榮獲此殊榮。這些成功的核心來自Cox NetWork Operations Center (NOC)，位於喬治亞州亞特蘭大的這一機構不間斷地監視著全國範圍的寬頻情況，同時與本地資源相協調保障所有的裝置都可以很正常地執行。
在2003年以前，NOC幾乎沒有什麼有效的途徑對網路的執行情況進行分析。所有來自於電話系統，有線電視，高速因特網的裝置的實時更新資料被不間斷地提供給NetCool,它是一個集中式的網路監控系統，該系統基於UNIX和Sybase，但是這些更新會隨著事件的清除被從系統的記憶體資料庫中清除。
一度，COX曾經試圖將這些網路事件存檔到與NetCool結構映象的第二套UNIX資料庫中，這些網路事件需要每天一百七十萬行的資料的插入處理能力，這使得系統在執行查詢的時候響應速度降低。此外，為保證所有的報表是有意義的，對網路事件收集的資料必須是關聯的，比如對裝置的引數配置與其導致的警告資訊或者該裝置的位置圖示等。根據裝置的型別，這些關聯的資料儲存在三個附加的建立在不同技術平臺的系統中：
• 電話 電話裝置的關聯資料與事件資料一起儲存在Cornerstone Voice中， 它是一個由商業智慧顧問和Cox長期合作伙伴Intellinet在前些年幫助COX建立的基於Microsoft SQL Server的資料倉儲。
• 有線電視 支援公司有線電視服務的裝置關聯資料儲存在NetMentor中，該解決方案基於Solaris和Oracle
• 高速因特網 支援公司高速因特網服務的裝置資料儲存在Linux和MySQL構建的Edgehealth解決方案中
由於沒有對所有系統歷史資料的趨勢的處理能力，NOC無法獲取做出相關的業務決策所需的資訊，如區域資源效率或者在什麼地方的系統維護狀況如何等。因此，他們被迫需要對已經發生的問題和行為作出反應，而只能利用有限資源對很少的情況做出預先反應，例如建立新服務的體系結構。

此外，有限的對發生問題的預感知能力導致了對資源使用效率很差。例如，當光纖的結點--底層光纖網的一個重要元件，是其它三個COX的關鍵服務的基礎 -- 發生故障時，會在電話，有線電視和高速因特網中產生不同的警報。如果沒有一個正確的途徑將這些事件定位到同一個故障上，公司可能會將會派遣出不同的員工來解決同一個問題。
“我們有大量的實時資訊，這是我們的一筆財富，但不能將它們及時地報告出來限制了我們運營的效率。”Tim Winebarger，COX Communicatiosn的NOC Tools group的經理如是說。

透過SQL Server Reporting Services，我可以無需開發人員的幫助建立更多的報表，我只需要指定資料來源的位置，設定報表格式，然後預覽它們，所有的動作都可以在同一工具中完成。我在四個小時之內就建立起了我的第一個Reporting Services的報表。

Austin Harmon
應用支援分析專家, NOC Tools Group, Cox Communications

解決方案
Intellinet, 微軟金牌商業智慧合作伙伴，以他能夠滿足公司所有需求的對企業報表體系架構的預想得到了Cox的認同，他們於2002年中期來到Cox，幫助他們進行解決方案的開發。在不到六個月的時間，這一預想變成了現實。Cox的新的商業智慧解決方案使用了基於SQL Server 2000的先進的商業智慧特性，向整個公司提供了對網路效能和健康程度監測的洞察力，這一解決方案也提高了對網路的管理效率。
被稱為NetMon的解決方案，聚集了Cox所需的所有資訊，使他們迅速地得到更好的商業決策。它會在三個不同的主要服務系統中捕獲所有實時資料，將獲取的資料與其它系統的資料相關聯，並將組合好的來自異類資料來源的資料在唯一的企業門戶中展現出來。

終端使用者以一種直觀的基於Web的方式訪問NetMon中的報表，無需關心他們生成報表的資料是混合多種資料來源的。NOC group使用同樣的 Web介面對報表的特性進行管理，例如，對可以訪問報表的人員設定許可權，決定報表重新處理與重新整理的頻率等。NetMon已經有三百多個常用使用者，Winebarge希望在更多的報表加入到系統後會有數以千計的使用者來使用。
建立解決方案
NetMon透過兩個階段進行開發，在2002年六月到十二月間，Intellinet與NOC Tools group一起工作，確定需求，將解決方案確定為四個主要組成部分：
• 預處理 這層將實時資料從NetCool中取出，並從相關的資料來源和另兩個系統中得到資訊之間的關係。SQL Server Data Transformation Servers(資料轉換服務)對這一層次的解決方案進行了擴充套件，不但能夠從異構的資料來源中獲取資料而且可以尋找到資料之間的關聯。DTS執行在兩個四個處理器的群集伺服器上，每天向資料倉儲提供640兆資料的抽取，轉換以及裝載。
• 資料倉儲 相互關聯的資料被預處理層裝入到資料倉儲，目前資料倉儲中的資料容量已經將近0.5TB，每週資料增加4.5G。
• OLAP 透過使用SQL Server中的分析服務，將資訊從資料倉儲中選取出來，並裝入聯機分析（OLAP）的多維資料集中，這些多維資料集包含了資料的聚集和對公司業務有意義的維度。使用者可以透過NetMon門戶提供的瘦客戶端工具訪問OLAP的多維資料集，按需將資訊“切片或切塊”做出明智的商業決策。
• 報表與展現 對所有的報表訪問是透過NetMon基於Web介面的門戶實現的。根據報表的型別的不同，點選NetMon門戶上的不同連結可以啟動OLAP的瘦客戶端或者將報表直接展現在Web瀏覽器視窗中。
儘管該體系結構可以提供使用者需要訪問的資訊，但是NOC Tools Group仍然面對很多挑戰。一些報表需要很多的處理器資源，允許使用者接照自己的意願隨意執行查詢會對系統造成很多不希望的壓力。另外，需要了解源系統的開發人員對報表進行開發，經常的，開發人員需要在對Web頁面中程式設計直接寫出查詢。那些額外的為表現出圖形化報表而需要的程式碼非常難以實現。報表管理是另外一個負擔，對軟體開發人員來講這一工作需要對程式碼進行修改。

NetMon使我們可以很方便地從始至終對問題進行跟蹤，而不需要進行假想和推測。它大大提高了我們確定需要預防問題的能力。

整合的報表環境
Cox使用了SQL Server Reporting Services解決了這個長期的挑戰，Reporting Services向整個公司提供了堅實的環境和有力的工具以支援報表整個生命週期的所有階段：製作，管理與釋出。NetMon已經有80個併發使用者，300個使用使用者，30多個Reporting Services報表。Cox希望能夠很快增長到2000個使用者和150-200個Reporting Services報表。
“SQL Server Reporting Services使得製作，管理與將報表釋出給需要資訊的人十分容易，”Winebarger說。“將Reporting Services加入到NetMon中幾乎沒遇到任何問題，只需要花費幾周的時間，但是獲益是巨大的。”
設計報表 在Reporting Services環境中，報表可以使用直觀的圖形化的設計器進行設計，這一設計器是Microsoft Visual Studio .NET 2003開發系統中的一個整合的外掛。這一工具使得沒有軟體開發經驗的人可以使用基於表單的設計環境和簡單的拖拉操作建立包括圖表或者其它圖形元素的報表。對於NOC Tools部門，這意味著報表現在可以由業務分析專家來建立，這就解放了本組內的開發人員，使他們可以專注於其它更需要開發的工作。

“使用SQL Server Reporting Services，我可以無需請求開發人員的幫助自己建立很多報表，”Austin Harmon，一位NOC Tools組的應用支援分析專家如是說，“我只需指出資料來源，設計報表的樣式，然後預覽它，所有的動作都可以使用一個工具完成。我在四個小時內就完成了我的第一個可用的Reporting Services 報表。”
這個小組已經建立了大約三十個新的Reporting Services報表。以前已經存在的使用Active Server Pages(ASP)建立的報表大約有100個，小組中的設計人員每週估計可以將三到四個這樣的報表轉換成Reporting Services 報表。在很多時候，這個小組發現Reporting Services 提供的靈活性可以使業務分析專家將多個ASP報表整合在一個Reporting Services報表中，給終端使用者提供了實時按需裁剪報表結果的很大的靈活性，他們只需使用下拉框或者其它的使用者友好的機制就可以完成這一功能。

NetMon使我們可以很方便地從始至終對問題進行跟蹤，而不需要進行假想和推測。它大大提高了我們確定需要預防問題的能力。

管理報表 對於Winebarger和他的小組來說，另一個使用Reporting Services很重要的獲益是靈活高效的報表管理環境。與之前不同，現在管理報表，如分配許可權，這一過程不需要開發人員的幫助，該小組使用基於WEB的Reporting Services管理控制檯來對每個報表設定屬性，例如什麼樣的使用者才能對報表有訪問許可權和其它的一些根據使用者不同身份而設定的個性化選項。
由於Reporting Services與COX已經存在的基於Windows NT域結構的無縫整合，管理人員無需更多的對使用者定義和授權的工作。
“Reporting Services將報表建立與報表管理完全區分開來，”Winebarger說，“無需任何技術背景，我可以很容易地重新命名，移動，複製或者隱藏一張報表，或者對它的描述進編輯。業務分析專家可以專注於報表內容與樣式的製作而無需關心報表的使用者是誰。”
Reporting Services對報表的處理時間以及更新時機提供了靈活的控制。透過Reporting Services管理控制檯，業務分析專家可以定義處理每張報表的三種選項：
• 實時 當這個選項被選擇時，使用者發出請求時系統會從指定的資料來源中取出資料實時執行生成報表。
• 快照 這種型別的報表按照定義的時間間隔執行，結果儲存在Reporting Services的資料儲存中。當使用者訪問這個報表時，Reporting Services將儲存的報表從從資料儲存中取出來，並將結果傳遞給終端使用者
• 快取 當一個報表標記為“快取“並且第一次執行時，系統會實時執行並將結果儲存在Reporting Services的資料儲存中，當報表在快取複製沒有過期之前被使用者再次訪問時（時間間隔是在Reporting Services管理控制檯中管理員定義的），快取複製從Reporting Services資料儲存中取出資料並傳遞給使用者。如果快取資料已經過期，報表會重新執行後再傳遞給使用者。新的結果集會儲存在快取中，過期時間被重置。
“報表的快取與快照使我們可以很好地控制後臺系統的工作壓力，並且以前所未有靈活性很容易地釋出報表。“ Winebarger說，“例如，我們想要建立一個特定的月報表，但是如果允許使用者可以隨意地在任何時間執行他們希望得到的資料，將會給後臺的源系統帶要很大的壓力。使用Reporting Services，我們可以將報表定義為快照，只在每個月有新資料需要生成報表時才對它的資料進行更新。”
Reporting Services中共享源資料的特性對管理報表也非常有用。使用這一特性，多個使用同一資料來源的報表在變化時只需要對資料來源的位置資訊進行重新編輯，這一功能大大提高了報表的管理能力，因為它將資料來源的指定從開發的階段轉到的生產階段中。
釋出報表 現在，終端使用者可以透過NetMon門戶--WEB瀏覽器訪問所有在COX中建立的Reporting Services報表。其中一個Web伺服器將Reporting Services的報表目錄釋出給使用者，另外兩個執行著Reporting Services、建立成伺服器農莊的WEB伺服器完成對報表的處理工作。這一體系結構可以使Cox對體系結構的擴充套件沒有什麼困難，公司可以在報表的壓力達到當前兩臺伺服器極限時，將其它Reporting Services伺服器加入到現有的伺服器農莊中.
Cox也很希望能夠將新的報表解決方案整合到它現有的業務系統和應用中。Reporting Services的功能介面是以一組XML的Web Services暴露出來的，這使得Cox可以以基於標準的介面從現有的業務系統和應用中訪問NetMon中的資料。同樣，終端使用者可以將NetMon中的資料拖到他們的桌面應用，如Microsoft Office Excel中, 然後就可以方便地進行更進一步的分析。Winebarger還計劃使用Reporting Services提供的基於訂閱的”推”的報表釋出方式，這樣可以將報表以預先定義好的時間間隔主動而且自動地傳送給終端使用者。
獲益
透過Net Mon, NOC Tools Group向所有員工提供了訪問實時資訊的方式，使整個公司的所有員工都可以更好地快速做出業務決策。對資訊訪問的改進將會幫助Cox Communications多快好省，更有效地使用資源，並將這些資源投入到那些對大量使用者更有影響的事件中。
“NetMon使我們可以將真正的商業智慧透過唯一的門戶傳送給所有型別的使用者，而無需關心資料在什麼地方，”Winebarger說，“當員工可以訪問到正確的資訊時他們就可以做出更好的業務決策，從而可以更好地提高服務水平和運營效率，Reporting Services透過使我們能夠將這些資訊快速而且成本低亷傳遞給使用者。”

在我們新的應用和應用整合擴充套件平臺中，我們一直選擇帶有Reporting Services的SQL Server。現在我們可以在已經充分利用資料轉換服務，SQL Server關係引擎，OLAP的分析服務，資料探勘以通知服務的商業智慧環境中加入Reporting Services的穩定的，可擴充套件的報表體系結構。

提高了發現並修正錯誤的能力
Cox的技術人員可以從提高了發現問題並處理解決方案優先順序的能力中獲得好處。他們可以從一個高階別的報告開始確定主要問題的區域，快速地向下鑽取到細節資料從而發現問題的根源。他們可以確定那些可能發生問題的裝置型別，瀏覽在規定時間內沒有解決問題的警告資訊，發現特定網路裝置峰值使用時間，並做出網路裝置相關資訊的文件（例如裝置的位置與配置設定）。
更加有效地維護
使用NetMon，Cox的員工可以很容易定位在任何時間發生的問題，並且可以評估出問題對系統健康的影響程度。更為重要的是，他們還可以向後訪問問題沒有發生之前那一時刻的歷史資料，例如訪問裝置切換到冗餘子系統那一時刻的資料，這可以更好地預先發現報警訊號並預先做出相應行為。
“NetMon使我們可以很方便地從始至終對問題進行跟蹤，而不需要進行假想和推測，”Winebarger說，“它大大提高了我們確定何處需要預先處理的能力，現在不需要派多輛卡車去響應一個故障，服務部門可以只派一個帶著螺絲刀技術人員就可以了。這不但提高了我們對於技術資源的使用，並且將問題在第一時間發現並定位可以大大節約我們對呼叫中心的支出。”
更為有效地利用資源
Winebarger給出一個過去的例子，NOC的員工可能要花百分之九十的時間事後對問題的狀態做出反應。提高的運營效率和和預防性的維護方式可以大大節約員工的時間，從而有更多的時間投入到更多預防性的工作中，比如提高服務水平，降低支出，提高收益等。“NetMon可以幫助我們每年減少800小時的開發時間，這可以幫助我們節約大量資金，因為我們不想象過去那樣把很多開發工作轉包給其他公司。”

提高了報表處理能力
Reporting Services中提供的快取與快照能力使Cox在無論在體系結構層還是終端使用者層執行報表的過程中都得到了很多益處。NOC Tools Group現在可以向使用者很好地提供過去那些對處理器壓力很大的報表，同時，那些ASP的報表處理負載也在降低，這是因為已經將部分ASP報表轉換成了Reporting Services的報表，並將快取與快照應用到這些報表上。處理器可以為其它更需要處理器的應用更好地使用，例如加快那些需要實時處理的報表查詢速度等。對於終端使用者，無論是那些需要實時處理的報表還是那些使用了Reporting Services快取與快照的報表，他們能夠看到的結果是可以更快地訪問所有型別的報表。
節約成本
在整個公司內對微軟商業智慧技術的投資，使得NOC Tools group在佈署新報表時處於一個很有利的地位，他們可以將主要精力投入到使用者需求，而不是獲得資料以及驗證資料的有效性等其它每繁雜的工作中。由於對NetMon使用的持續增長，解決方案的每一層都可以很容易地擴充套件或擴充來適應更多的使用者，新增的資料來源以及不斷增長的資料量。
“在我們新的應用和應用整合擴充套件平臺中，我們一直選擇帶有Reporting Services的SQL Server。現在我們可以在已經充分利用資料轉換服務，SQL Server關係引擎，OLAP的分析服務，資料探勘以通知服務的商業智慧環境中加入Reporting Services的穩定的，可擴充套件的報表體系結構。”John Hall, Director of Operational System Support for Cox Communications說。
系統體系結構
如圖一所示，NetMon的體系結構分為三層，預處理，資料倉儲，OLAP，報表與展現。Intellinet選擇這樣的設計是為保證解決方案更好的擴充套件性：每一層都可以按照需要向上擴充套件或者向外擴充套件，同時每一層的擴充套件對解決方案其它層的影響非常小。

我們採用的64位Windwos環境給我們帶來很大的效能提升空間，從而使我們不用在同一層次上擴充套件32位系統。我不敢相信如果沒有64位的Windows2003和SQL Server 2000我們怎麼能夠實現這些。

預處理層r
前處理器由兩個DELL PowerEdge 6650組成，執行Windows 2000 Advance Server作業系統和Microsoft SQL Server 2000企業版。每個伺服器包括四個Intel 至強1.6G處理器和4GB記憶體。為了保證整個公司每天24小時的可用性，這兩個伺服器被配置成MSCS的Active-Active的叢集。“NetMon十分可靠，”WineBarger說，“我想不起來有什麼故障導致過它的停機”。
前處理器連續從模擬NetCool資料庫結構的ORACLE資料庫中抽取資料，轉換資料並將這些資料與公司內兩個trouble-tickets系統和三個相關的資料來源中的資料相關聯。從NetMentor 和Edgehealth中每天若干次以批模式抽取資料，從Cornerstorn Voice中獲取的資料則按需取出。在從Netcool中獲取網路事件資料然後裝載到資料倉儲的過程中會有一個十五分鐘的視窗。

Intellinet充分利用了SQL Server 資料轉換服務（DTS），實現了複雜的從若干異構源系統中抽取、轉換和修正資料並持續向資料倉儲裝載的功能。透過使用巢狀的DTS包建立這一層上的抽取、轉換、裝載的功能，Intellinet可以保證任何源資料的改變只需對底層的DTS包進行改變，不會給程式碼帶來很大影響。SQL Server的通知服務可以在任何原因導致的ETL過程失敗時，如源資料系統離線時，傳送電子郵件給系統管理員。
資料倉儲層
從預處理層得到的相互關聯的資料被儲存在資料倉儲中，資料倉儲儲存在兩臺Dell PowerEdge 6450/900的機器中，執行Windows 2000 Advance Server 和SQL Server 2000企業版。每臺伺服器配置900M至強處理器和2G記憶體，並且使用了特定的network-attached storage(NAS)裝置。資料倉儲目前有450G資料，並且被設計為可擴充套件到TB級。一些表插入記錄峰值時可達到135條/秒的資料，已經達到上億條記錄。

資料倉儲基於星型結構，這個非通常的資料庫設計用來保證裝載大量資料的效率和最小化報表處理時間。Intellinet建立了相關儲存過程並對關鍵表建立了索引檢視以更好地提高報表的效能，最小化解決方案展現和報表伺服器資料裝載壓力。
OLAP 層
NetMon的OLAP層位於Intel TIGER4伺服器上，執行64-bit Windows Server 2003和SQL Server分析服務，這個伺服器配置了16G的記憶體和四個64-bit 1.5G第三代的Intel Itanium(“Madison”)處理器，每個處理器上都有有6M的快取記憶體，OLAP層中建立了14個OLAP的多維資料集，最大的一個包括290M行的資料。其中一個OLAP多維資料集中的“voice ports”維度包含超過五百萬的成員，“network devices by type”包含超過一百萬的成員。
選擇基於安騰的伺服器的64位的環境，Cox避免了32位系統中虛擬記憶體4GB的限制。這可以使公司可以安裝並且更有效地使用更大的實體記憶體，實體記憶體是OLAP應用中處理大量資料時所需的關鍵系統資源。“從32位分析服務環境遷移到64位OLAP環境中，系統的效能得到了很大提高。”Winebarger說。

Hall補充說，“我們採用的64位Windows環境給我們帶來很大的效能提升空間，從而使我們不用在32位系統同一層次上進行擴充套件。我不敢相信如果沒有64位的Windows2003和SQL Server 2000我們怎麼能夠實現這些。”
在這個解決方案中，OLAP多維資料集在同一個伺服器上建立和提供查詢（第二臺伺服器為硬體系統失敗提供備份）。多維資料集會被經常地更新，以更好地最小化NetMon得到的資料與報表資料的延遲。那些聚集，劃分維度並在分析服務中使用的資料包括日常和歷史的損耗資訊，反應時間，網路拓樸資訊等。象Reporting Services報表一樣，OLAP報表可以透過主要的NetMon門戶訪問。
展現與報表層
展現與報表層包括三臺Dell PowerEdge 6650伺服器組成，執行帶有IIS5.0的Windows 2000 Server(IIS是Windows 2000自帶的Web伺服器)，SQL Server Reporting Services和Microsoft .NET Framework。每臺伺服器配置兩個2G的至強處理器和2G記憶體。一個WEB伺服器用來發布所有非報表的WEB頁面給NetMon，包括一些對OLAP報表和Reporting Services報表的連結資訊。對於分析服務的報表，使用可以與OLAP多維資料集中資料互動的TARGIT 2K3 AnalysisNET，它是TARGIT A/S提供的可定製的OLAP的瘦客戶端。
以下描述展現與報表層是如何與解決方案中其它層次互動並將報表展現給終端使用者，
• Reporting Services中的報表目錄和所有報表的定義儲存在資料倉儲層（它們可以位於不同的伺服器）。Reporting Services例項執行在一個門戶伺服器上，可以完成對使用者授權， Reporting Services目錄查詢，展現使用者有權訪問等功能。
• 當使用者點選了一個報表時，請求從主門戶傳遞到兩個報表伺服器之一，這個請求是無狀態的。Reporting Services將報表定義從報表目錄中取出。報表的定義以基於XML的報表定義語言（RDL）模式儲存。
• 基於報表的型別（實時，快照，或快取），Reporting Services在資料倉儲和其它後臺系統中執行報表，返回快照，檢查或返回所需的快取複製。如果在快取中的複製已經過期，報表會再次執行，新的複製會被快取。快取和快照以二進位制大物件（BLOB）型別儲存在Reporting Services的資料儲存中，並且可以由Reporting Services渲染成HTML型別。