大資料彈性應用開發的八項基本原則

　　大資料應用正在從概念走向現實，而企業在大資料應用開發時，軟體的彈性（Resilient）正在成為決定大資料應用成敗的關鍵因素。彈性差的應用無法應對大規模的資料集，在測試和運營中也缺乏透明度，而且也不安全。

　　避免大資料應用在生產環境中掉鏈子的最佳辦法就是在開發階段就開發彈性應用，例如：魯棒、經過測試、可改變、可審計、高安全、可監控。

　　可以說，開發出彈性大資料應用既是一個技術工作，也是一個哲學問題。Concurrent的Supreet Oberoi近日撰文提出大資料應用開發八大基本原則，IT經理網編譯如下：

　　一、為彈性大資料應用描繪一個藍圖

　　第一步是為企業大資料應用建立一個系統的架構和方法，要處理什麼資料？那些型別的分析最重要？軟體架構需要承載那些指標、審計、安全和運營功能？

　　另外一些需要考慮的問題：那些技術最關鍵？哪些技術只是圖一時之便？你的藍圖需要準確評估當前架構的問題所在。

　　二、資料規模不再是問題

　　如果應用無法處理更大規模的資料集，那麼它就缺乏彈性，彈性應用應當能夠處理任意規模的資料集（包括資料深度、廣度、頻度等），資料彈性還只對新技術的相容，缺乏彈性的應用需要不斷配置修改應用來適應不斷更新的大資料技術，對於企業來說是時間、資源和金錢上的無底洞。

　　三、透明度

　　對於複雜應用來說，查詢擴充套件性等彈性相關問題還很難實現自動化。關鍵是鎖定問題的根源所在：是程式碼、資料還是架構抑或網路問題？並非每個應用都要具備這種透明度，但大一些的平臺應當具備足夠的透明度，讓所有開發者和運營人員都能在問題發生時立刻找到根源並採取措施。

　　一旦發現問題，最為關鍵的是將找到應用行為對應的程式碼——最好是通過發現問題的監控應用。大多數情況下，訪問程式碼會涉及到多個開發人員，執行起來流程將非常曲折。

　　四、抽象，事關高效和簡潔

　　彈性應用總是面向未來的，通常採用抽象層來簡化開發、提升效率，允許採用不同的技術實現。作為架構的一部分，彈性開發的抽象層能夠避免開發者陷入技術實現的細節泥潭中。簡潔性則能方便資料科學家使用應用訪問所有型別的資料來源。如果沒有抽象技術，產品的生產力會大打折扣，修改成本增高，而使用者則為複雜性所困擾。

　　五、安全：審計與合規

　　彈性應用能自我審計，能夠顯示誰使用了應用，誰有許可權使用，訪問了哪些資料以及政策如何實施。在應用開發階段就將這些功能考慮進去是應對日益增長的大資料隱私、安全、治理和控制挑戰的關鍵所在。

　　六、完整度與測試驅動的開發

　　彈性應用的一個基本要求就是不能遺失任何資料，資料完整性的喪失往往會導致嚴重的後果，例如金融企業會因為程式程式碼弄丟了一兩行交易資料而在反洗錢或金融欺詐調查中遭受處罰。

　　七、資料便攜性

　　不斷髮展的業務需求驅動技術不斷做出改變，因此，大資料應用也應當能夠在多個平臺和產品上執行。最終的目標是讓終端使用者能夠通過SQL和標準API訪問資料（無論是否實時）。例如，一個先進的大資料平臺應當允許原本由Hadoop儲存MapReduce處理的資料，轉移到Spark或Tez中進進行處理，而且這個過程不需要或儘可能少地改動程式碼。

　　八、不要搞個人“巫術”

　　大資料應用的開發不應當依賴某個高手的個人才華，程式碼應當在多個開發者之間分享、評估和保有。這個策略讓整個團隊，而不是個人，對應用質量負責。

　　原文連結：The eight must-have elements for resilient big data apps