開發者在處理大資料問題時，有哪些關鍵點？

提到大資料，我們首先會想到3V,即：資料量大、業務複雜、速度快。而對開發者來說，我們無需關心什麼是大資料，大資料會帶來哪些影響。開發者的日常工作，主要是解決哪些業務問題，透過哪些技術手段增加企業的業務價值，並進一步提高使用者體驗。但是，如果我們能全面地瞭解大資料的當前和未來狀態，可以讓開發工作變得得心應手。

那麼，開發人員在處理大資料時，需要記住哪些要領呢?

1、把基本流程自動化，重點關注業務問題

很多開發者都知道，要想構建一個更酷的解決方案，需要關注最重要的業務問題，並且要與各個部門通力合作，共同完成。但是，開發人員不瞭解的是，很多流行的大資料技術，只滿足於特定用例，我們需要根據特定的應用場景，選擇適合的解決方案。所以，在構建大資料解決方案時，我們要充分了解資料邏輯，構建資料提取規則，並考慮資料的遵從性和安全性要求，還要考慮如何與其他軟體無縫整合。

如果只借助開發人員或者解決方案架構師的思維來考慮問題，我們的最終方案肯定不夠全面，如何讓我們的解決方案覆蓋面更廣，儘可能地解決更多的問題，其實是有規律可循的。首先，把思考資料來源作為常態；其次，我是否與主抓業務資料的人建立了合作關係；其三，我處理業務的結果是什麼，業務人員是否能看到價值？

假如，你從事的是零售業，就應該從開發的角度進一步提高零售體驗；假如你從事的是石油和天然氣行業，就要想如何透過技術手段有效地從地下開採石油。總之，作為開發人員，要專注於如何為特定業務提供價值，進而影響到特定行業，而不是把大量時間都花費在橫向功能的擴充套件上。

從頭開始，構建一個端到端的資料管道。雖然一開始非常有成就感，但是後期隨著企業業務的擴張，你需要構建10個、100個甚至1000個資料管道，就會被大資料所累了。因為你的原始程式碼限制了你資料管道的擴充套件能力。所以，把基本流程自動化，會讓我們有更多時間關注專業的業務功能。

2、智慧資料系統可解決大規模資料帶來的問題

對於大規模資料，有人害怕，而人則覺得不足為奇，無非是提供更多的儲存空間，把所有的資料儲存下來。其實，過於擔心和毫不關心，都不可取。

大資料雖然不是什麼新鮮物種，但是隨著資料量的增多，資料的安全性、資料訪問等問題，就會接踵而來。一旦出現問題，由大資料帶來的懲罰，就會被放大更多倍。大規模資料其實不止體現在容量上，在種類、使用方式等，都有很多不同點，我們需要透過自助式服務改變傳統的大資料管理模式。並且，開發人員不能憑空想象隨意構建大資料解決方案，需要透過大量的測試案例去規避一些效能、安全和可伸縮性等問題。

智慧資料系統是一種新型大資料應用，也是過去軟體開發過程中的核心應用。現在，智慧資料系統也可以用於大資料開發，解決大資料系統的可靠性、可伸縮性和可擴充套件性等問題。

3、全面提升資料安全意識

無論是靜止資料，還是動態資料，當資料返回資料中心時，請確保有足夠的保護措施和伺服器空間。尤其是靜態資料，更要關注其安全性。必要的時候，開發人員要接受專業的資料保護培訓。

另外，不只是開發人員自己要有資料保護能力，還要讓整個企業都要有提升資料安全性的意識。

4、遠離關係型資料庫

從資料庫的選擇上，要遠離關係型資料庫。關係型資料庫非常善於處理事務的更新操作，尤其是處理更新過程中複雜一致性的問題。但是，關係型資料庫並不擅長處理一些大資料管理方面的關鍵操作，比如：無法大規模擴充套件，無法動態地建立新的叢集，不善於處理非結構化資料等。即使有些關係型資料庫，能構建大資料解決方案，但是代價非常昂貴。並且，在SQL和關係型資料庫的組合模式中，難以實現某些型別語句的簡單查詢。

在大資料解決方案中，NoSQL是最大贏家，這種資料庫結構可以適用於微服務架構。另外，在大資料的不同用例下要使用不同的編碼工具，所以Kubernetes (k8)變得越來越重要，成為DevOps解決方案中最終的應用。

5、掌握幾個關鍵的大資料技術

在矽谷，如果你掌握了Kafka、Spark等主流的大資料技術，意味著你可以找到一份非常不錯的工作。這說明，擁抱新技術是大勢所趨。但這並不代表這些大資料技術就是萬能的，我們要透過更有效的方法和更成熟的經驗不斷調優，讓企業構建適合的大資料平臺。

總之，構建一個全面、靈活的大資料平臺，並非易事。對於開發者來說，如果你只專注於某一個資料模型，那麼可能會陷入大資料的“坑”，未來大資料擴充套件會成問題。如果你想構建一個完全原始、乾淨的資料平臺，那麼在實際應用中，你所構建的資料平臺將無法進行工作。