大資料分享常用的資料探勘技術,新人學起來就可以用

對大資料開發技術感興趣的小夥伴對資料探勘技術有多少了解呢?本篇文章大資料小編就給喜歡大資料開發的小夥伴分享一下常用的資料探勘技術，希望對小夥伴們有所幫助。

1、統計技術

資料探勘涉及的科學領域和技術很多，如統計技術。統計技術對資料集進行挖掘的主要思想是：統計的方法對給定的資料集合假設了一個分佈或者機率模型(例如一個正態分佈)然後根據模型採用相應的方法來進行挖掘。

在這裡還是要推薦下我自己建的大資料學習交流群:529867072，群裡都是學大資料開發的，如果你正在學大資料 ，小編歡迎你加入,大家都是軟體開發黨，不定期分享乾貨（只有大資料軟體開發相關的），包括我自己整理的一份最新的大資料進階資料和高階開發教程，歡迎進階中和進想深入大資料的小夥伴加入。

2、關聯規則

資料關聯是資料庫中存在的一類重要的可被發現的知識。若兩個或多個變數的取值之I司存在某種規律性，就稱為關聯。關聯可分為簡單關聯、時序關聯、因果關聯。關聯分析的目的是找出資料庫中隱藏的關聯網。有時並不知道資料庫中資料的關聯函式，即使知道也是不確定的，因此關聯分析生成的規則帶有可信度。

3、基於歷史的MBR(Memory-based Reasoning)分析

先根據經驗知識尋找相似的情況，然後將這些情況的資訊應用於當前的例子中。這個就是MBR(Memory Based Reasoning)的本質。MBR首先尋找和新記錄相似的鄰居，然後利用這些鄰居對新資料進行分類和估值。使用MBR有三個主要問題，尋找確定的歷史資料;決定表示歷史資料的最有效的方法;決定距離函式、聯合函式和鄰居的數量。

4、遺傳演算法GA(Genetic Algorithms)

基於進化理論，並採用遺傳結合、遺傳變異、以及自然選擇等設計方法的最佳化技術。主要思想是：根據適者生存的原則，形成由當前群體中最適合的規則組成新的群體，以及這些規則的後代。典型情況下，規則的適合度(Fitness)用它對訓練樣本集的分類準確率評估。

5、聚集檢測

將物理或抽象物件的集合分組成為由類似的物件組成的多個類的過程被稱為聚類。由聚類所生成的簇是一組資料物件的集合，這些物件與同一個簇中的物件彼此相似，與其它簇中的物件相異。相異度是根據描述物件的屬眭值來計算的，距離是經常採用的度量方式。

6、連線分析

連線分析，Link analsis，它的基本理論是圖論。圖論的思想是尋找一個可以得出好結果但不是完美結果的演算法，而不是去尋找完美的解的演算法。連線分析就是運用了這樣的思想：不完美的結果如果是可行的，那麼這樣的分析就是一個好的分析。利用連線分析，可以從一些使用者的行為中分析出一些模式;同時將產生的概念應用於更廣的使用者群體中。

7、決策樹

決策樹提供了一種展示類似在什麼條件下會得到什麼值這類規則的方法。