0

 

作者:Jeff Leek   翻譯:嶽辰   校對:Vanessa

在大資料時代,統計學應當如何發揮它的優勢?很多統計學家都在探討這個問題,包括Steve M. 和Larry W. 也在他們的部落格探討了有關的內容。而筆者的科研方向主要是研究基因組學,也通常被列為統計學和統計學家發揮巨大作用的“大資料”的領域之一,所以對這個問題也思考了一段時間。

一個自然而然的問題就是:“為什麼在基因學研究中,統計學家可以取得如此大的成功?”筆者這裡想借用Brian C.的一句話來解釋:Problem first, not solution backward (問題優先而非解法優先)

在當下,“大資料”這個詞的廣泛應用得益於資料的獲取變得越來越便宜。一個例子就是DNA序列掃描的價格。在其他領域中也是一樣,例如人體運動的資料記錄,Fitbits,Google books,Twitter上的社交網路資料等等。這些資料的獲取或許在十年前有著令人生畏的價格,但現在卻絕非難事。

作為一名統計學家,我們希望從這些非常不同的領域中尋找大資料普適的原則:

1.這些資料都無法在一個簡單的膝上型電腦上進行分析(不論從幾千兆到兆兆位元組)。

2.這些資料形式複雜,結構龐雜,如有非結構化的文字資訊,有缺失很多資料的json檔案,含有質量指標的fastq檔案等等等等。

那麼為什麼在基因研究中,統計學家能取得如此大的成功呢?在筆者看來,很多原因就是幹這一行的統計學家願意花上很長的時間,去處理那些很細節的資料問題。比如,在大資料上執行哪怕是最為簡單的統計模型,也要花上數個小時的時間,抑或處理一個得到的基因序列並對它們進行必要的修復也同樣是非常耗時耗力。正因為願意去花時間理解並處理這些很實際的、很細節的問題,統計學家才能得到那些別人無法得到的資料,才使得統計學家在基因學科上取得了今天的成就。

這些事情並不輕鬆,也並不“高雅”。很多統計學家也不稱之為“統計”。Steve在他的部落格中提到:“坦誠地說,我對於現在的統計學很少能提出有價值的新觀點表示失望。”我想,他的觀點是有很多統計學家贊同的。大意是說由於在大資料上面目前沒有什麼好的理論提出,所以在大資料方面也就沒什麼值得稱為上乘的“新觀點”。他們的這種觀點就是solution backward (解法優先):我們需要漂亮的理論,然後把它應用到具體問題。

與之不同,我們提出的方式,就是problemforward (問題優先)。正因為當下得到資料變得越來越便宜,我們也就可以分析和學習很多以前無法完成的課題。電腦科學,物理學,生物基因以及其他一些領域在大資料上面一直保持領先正因為他們的研究者在資料分析上並不一定需要一個統計上“完美”的解答。他們更關注有科學意義的問題並願意花時間,精力去處理那些繁瑣的“大資料”來進行分析,從而達到目的。因此,他們能獲得別人從未研究過的資料並從中提煉有價值的部分。

在基因學科中就有著很好的例子。DNA晶片的發明,對這個領域產生了革命性的影響。而後統計學家進入這個領域。他們和其他科研人員一起為了同樣的科學問題,在實際資料上投入了大量的時間,精力來完成資料處理,或者開發能夠處理資料的軟體。在筆者看來,想要在大資料時代真正做出成果,首先要專注於那些有意義的科學問題,然後才是提出能解決科學問題的統計方法。這就需要我們重新去思考統計學。那些比如平行計算,資料再加工,資料可複製性,軟體開發等等問題,其實和純統計理論方法同樣的重要。

當然,在大資料時代,統計學有著廣泛的發揮空間,用我們獨特的技能去處理這些新問題中的不確定性,但是這一切的前提都是我們要首先願意去為了科學目標來處理那些關於資料方面繁瑣的工作。