資料分析的標準SOP！

資料分析這個崗位涉及很多知識點，各個網站也都能搜到，但很少有一種系統化的流程來參考，也有讀者後臺留言問到資料分析的流程，所以我認認真真的整理出一套方法論，將資料分析從0-1的流程都串聯了起來。

對於分析人員來說，過程很重要，是一個發現業務價值並探索業務價值的過程;但對於領導來說，結果才最重要，只有可落地實施可帶來實際效益的結果才是資料分析價值的體現。

所以，流程中的每一步鋪墊與探索都是為了最終的業務價值的實現。

資料分析sop流程

資料分析共包括四大階段：

需求處理階段：考驗溝通理解能力

資料處理階段：考驗資料清洗及sql、python等工具使用能力

資料分析與展現階段：考驗分析應用與視覺化展現能力

覆盤跟蹤階段：考驗反省最佳化能力

根據資料分析的sop流程，將其中的資料分析與展現階段整理了一份思維導圖，方便大家快速理解，可以先看一下。

其實資料分析一句話總結就是：將一堆無序的海量資料經過一系列清洗、處理、規整、加工展現，提煉出痛點及機會，從而驅動業務增長、輔助業務決策。

展開講講資料分析各階段

一、發現問題

問題千千萬，需從中找出有效問題。有效問題就是有價值的問題：這個問題涉及了什麼業務?與什麼指標相關?有多大的影響?能解決什麼難題?受宏觀影響還是微觀影響?無法避免還是本可避免?等

發現問題，可以從以下幾個方面著手：

與歷史對比

與總體對比

與競品對比

與目標對比

與經驗對比

......

二、需求處理階段

需求分兩塊：他人驅動與自我驅動。

➢他人驅動

通常由業務方、上級領導等需求方發現問題，提出需求。可能會存在需求不明確的問題，既增加溝通成本，又耗費時間成本，分析師將需求完成之後，需求方才發現自己需要的並不是這樣的，成了無意義的工作、低成本的分析。

所以需要清晰get到需求方的點，瞭解清楚需求背景、需求目的、指標口徑、資料需求範圍、資料需求維度、需求的期望排期等。

另外還需明確一點，資料展示聚合還是明細。如果展示聚合，需要按照什麼維度聚合，按照什麼方式聚合;如果需要展示明細，搞清楚為什麼需要的是明細資料，因為明細資料量會比較大，既涉及資料安全，也給調取資料帶來壓力。

有時候需求方要求明細資料，他們拿到明細資料之後還要再用excel去聚合去做資料處理，其實這一步驟分析師完全可以直接用sql或者BI產品解決。也就是說這個明細資料並不能一步到位讓需求方看到他想看到的資料，所以需要引導需求方瞭解下他們需求的真正目的。

做到拆解需求，將抽象的需求具體化，複雜的需求簡單化。

➢自我驅動

即分析師本人發現問題，探索解決問題的方案。比如某個指標波動異常，先於業務方發現並解決問題;再比如專門負責某一個專案，主動透過資料探索專案最佳化方案。

三、資料採集

資料採集的目的是為了在分析中使用，多數情況下用到的是聚合資料。資料採集分為內部資料、外部資料兩大塊。

➢內部資料

1)需要梳理清楚這個需求需要什麼資料

2)需要判別需要的資料是否能從現有資料庫中獲取。如果可以，應該從哪個庫中的哪個表獲取?這個表中欄位的口徑和需求所需的欄位口徑是否一致?

3)如果現有資料庫中沒有現成的資料可以滿足需求，就需要梳理好口徑請數倉同學重新落表。

4)如果現有資料庫中有表可以滿足，但是需要透過SQL層層關聯才能從資料庫中獲取聚合資料，最好的方式請數倉同學將你所需的聚合資料落成資料庫表，這樣一方面你使用起來較為簡單，另一方面也減少了資料展現層的BI端連線資料的壓力。

➢外部資料

行業報告資料：比如艾瑞網、極光大資料、阿里研究所、199IT網際網路資料中心等都會時不時的發一些行業分析報告。整個行業的資料公司內部是無法獲取的，所以可以從一些行業分析報告入手。

問卷採集：比如我們需要獲取使用者的一些①主觀想法：喜歡我們產品的原因是?我們產品最吸引您的點是?您覺得我們產品最應該改進的點是?②對競品的行為：您在xx場景下更願意使用A產品、B產品還是C產品③使用者習慣的場景：您在什麼場景下更願意使用xx產品?透過問卷資料獲取一些產品中無法獲得的資料，輔助分析。

宏觀資料：比如我們分析的某個指標有時候也會受到宏觀政策的影響。比如在xx日出具了xx政策，本公司產品在該政策之前與之後變化多大。

確保能獲取核心的關鍵性資料，為下一步做準備。

四、資料處理

對分析師而言，這步需要分析師將資料根據腦中的分析框架處理成所需要的資料。會涉及資料異常值處理、缺失值處理、資料轉換、資料聚合、資料分組歸類以及資料準確性的校驗，為下一步的資料分析奠定好基礎。井井有條的資料更有利於分析。

五、資料分析

硬實力：

①資料調取：MySQL、SparkSQL、Hive、impala、Oracle、PostgreSQL等

②資料清洗或建模：Python、SPSS等

③資料視覺化：Tableau、Fine BI、Quick BI、PowerBI等

④資料分析報告：ppt、excel、word

以上硬實力並不是說全部都需要，針對不同的崗位性質需要不同的技能。比如有的分析只需要會sql、視覺化工具、寫分析報告就可以了，有的分析額外還需要會python建模等。

軟實力：

①統計知識：描述性統計、邏輯迴歸、假設檢驗等

②排查問題的能力

③溝通能力：與業務方、數倉、上級領導溝通

④歸納總結能力：從一系列分析中歸納出最重要的點

⑤資料敏感度

軟實力更重要，工具大家認真學都能學會，軟實力卻是自己實打實的個人特色與魅力。

六、資料展現

以上準備都做好之後，就到了資料應用層：資料展現。資料展現普遍來說，有兩種形式：資料分析報告&視覺化報表。

1)資料分析報告

資料分析報告要素：資料調取時間、報告出具時間、報告負責人、資料維度、分析背景、分析目的、結論要點、附表等。

注意：

最好將要點總結放在上面，這樣看報告的人可以第一時間get到要點，然後再針對性去看每個要點的分析。

結論要點總結，求精不求多。

一張圖儘量表明一個觀點，而非一張圖涉及很多種指標，傳達很多種觀點，容易造成干擾。

一份有價值的分析報告才是成果的展現。

2)BI報表

不管是採取外購的BI產品還是自研，都需要有一種敏捷BI來為資料應用提供一種入口。

資料視覺化旨在將複雜資料圖片化，幫助人更好地分析資料。視覺化並不是單純的展示下資料，而是使分析結果視覺化，注意“分析結果”這4個字。藉助於圖形，清晰有效的傳達與溝通問題。舉個例子，視覺化相較於資料，好比照片相較於文字。一張好的照片可以讓人瞬間發現其中的亮點，而無需在大量文字中去提取;一份優秀的視覺化可以讓人瞬間發現資料要傳達的含義。重在直觀的展示，而非簡單的好看。

資料是思想，視覺化是表達方式。想象一下，倘若公司沒有視覺化，員工基本會在資料處理上耗費大量的時間，於員工‍而言，耗時耗力;於企業而言，員工因資料處理而導致的加班增加了開支成本，且管理層無法第一時間迅速獲得有效資訊。

7、持續跟蹤

一份分析報告的完成以及一份BI報表的上線，並不是分析的終點。分析，需要可持續化的覆盤跟蹤。

比如：

①跟蹤分析方案有沒有為公司帶來實質性的價值。該方案執行一段時間後，需要進行執行後VS執行前的對比分析，跟蹤分析方案有沒有為公司帶來實質性的價值。

②跟蹤分析資料指標異動的原因。上線了新的報表之後，需要跟蹤下報表上指標的變化，及時感知資料是否出現異動以及探索異動的原因。

③跟蹤分析資料實際表現與目標的差距。透過對歷史資料的歸納總結，聚焦實際表現與目標的主要差距，量化分析優勢與不足。

持續化的覆盤跟蹤，有助於我們查漏補缺，完善方案。更有助於探索資料深層次的含義以及及時感知資料的異常波動，提升自我價值與業務價值。

結語

分析其實就是要摸清楚需求物件是誰?關注點是什麼?需要解決什麼問題?過程服務於業務。分析師不是一線，但與一線人員息息相關。