國際知名的諮詢公司麥肯錫認為，企業的發展戰略制定流程可以分為七步（如圖1），包括設定戰略目標、定義經營單元、進行行業分析、產生戰略選擇、測試動態影響並選擇、設計細節並實施和監控結果七大方面，可見，進行行業分析是企業制定戰略相關決策的重要環節。而我們已經進入網際網路和大資料時代，行業分析的方法可以結合大資料有更好的創新和突破。本文將大資料如何更好的幫助進行行業分析，從而更加有效的輔助戰略決策。
圖1：戰略規劃的流程
企業的發展受多種力量影響（如圖2），進行行業分析的時候，需要要分析這些力量的影響，這些影響都作為戰略決策的重要依據。企業所處的最外層的環境受四種力量影響，包括政府政策（Politics）、經濟環境（Economics）、社會（Society）和科技（Technology）四大方面，構成巨集觀環境分析的PEST模型；企業還受產業的五種力量影響，包括同行競爭者、潛在進入者、替代品、供應商和顧客（使用者）所影響，構成產業分析的波特五力模型。本文將介紹如何通過大資料的手段對影響企業發展的各種力量進行監測，以輔助戰略分析師以及相關的決策者更好的決策。
圖2：企業發展所處的生態環境
大資料應用於行業研究採用基於大資料的網路資訊抓取和挖掘方法（如圖3）。總的來看，此方法分為四大步驟，包括智慧資料採集、資料預處理、資料分析與挖掘以及資料展現。在智慧資料採集方面，利用網路爬蟲技術對相關網站進行資訊抓取，形成半結構化以及非結構化的資訊。網路資訊抓取的時候，一開始指定的抓取物件非常重要，如對於行業政策，指定抓取相關的政府官方網站、行業協會網站會使得抓取的效果更好。第二步是對抓取下來的資訊進行資料預處理，包括頁面資訊解析、資料清洗和內容提取，對重複文章資訊進行去重，並進行文字分詞、特徵提取以及關鍵詞提取，以從噪音資料中分離出有用的資訊以及減少資料的維數。第三步是對這些預處理後的資料進行資料分析和挖掘，實現有用資訊的提煉和發現，包括使用文字分類和聚類方法發現熱點事件，結合資訊的規模度和離散度等維度來發現敏感資訊，通過演算法和人工手段對指定關鍵詞的進行專題的偵測，通過資料的走勢來判斷資訊的趨勢等。第四步為資料展示，即通過主題的方式和圖表的方式來展示，或者通過計算機對資訊進行更高層次的提煉，形成資訊簡報。
圖3：基於大資料的網路資訊抓取與挖掘
大資料應用於巨集觀環境分析
我們可以利用基於大資料的網路資訊抓取與挖掘方法對行業產生影響的相關因素進行監測。在行業分析中最經典的巨集觀環境分析模型為PEST模型，PEST即分別對應政策、經濟環境、社會和科技資訊。以網際網路企業為例，影響網際網路行業的相關政策因素包括網際網路資訊內容管理、網站備案管理、網路安全交易環境、電子商務平臺服務規範、智慧財產權維護和個人資訊保護等方面；影響網際網路行業的經濟環境包括國內巨集觀經濟執行情況相關資料、國內金融執行情況相關資料以及國際巨集觀經濟執行相關資料等。影響網際網路行業的社會因素包括社會環境的包括人口規模、年齡結構、種族結構、收入分佈、消費結構和水平、人口流動性等，其中人口規模直接影響著一個國家或地區市場的容量，年齡結構則決定網際網路服務的發展方向及推廣方式；影響網際網路行業的技術因素包括網路技術、雲端計算技術、安全技術、軟體技術、資料庫技術、動畫視訊多媒體技術等，近年來，網際網路新技術加快創新發展，不斷催生新的產品。以移動網際網路、雲端計算、大資料等為代表的網際網路技術及應用，帶動了相關網際網路的創新發展。
對於網際網路行業，我們可以從特定型別的網站抓取相關政府政策、經濟環境、社會和科技資訊。我們可以抓取相關政府機構網站如國務院網站、工信部網站、文化部網站、商務部網站、新聞出版總署網站、國家工商總局網站、相關協會網站如中國網際網路協會、相關研究機構網站如第三方網際網路研究機構網站艾瑞網以及國家統計局等網站。對抓取後的內容進行主題分類，分為政策主題、經濟主題、社會主題和科技主題，以便於分析師或者相關的決策者作為參考。
大資料應用於市場分析
行業市場分析一般從行業市場規模、市場成長速度預測以及產業集中度、該市場的細分市場分析以及行業發展趨勢等角度來分析。以網際網路行業為例，網際網路行業會比較關注市場的使用者規模和營收規模以及未來的增長速度。產業集中度是用於衡量產業競爭性和壟斷性的最常用指標，產業集中度也叫市場集中度，是指市場上的某種行業內少數企業的生產量、銷售量等方面對某一行業的支配程度，它一般是用這幾家企業的某一指標（大多數情況下用銷售額指標）佔該行業總量的百分比來表示，該比例越高，市場的壟斷程度越高。
對於行業市場分析中相關的行業市場規模、增速速度預測、產業集中度的分析、細分市場的分析以及行業發展趨勢等方向，我們可以通過基於大資料的網路資訊抓取與挖掘方法在網路上抓取相關的資訊。我們可以通過爬蟲技術抓取財經類網站如金融界、證券公司網站、第三方市場研究公司網站、投資機構網站等抓取相關市場分析的有用資訊，以輔助分析師進行行業市場分析。
大資料應用於競爭分析
企業需要分析競爭者的優勢與劣勢以及競爭對手在各方面的動態，做到知己知彼，才能有針對性地制定正確的市場競爭戰略。競爭對手分析的內容包括以下方面：（1）產品構成和新產品情況。競爭企業的產品構成、產品的新功能和新產品的研發情況等。（2）產品的價格變動情況，價格策略；（3）營銷和促銷行為。競爭對手的廣告和促銷行為的監測資訊可以用來分析競爭對手的戰術層面的情況。及時瞭解到這些情況，比較有利利於企業進行及時的反擊；（4）研發能力和專利申請情況。我們需要了解競爭企業內部在產品研究、技術和基礎研究、以及專利等方面的情況，有利於企業在研發方向制定相應的競爭策略；（5）組織結構和人力資源變動情況。組織結構和人力資源的變動較為容易透漏競爭企業的一些戰略行動，比如如果競爭對手招聘一位全新產品的總負責人，側面反映該企業在這個新產品上有規劃和行動；（6）生產與經營。這方面我們需要掌握競爭企業的生產規模與生產成本水平、設施與裝置的技術先進性與靈活性；生產能力的擴充套件；原材料的來源與成本等。
以上競爭對手情況可以通過大資料手段來輔助抓取和挖掘。關於產品構成以及新產品相關的情況，我們可以抓取競爭對手的網站、微博、產品釋出的一些常見網站和網路渠道來獲得；關於產品的價格以及促銷行為情況，我們可以抓取產品的官方網站、電商網站等來獲得；研發能力和專利情況也可以通過抓取企業官方網站、相關的技術網站和論壇、專利查詢網站等渠道來獲取；組織結構和人力資源變動情況可以通過抓取其企業官方網站、主流的招聘網站或者高階人才的獵聘類等網站；生產和經營情況這方面的網上資料可能偏少，如果是上市企業，可以通過財經類的網站、上市公司財報等渠道獲取。相對於巨集觀環境分析、行業市場分析，大資料在企業競爭分析所起到的作用更為關鍵，對企業的用處也更為直接。企業需要高度重視這個方向，以通過大資料的手段獲得更為及時和有效的競爭情報。
大資料用於發現快速成長的企業
業務發展速度較快或者使用者量增長速度較快的企業，往往在產品或者服務創新或者微創新等方面有所建樹，因此值得我們關注。我們可以通過利用大資料可以輔助發現業務增長或者使用者量增長較快的企業，監測的維度包括：（1）使用者或者客戶的增長速度；（2）使用者在社群或者微博上正面口碑量增長較快的企業或者產品；（3）網站的訪問量增長速度較快的企業或者產品；（4）股價增長速度較快的企業。以移動網際網路企業為例，我們可以利用大資料手段來抓取應用下載市場的下載量以及計算下載量的增長速度或者應用下載的排名變化情況；利用大資料手段來抓取微博上正面口碑增長速度較快的應用；或者運用電信運營商的流量資料來掌握應用使用規模的增長情況。
總之，我們可以通過大資料的手段更好的輔助行業研究，監測企業所處的行業環境、競爭對手的動態以及發現成長快的企業。對於行業環境和競爭對手監測，我們更多的是運用基於大資料的網路資訊抓取和挖掘方法，利用網路爬蟲技術抓取和分析相關的網路資訊，在這個過程中，除了要重視爬蟲技術、自然語言處理技術以外，我們還要重視抓取的網站物件的選取，選取合適的抓取物件會事半功倍。對於發現成長快的企業，運營商的流量資料是比較好的資訊來源，當然也可以通過其他渠道如應用下載市場來獲取。以上通過大資料手段所獲取的資訊，還需要結合分析師進行進一步的分析，以提取有用的決策資訊。在行業研究中，大資料不能取代分析師，但可以更好的輔助分析師進行更為全面和及時有效資訊獲取，節省分析師在資訊獲取的時間，讓分析師更好的聚焦在資訊分析和提出企業發展的建議上。
文：傅志華
關於作者：傅志華先生曾為騰訊社交網路事業群資料中心總監以及騰訊公司資料協會會長。在騰訊前，曾任DCCI網際網路資料中心副總裁。傅志華先生現就職於某美國上市網際網路公司大資料中心，同時任中國資訊協會大資料分會理事和中國網際網路協會大資料工作組專家。