最近在看《機器學習實戰》的時候萌生了一個想法，自己去網上爬一些資料按照書上的方法處理一下，不僅可以加深自己對書本的理解，順便還可以在github拉拉人氣。剛好在看決策樹這一章，書裡面的理論和例子讓我覺得這個理論和選擇物件簡直不能再貼切，看完長相看學歷，看完學歷看收入。如果可以從婚戀網站上爬取女性的資料資訊，手動給她們打標籤，並根據這些資料構建決策樹，不就可以找出自己的擇偶模式了嗎！github專案：huatian-funny，下面就詳細的闡釋一下。
資料爬取
之前在世紀佳緣上爬取過類似的資料，總體的感覺是上面的使用者資料要麼基本不填要麼一看就很假，周圍的一些老司機建議可以在花田網上看下，資料質量確實高很多，唯一的缺點就是上面的資料不給爬，搜尋使用者的API需要登入，而且只顯示三十多個使用者的資訊。剛好我需要的資料也很少，就把搜尋條件劃分的很細，每次取到的資料很小，但最終彙集的數量還是相當可觀的，最終獲取了位置在上海年齡22-27共計2000個左右的使用者資料。填寫好spider.py中的使用者名稱和密碼，直接執行這個檔案就可以爬取資料，因為資料量不大，很快就可以執行完畢，儲存在mongodb中的資料如下：
爬蟲用到的工具是requests，流程上也很簡單，先傳送登陸請求獲取cookie，然後呼叫搜尋API獲取資料，拿到的資料是json格式，不需要任何轉換直接儲存mongodb，非常的方便，唯一想吐槽的就是花田搜尋API介面竟然用的是POST方式，太沒有專業水準了。稍微提一下如何用request獲取cookie，用Session構建一個session物件，用這個物件傳送登陸請求後，之後的請求都會自動帶上登陸返回的cookie，使用起來非常的簡單。
|
1 2 3 4 5 |
1 from requests import Session 2 3 session = Session() 4 session.post(login_url, data=post_data, headers=POST_HEADERS) 5 response = session.get(search_url, headers=GET_HEADERS) |
給使用者打標籤
由於決策樹屬於監督學習，需要一個給定的標籤，因此需要自己根據使用者的外貌、年齡、學歷等多個維度的判斷給出一個標籤，最後生成的決策樹在一定程度上就可以反映自己的擇偶標準。針對女性的標籤很簡單粗暴，只有滿意和不滿意兩種，有興趣的同學可以按照真實的情況設定更多的標籤，例如優秀、一般、備胎、不合格等等。因為外貌是選擇物件過程中一個必不可少的要素，把相貌量化至關重要，因為沒有相關的工具根據頭像進行評分，只能個人主觀進行量化，採用了當下非常流行的十分制。
為了增加打標籤的效率，專門寫了一個桌面視窗，執行mark.py即可，執行結果如下。（tkinter是一個坑，調程式碼的時間夠我把整個資料集看好幾遍了，不過真的用起來的時候還是挺有意思的）
備註：因為剛開始看的很多使用者只有頭像、年齡、身高、工資、學歷這五個資訊，所以整個過程中只參考了這五個維度進行評價，下面的決策樹也是根據這五個維度進行處理。
訓練資料
決策樹
機器學習中，決策樹是一個預測模型，它代表的是物件屬性與物件值之間的一種對映關係。樹中每個節點表示某個物件，而每個分叉路徑則代表的某個可能的屬性值，而每個葉結點則對應從根節點到該葉節點所經歷的路徑所表示的物件的值。決策樹僅有單一輸出，若欲有複數輸出，可以建立獨立的決策樹以處理不同輸出。從資料產生決策樹的機器學習技術叫做決策樹學習, 通俗點說就是決策樹，說白了，這是一種依託於分類、訓練上的預測樹，根據已知預測、歸類未來。
理論方面我可以參考《機器學習實戰》第三章或者這篇部落格，很淺顯易懂的解釋了具體的原理，我就不贅述了。
結果展示
程式碼參考的是《機器學習實戰》，針對現實自己做了一些優化調整，和原來的程式碼不是完全相同，執行train.py就可以顯示出結果，如下：
因為線很擠，調了很久只能拿到這個效果了。到這兒已經很清晰明瞭的闡明瞭主題，我就是一個外貌黨，顏值高的pass，顏值低的忽略，不高不低的考慮的相當糾結。有興趣的同學可以自己試一試。
PS1：其實不太想承認自己是一個外貌協會成員，人醜顏控註定孤獨一生。
PS2：因為打標籤的過程有些隨意，所以有一部分不準確。
PS3：沒有相親的打算，不約。
打賞支援我寫出更多好文章，謝謝！
打賞作者
打賞支援我寫出更多好文章，謝謝！
