我從騰訊那“偷了”3000萬使用者資料，出了份很有趣的獨家報告！

.NET程式猿小伍發表於2015-07-19

兩週前，做的一個專案需要模擬一批使用者評價資料，如果想讓資料看著真實點，那就得使用隨機的使用者暱稱和頭像啊。要是頭像或者暱稱全都差不多，那別人一看就看出來這是做的資料了。

於是乎我就寫了個從我QQ空間開始的蜘蛛網式的爬蟲程式，程式斷斷續續的執行了兩週。總共爬到了騰訊3000萬QQ資料，其中有300萬包含使用者（QQ號，暱稱，空間名稱，會員級別，頭像，最新一條說說內容，最新說說的發表時間，空間簡介，性別，生日，所在省份，城市，婚姻狀況）的詳細資料。

目前已經爬到我的第7圈好友（depth=7）共3000萬資料，目前的瓶頸在家裡的網速和電腦的配置上。最快的時候爬取速度達到一天500W新Q資料。

沒圖，我說個毛線啊！

目前資料量為2G左右。

再看看，我根據這份資料生成的一些有趣的統計圖（資料量太大了一次載入到記憶體中直接報記憶體不夠了，所以下面的統計資料只取了depth值小資料較完整約80W的資料）：

記憶體已經爆了，不能怪我。誰贊助臺伺服器吧

1、大家一般都在啥時候發說說呢？

從圖中看出一天最冷門的時候是凌晨4點，這時全國正在睡覺的人最多。大家最亢奮的是晚上10點到11點，人們都喜歡睡前看看別人的空間，發條說說。中午12點左右也有一波小高峰

一會我再統計張中國人習慣幾點起床，幾點吃飯，幾點睡覺的圖吧

2、中國人都喜歡在幾月生小孩呢？

最熱門的是1月份和10月份，最冷門的是4月份。10月份生小孩的多好理解，一年忙差不多了，天氣也不冷不熱正是生小孩的好時候。但1月份最高且和2月落差很大有點不好理解，那麼冷的天生不怕凍嗎？我估計是1月份也快過年了，以前沒聚一起的好不容易聚一起了，就容易衝動，衝動就啪啪啪。 4月份生日的最少也好理解，中國人不喜歡4這個數字唄。大資料有意思吧！！我覺得太好玩了，後面還有很多呢。

3、這是我目前爬取的使用者所在地分佈

你能猜出我是哪的了嗎？前四名分別為：廣東，湖南，四川，江蘇。沒錯，我就是湖南的！湖南人在廣東打工的超級多，這也能理解為什麼廣東排名第一了。江蘇是我上學的地方，有點琢磨不透的是四川和我非情非故的居然排第3名，我的朋友們，你們是誰播的種？站出來！還有一種可能，四川人交際能力全國第一，我平時在重慶小面吃飯，四川人確實特別，說話語速那個快啊，聲調那個高啊。受不了！

4、資料人群的年齡分佈

一不小心就暴漏了我的年齡，沒錯。我就是那個最高值的1990年；從目前的資料來看，無論是分佈地區以及年齡階段與我的關聯還非常大，隨著資料量的不斷增加這種關聯會逐漸變小，統計圖也會逐漸接近全國使用者的真實情況。真想弄幾臺伺服器分散式搞起，估計一週就能爬上億的簡單資料。單靠我的筆記本和家裡超爛的網速達到這個目標還很遠。