微博UID是什麼?怎麼查到對方手機號!

孟的ITPUB發表於2023-05-06

爬取使用者個人資訊時,為了得到更多的資訊,我們需請求多個地址,博主在爬取時訪問了如下四個:
溫馨提示:%uid是新浪微博使用者ID,若想檢視四個頁面的資訊,將%s替換成使用者ID即可。比如將url_app中的uid賦值為1669282904,則網址為。
在上述網址中,從url_app中可以得到暱稱、性別、地區、生日、簡介、性取向、婚姻狀況、首頁連結八個欄位;從app_page中可以得到使用者的關注量、粉絲量、微博量;從url_web中可以獲取使用者的註冊日期;從tag_url中則可以得到使用者的標籤資訊。將這些資訊合併到一起,加上uid,共可得14個欄位。爬取過程中有的欄位取值因使用者沒填寫而造成結果不存在,為了統一欄位數量,我們將這些不存在的欄位統一置為空串。請求一個頁面時,我們可以將頁面的原始碼儲存下來,然後使用BeautifulSoup進行解析,再結合正則找到需要的欄位值。資料儲存,每天一百萬的話,一年資料量的規模是多少?其次,剛才說的訂單量,每一個訂單要推送給附近的司機、司機要併發搶單,後面業務場景的訪問量往往是前者的上百倍,輕鬆就超過上億級別了。 編輯切換為居中
新增圖片註釋,不超過 140 字(可選)
今天我想從架構的本質談起之後,希望大家理解在做一些建構設計的時候,它的出發點以及它解決的問題是什麼。
架構,剛開始的解釋是我從知乎上看到的。什麼是架構?有人講, 說架構並不是一 個很懸乎的 東西 , 實際 上就是一個架子 ,放一些 業務 和演算法,跟我們的生活中的晾衣架很像。更抽象一點,說架構其實是對我們重複性業務的抽象和我們未來業務擴充的前瞻,強調過去的經驗和你對整個行業的預見。
我們要想做一個架構的話需要哪些能力?我覺得最重要的是架構師一個最重要的能力就是你要有戰略分解能力。這個怎麼來看呢:
第一,你必須要有抽象的能力,抽象的能力最基本就是去重,去重在整個架構中體現在方方面面,從定義一個函式,到定義一個類,到提供的一個服務,以及模板,背後都是要去重提高可複用率。
第二, 分類能力。做軟體需要做物件的解耦,要定義物件的屬性和方法,做分散式系統的時候要做服務的拆分和模組化,要定義服務的介面和規範。
第三, 演算法(效能),它的價值體現在提升系統的效能,所有效能的提升,最終都會落到CPU,記憶體,IO和網路這4大塊上。
這一頁PPT舉了一些例子來更深入的理解常見技術背後的架構理念。
第一個例子,在分散式系統我們會做 MySQL分庫分表,我們要從不同的庫和表中讀取資料,這樣的抽象最直觀就是使用模板,因為絕大多數SQL語義是相同的,除了路由到哪個庫哪個表,如果不使用Proxy中介軟體,模板就是價效比最高的方法。
第二看一下加速網路的CDN,它是做速度方面的效能提升,剛才我們也提到從CPU、記憶體、IO、網路四個方面來考慮,CDN本質上一個是做網路智慧排程最佳化,另一個是多級快取最佳化。




來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70028631/viewspace-2950298/,如需轉載,請註明出處,否則將追究法律責任。

相關文章