1. 場景
經常有小夥伴在交流群問我，每天的早報新聞是怎麼獲取的？
其實，早期使用的方案，是利用爬蟲獲取到一些新聞網站的標題，然後做了一些簡單的資料清洗，最後利用 itchat 傳送到指定的社群中。
由於爬蟲面對 網站改版的不穩定性及 itchat 不安全性，所以放棄了這種方案
後期更改了一種方案，通過修改爬蟲方案，建立 API 服務，編寫 App 去獲取資料，然後手動傳送到微信群
本篇文章將和大家詳細聊聊具體的實現過程
2. 資料爬取
第 1 步，通過 Python 爬蟲獲取資料
獲取方式有 2 種，分別是：已有的新聞早報網站、新聞網站的頭條新聞
選擇一種爬蟲方式，就能很快地爬取到目標網站的資料
第 2 步，資料清洗，排序
將爬取到的資料先進行一次關鍵字篩選，然後按照點贊或者閱讀數按照熱點進行排序
第 3 步，引數化，去重
去掉資料中重複的新聞，然後將最後展示的數目引數化
# 按照點贊數目，降序排列
news_sorted_pro = sorted(news, key=itemgetter('news_approve_num'), reverse=True)
result = []
for news_sorted_item in news_sorted_pro:
result.append(news_sorted_item.get('title'))
# 去重
result = sorted(set(result), key=result.index)
# 只取前12條資料
result = result[:self.news_num] if len(result) >= self.news_num else result
需要注意的是，由於新聞網站會經常改版，建議爬取多個新聞網站，做好異常處理，做一個優先順序，如果一個網站爬取資料失敗，切換到下一個級別的網站爬取資料
3. 服務化
將資料服務化，即編寫 API，目的是為了方便終端呼叫
如果使用 Python 編寫 API，建議使用 FastAPI 或 Flask 框架，因為這兩個框架開發 API 方便快捷，以 FastAPI 為例：
第 1 步，安裝依賴
包含 FastAPI 框架及 hypercorn 依賴，hypercorn 是獨立的 ASGI 伺服器，方便 FastAPI 專案的部署
# FastAPI框架
pip3 install fastapi
pip3 install hypercorn
第 2 步，編寫 API
使用 FastAPI 很方便，不到 10 行程式碼就能編寫一個介面服務
只需要例項化 FastAPI 物件，利用裝飾器指定請求方法和路徑即可，呼叫上面的爬蟲方法即可。
from fastapi import FastAPI
# 例項化
app = FastAPI()
# API，Get方式
@app.get("/last_news")
def get_last_news():
"""
最新的新聞
:return:
"""
news = get_news()
data = {
'code': 0,
'news': news
}
# 封裝
return data
如要想本地除錯 API，可以通過 uvicorn 命令執行專案
# 執行專案
uvicorn news:app --reload
然後訪問下面的地址，檢視返回的新聞資料
http://127.0.0.1:8000/last_news
第 3 步，生成依賴遷移檔案
使用 pip freeze 命令將在本地生成依賴遷移檔案
# 生成遷移檔案
pip freeze > requirements.txt
第 4 步，上傳程式碼
將程式碼上傳到程式碼託管平臺，比如：碼雲、GitLab 等
第 5 步，伺服器拉取程式碼
伺服器中通過 git 拉取程式碼，並通過依賴檔案一鍵安裝所有依賴
# 安裝依賴
pip3 install -r requirements.txt
第 6 步，執行服務
使用 hypercorn 執行 FastAPI 專案，使程式一直在後臺執行，並儲存執行日誌資訊
# 後臺執行
# 儲存日誌，繫結埠號為：8000
# nohup hypercorn news:app --bind 0.0.0.0:8000 > /news.log 2>&1 &
需要注意的是，專案繫結的埠號需要在防火牆和雲伺服器安全組開啟
當然，如果使用 Java 編寫 API，推薦使用 Spring Boot，可以快速開發一個 Restful API 服務
4. 編寫 App
完成 API 服務之後，接下來就是在終端編寫一款 App 去訪問 API，拿到資料並展示出來
以編寫一款 Android 應用為例
首先，我們在介面上放置一個文字顯示框和一個按鈕控制元件
然後，對按鈕控制元件設定點選事件的監聽
get_news_btn = findViewById(R.id.get_news_btn);
//監聽事件
get_news_btn.setOnClickListener(this);
@Override
public void onClick(View v)
{
switch (v.getId())
{
case R.id.get_news_btn:
news_et.setText("獲取中。。。");
getNewsMet();
break;
}
}
接著，使用 Android 的網路請求框架 OkHttp 框架呼叫 API 獲取資料
/***
* 獲取新聞
*/
private void getNewsMet()
{
OkHttpClient okHttpClient = new OkHttpClient();
//構建請求資訊：連線請求url 請求方法method 請求頭部headers 請求體body 標籤tag
Request request = new Request.Builder().url(url).get().build();
// Call call = okHttpClient.newCall(request);
okHttpClient.newCall(request).enqueue(new Callback()
{
@Override
public void onFailure(Call call, IOException e)
{
Log.d("xag", "獲取失敗");
showResult(false, "");
}
@Override
public void onResponse(Call call, final Response response) throws IOException
{
Log.d("xag", "獲取成功")
parseJsonWithJsonObject(response);
}
});
}
最後，將新聞資料顯示在文字控制元件中，並複製到系統剪下板
private void copyToClip(String content)
{
//獲取剪貼簿管理器：
ClipboardManager cm = (ClipboardManager) getSystemService(CLIPBOARD_SERVICE);
// 建立普通字元型ClipData
ClipData mClipData = ClipData.newPlainText("Label", content);
// 將ClipData內容放到系統剪貼簿裡。
if (null != cm)
{
cm.setPrimaryClip(mClipData);
}
}
如果只有 iOS 裝置，使用 Xcode 編寫 iOS 應用，建議將 Xcode 升級到 11.0 以上
建立專案的時候，推薦使用 SwiftUI 構建 UI 介面，然後利用 CocoaPods 新增 Alamofire 網路請求依賴庫，其他操作步驟和 Android 端類似，這裡不展開說明
# Uncomment the next line to define a global platform for your project
source 'https://github.com/CocoaPods/Specs.git'
platform :ios, '9.0'
use_frameworks!
target 'news_eve' do
# Comment the next line if you don't want to use dynamic frameworks
pod 'Alamofire'
pod 'SwiftyJSON'
pod 'HandyJSON'
# Pods for news_eve
end
最後
上面步驟只需要點選 App 中的按鈕，早報新聞就複製到系統剪下板了，接著可以轉發到多個微信群了
當然，最後一步也可以利用 SoloPi 或者無障礙，將內容利用自動化操作，一鍵轉發出去
我已經將文中部分原始碼上傳到 公眾號 後臺，關注公眾號 AirPython 後回覆「 早報 」即可獲得全部原始碼
如果你覺得文章還不錯，請大家點贊分享下。你的肯定是我最大的鼓勵和支援。
