氣象資料查詢平臺設計

lovemelovemycode發表於2013-07-20
業務介紹：
國家氣象局在全國各地有N多個檢測點，這N個檢測點沒小時採集一次資料(40M,100W條)，發到資料中心；資料中心將資料存放在yyyyMMHH.txt中（比如2013-07-19 17 採集到的資料存放在2013071917.txt）。

需求：
開發一個平臺，提供氣象資料查詢服務（時間限制為當前時間前12個小時）。

設計：
客戶請求---->Nginx---->Web 叢集---->Redis 集中式快取<----crontab Python解析指令碼<----資料檔案yyyyMMHH.txt

1 透過Web叢集提高Web服務能力
2 Redis快取加快讀寫速度
3 定時執行Python指令碼將最新資料寫入Redis,將老資料從Redis刪除.

請大家多批評、多提建議、多拍磚。

相關文章