用Python下載美國國家氣候資料中心（NCDC）的氣候資料

王明輝發表於2019-02-20
Python

美國國家氣候資料中心的官網地址是https://www.ncdc.noaa.gov/

氣候資料的下載地址是：

長格式：ftp://ftp.ncdc.noaa.gov/pub/data/noaa/，這種就是《hadoop權威指南》所使用的資料集格式。

短格式：ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/

這兩個地址是在網上查到的，從官網怎樣找到，我沒有發現。

瀏覽器開啟這個網址以後，是以年份為目錄的目錄列表，從1901年開始，一直到今年，2019年。

每個目錄裡面是形如029070-99999-1901.gz這樣的資料，數量不等，年份越晚，檔案越多，應當是因為技術越來越發達，資料量也隨之增大。

顯然，這樣的資料是不可能手工下載的，網上也沒找到正確的下載地址，寫個程式自己下吧。

參考了這篇文件https://blog.csdn.net/LIHUINIHAO/article/details/38315231，做了一些修改。此文件中的地址目前已無效，我將其改為ftp.ncdc.noaa.gov。

在開發環境中執行。

import sys
import os
from ftplib import FTP


#伺服器連結
def ftpconnect():
    ftp_server = "ftp.ncdc.noaa.gov"
    usrname = ""
    password = ""
    ftp = FTP()

    ftp.set_debuglevel(2) #開啟除錯級別2，顯示詳細資訊

    port=21
    time=30
    ftp.connect(ftp_server,port,time)
    ftp.login(usrname,password)    

    return ftp

#開始下載檔案
def downloadfile():  
    ftp = ftpconnect()
    #print ftp.getwelcome() #顯示ftp伺服器歡迎資訊
    datapath = "/pub/data/noaa/isd-lite/"

    #起始年份和終止年份，酌情修改
    beginyear = 1934 
    endyear = 1950

    # year=int(sys.argv[1])        #年份迴圈

    currentyear = beginyear            #當前執行年份
    
    # while year<=int(sys.argv[2]):
    while currentyear <= int(endyear):
        path = datapath + str(currentyear)

        ftp.cwd('/pub/data/noaa/isd-lite/' + str(currentyear)) #

           li = ftp.nlst(path)
        
        #建立指定年份的目錄
        # path = sys.argv[3]+'/'
        path = "weatherdata" + '/'
        
        dir = str(currentyear)
        new_path = os.path.join(path, dir)
        if not os.path.isdir(new_path):
            os.makedirs(new_path)
            
        for eachFile in li:
            localpaths = eachFile.split("/")
            localpath = localpaths[len(localpaths)-1]
            # localpath=new_path + '/'+ str(currentyear) + '--'+localpath#把日期放在最前面，方便排序
            localpath=new_path + '/' + localpath #不必用日期排序，第一節是流水號，已自帶排序功能
            bufsize = 1024 #設定緩衝塊大小      
            fp = open(localpath,'wb') #以寫模式在本地開啟檔案
            ftp.retrbinary('RETR ' + eachFile,fp.write,bufsize) #接收伺服器上檔案並寫入本地檔案
        currentyear = currentyear+1
    ftp.set_debuglevel(0) #關閉除錯
    # fp.close()
    ftp.quit() #退出ftp伺服器
 
 
if __name__=="__main__":
    downloadfile()

 

相關文章