[NCO,NCL]基礎NCO、NCL命令

最近接觸單柱模式，需要處理輸出NC檔案，即NetCDF檔案(Network Common Data Format)，簡單瞭解了NCL和NCO工具。一個NetCDF資料集包含維(dimensions)、變數(variables)和屬性(attributes)三種描述型別，每種型別都會被分配一個名字和ID，這些型別共同描述了一個資料集，NetCDF庫可以同時訪問多個資料集，用ID來識別不同資料集。變數儲存實際資料，維給出了變數維度資訊，屬性則給出了變數或資料集本身的輔助資訊屬性，又可以分為適用於整個檔案的全域性屬性和適用於特定變數的區域性屬性，全域性屬性則描述了資料集的基本屬性以及資料集的來源。
流行的處理軟體有很多，對比如下：

Paste_Image.png

Paste_Image.png

NCL

NCL全稱為NCAR Command Language，是由美國大氣研究中心（NCAR）開發的 專門用於科學資料分析與視覺化的一門解釋型語言。
NCL支援的資料型別包括NetCDF 3/4，GRIB 1/2, HDF 4/5，HDF-EOS 2/5， shapefile，ASCII，binary。內建了大量的分析函式。可以很方便的產生 高質量的圖形並且有大量的圖形源（resource）可被用於自定義圖形。大量 示例指令碼和相應的圖形可在官網（ncl.ucar.edu）學習。

基本命令

參考資料

官網

Paste_Image.png

NCO工具

netCDF Operators (NCO) 工具用來操作和分析netCDF自描述資料儲存格式。
nco 使用頻率較高的兩中處理方式就是average與concatenation
新增(Appending)是針對變數的。
file1 = T,U,V
file2 = P,C
file3 = T,U,V,P,C
連線(Concatenation)是針對（如：時間）維度的。
file1 = T(0-12,:,:)
file2 = T(13-24,:,:)
file3 = T(0-24,:,:)

基礎命令

ncks filename | more #檢視檔案
ncks -v variable filename
ncrcat #將已有record集合為一個檔案
ncecat#將ensemble集合為一個檔案
ncra #將record取平均
ncwa#將record的某些部分取平均， -a 是去掉某些變數
ncdiff #取不同
ncea #變數取平均
ncrename #變數重新命名
cdo #變數插值
ncpdq -U #變數型別轉換

參考資料

官網網站http://nco.sourceforge.net/nco.html
http://bosomfriend.blog.edu.cn/home.php?mod=space&uid=1555165&do=blog&id=75336
http://hxfcalf.blog.163.com/blog/static/21575548201051191420134

實踐

1. 在我的實驗中只用到了幾個命令
   ncrename ##rename dimensions, variables, and attributes in netCDF file.
   ncdump -h XXX.nc #檢視檔案結構
   ncks XXX.nc | more##檢視資料內容
   ncks -H -v u -d lev,15 -d time,56,1136 ARM95_4scam.nc U850.nc ##檢視搜尋lev陣列第15元素，time陣列在56，1136標號內，變數為u的資料並輸出到U850.nc檔案中
   ncwa -a time,lev U850.nc -O U850.nc ##平均掉time和氣壓水平

2. cnl檔案
   <pre>
   load "$NCARG_ROOT/lib/ncarg/nclscripts/csm/gsn_code.ncl"
   load "$NCARG_ROOT/lib/ncarg/nclscripts/csm/gsn_csm.ncl"
   load "$NCARG_ROOT/lib/ncarg/nclscripts/csm/contributed.ncl"
   load "$NCARG_ROOT/lib/ncarg/nclscripts/csm/shea_util.ncl"
   load "$NCARG_ROOT/lib/ncarg/nclscripts/contrib/ut_string.ncl"
   begin
   ;var_names = (/"LWCF", "SWCF", "PRECT", "Q850", "T850"/)
   var_names = (/"U200","U850","V200","V850","PRECT","Q850","FLUT","FSNTOA","T850","T200","CLDHGH","CLDLOW","CLDMED","CLDTOT","PS"/)
   obs_path = "/home/huangxin/CSM-tunner/SCAM/cesm1_2_2/SCMtest_11111/run/metrics/climo/obs"
   model_base = "/home/huangxin/CSM-tunner/SCAM/cesm1_2_2/SCMtest_11111/run/metrics/climo/model/tune/"
   climo_path = "/home/huangxin/CSM-tunner/SCAM/cesm1_2_2/SCMtest_11111/run/metrics/climo/"

   num_vars = dimsizes(var_names)
   var_obs = new((/num_vars/), float)
   var_obs@_FillValue = 1.0e33
   var_obs = var_obs@_FillValue
   var_model = new((/num_vars/), float)
   var_model@_FillValue = 1.0e33
   var_model = var_model@_FillValue
   var_rms = new((/num_vars/), float)
   var_rms@_FillValue = 1.0e33
   var_rms = var_rms@_FillValue
   do k = 0, num_vars - 1
   obs_file = obs_path + "/" + var_names(k) +".nc"
   model_file = model_base + "tmp.nc"
   fp_obs = addfile(obs_file, "r")
   ;print(fp_obs->$var_names(k)$)
   var_obs(k) = fp_obs->$var_names(k)$(0,0)
   fp_model = addfile(model_file, "r")
   var_model(k) = fp_model ->$var_names(k)$(0,0,0)
   end do
   var_rms = (var_obs - var_model)^2
   </pre>

3. 未解決：利用bash的while迴圈按行讀檔案(如下)，每讀一行處理一次ncl，但會遇到語法問題:syntax: line -1
   <pre>
   while read variable
   do
   ...
   ncl XXX.ncl
   ...
   done
   </pre>
   目前用csh來處理，或bash的其他效率低的讀檔案方式。