CodingandPaperLetter(四十四)
資源整理。
1 Coding:
1.Rstudio2019年會“機器學習應用”的幻燈片,程式碼和資料
2.R語言包sparkxgb,Spark上XGBoost的R介面。
3.自動SQL隱碼攻擊和資料庫接管工具。
4.最新的深度學習技術應用於自然語言處理的概覽。
5.來自美國GIS第一高校加州大學聖塔芭芭拉分校的地理學課程178/258(地理科學的概念建模與程式設計)的網頁。在Github推出可以教學的class模式後有很多諸如此類的課程可以關注。
6.Python庫geetools,Google Earth Engine的工具。
7.哥倫比亞大學2019年春季機器學習應用課程材料。
8.R語言包gt,更方便地用R生成資訊豐富具有出版質量的表格。
9.2019年冬季R語言空間研討會。
10.如何製作Shiny的書。
11.fasai深度學習庫、課程以及教程。
12.深度學習研究論文筆記與綜述。
13.高光譜論文(程式碼)。
14.SNIPER是一種有效的多尺度目標探測演算法。
15.基於U-Net架構的端到端一類例項分割,用於Kaggle的Data Science Bowl 2018。
16.從要素屬性新增功能級別tippecanoe GeoJSON擴充套件。
geojson tippecanoe extensions from attributes
17.Python庫responder,熟悉的http服務Python框架。
18.Rstudio2019年會關於統計教育的談話材料。
19.Rstudio的addin用於檢視空間物件。
20.Rstudio的addin用於編輯地圖。
22.UCL地理學院的geog0133課程“陸地碳:建模與監測”實踐。
2 Paper:
中國普遍存在坡耕地,坡耕地土壤流失是河流沉積的主要來源。在控制水蝕方面,有效地考慮了最小的土壤干擾實踐,特別是在坡地農田。雖然它們的有益效果已得到普遍認可,但仍需要進一步研究,以量化減少徑流和沉積物產量的最小土壤擾動實踐的程度。我們提出了一項基於全國性meta分析的定量評估,包括536次徑流和615次沉積物配對觀測,以評估最小土壤干擾實踐在控制中國水蝕方面的有效性。中國最小土壤擾動實踐分別使徑流和泥沙產量減少36.09%和51.69%。收集土壤形成免耕壟,用樹籬和微盆地耕作輪廓耕作顯示出比其他三種做法(免耕,免耕覆蓋和輪廓耕作)顯著更大(P <0.05)徑流和沉積物產量減少。通過微地形學管理改變土壤性質的做法優於(P <0.05)改變土壤性質而不進行耕作以減少徑流和沉積物產量的做法。除了直接減少徑流外,由於其附加效應,最小土壤擾動實踐在減少泥沙產量方面比徑流更有效。沒有觀察到徑流或沉積物減產與坡度之間的相關性,而最小土壤擾動實踐的水蝕控制效率隨著坡長的增加而增加。作為一種水土保持措施,中國坡耕地可以採用最小的土壤擾動措施。傅伯傑院士團隊的成果,使用meta分析分析土壤擾動和水蝕的影響,發表於農林科學top期刊LDD。
衛星遙感是一種很有潛力的地面PM2.5估算方法。在本文中,提出了一個基於衛星的PM2.5估計的深度學習框架。利用多層學習和逐層預訓練,深度學習具有挖掘PM2.5與衛星觀測之間非線性關係的巨大潛力。首先,所提出的深度學習框架可用於利用衛星匯出的氣溶膠光學厚度(AOD)估算地面PM2.5。其次,AOD產品是從衛星頂部大氣(TOA)反射率中檢索出來的。可以進一步採用深度學習框架,直接從衛星TOA反射率估算地面PM2.5。所提出的框架分別在中國進行了基於AOD的PM2.5估算和武漢都市區的基於反射率的PM2.5估算。結果表明,深度學習框架在基於AOD和基於反射的PM2.5估計中都表現出色。該研究為基於衛星的PM2.5估計提供了有效的方法。深度學習在PM2.5估算中的應用,張良培老師團隊成果,發表於IGARSS會議。比較有意思的是不僅僅基於AOD估算,也有基於TOA的估算,這樣子應用價值會更高。
本研究使用遙感影像來描述土地利用/覆蓋模式,並推匯出緬甸最大的城市群Greater Yangon的地表溫度(LST),以提供土地利用/覆蓋與季節,白天和夜間LST變化。對1987年至2015年Landsat影像的分析顯示,城市擴張從市中心和沿著突出的河流輻射,建成用地(6.4%)和草地(10.1%)大幅增加,隨之而來的農地減少(17%)。對MODIS LST的檢查表明,在炎熱季節白天,農業用地比城市核心溫暖,而在寒冷季節,城市核心在白天和夜間都比農村環境溫暖。相關分析顯示,從2000年到2015年,建成地與夜間LST之間存在更強的聯絡,表明城市熱島效應增加。此外,本研究強調了與土地利用/覆蓋對LST影響的先前工作的兩個主要差異。首先,對LST具有重大整體影響的主要土地利用/覆蓋型別是農業用地,其標誌是所有分析時期的統計顯著相關係數。這一發現強調了農業及相關做法對大氣和氣候系統的影響。其次,LST的時間分析突出了水的更強和更復雜的作用,因為它與白天LST呈負相關,與夜間LST呈正相關。本研究的結果強調了土地利用/覆蓋對仰光LST空間和時間變化的更復雜影響,與之前在城市地區普遍報告高LST的工作相比。這些見解提高了對土地變化後果對LST時間動態的理解,並可以支援可持續土地利用規劃,以改善大仰光居民的福祉。長時間序列遙感分析,耦合兩種衛星(MODIS和Landsat),當然對這個結果和方法沒有覺得特別突出的點。兩種不同解析度衛星如何進行分析,目前從摘要也沒有發現。檢視了下原文,應該是統計了Landsat土地覆被上不同型別的MODIS LST做的分析。做了比較多工作。
黑河流域位於中國西北乾旱半乾旱地區;在過去的80年裡,該流域分別經歷了灌溉農業與中下游生態需求之間的水資源競爭。利用Sven Hedin博士在20世紀30年代建立的地圖,1961年拍攝的日冕衛星影像和Landsat專題製圖(TM),對黑河流域下游的額濟納三角洲的土地覆蓋進行了四個不同時期的解釋和分析。總體而言,結果表明:(1)20世紀30年代地圖的粗解析度增加了研究區域的分析不確定性;(2)額濟納三角洲的河流面積從20世紀30年代下降了91.0%此外,兩個主要的終端湖泊Gaxun Nuur Lake和Sogo Nuur Lake分別於1961年和1992年枯竭,胡楊面積從20世紀30年代到2000年減少了76.1%。大多數蘆葦被灌木覆蓋。 20世紀30年代至1961年間,蘆葦面積從3481平方公里減少到1332平方公里,灌木面積從805平方公里增加到2795平方公里。從20世紀30年代到2000年,沙漠和鹼性土地面積分別增加了42.2%和52.4%。 (3)2000年實施調水工程後,2010年蘇哥努爾湖面積恢復到40.58平方公里。胡楊,灌木叢和蘆葦等地區呈現恢復趨勢,增幅分別為4.5%,6.5%,到2010年,沙漠和鹼性土地面積分別下降了4.2%和15.2%。耕地面積從1961年的25平方公里增加到2000年的85平方公里,迅速接近160平方公里。隨著時間的推移,這些變化表明,額齊納三角洲的生態棲息地在20世紀30年代和2000年之間惡化。但是,水轉移專案有效地改變了退化趨勢。跨度長達80年的土地覆被變化研究。
氣溶膠自動監測網路(AERONET)使用Cimel Electronique Sun-sky輻射計提供了超過25年的氣溶膠光學厚度(AOD)的高精度,地面實況測量。在AERONET資料庫的第2版(V2)中,近實時AOD主要使用雲遮蔽方法進行半自動質量控制,而被雲汙染或受儀器異常影響的額外AOD資料在獲得質量保證狀態之前被手動刪除(等級2.0)。在過去25年中,AERONET站點數量的大幅增長導致以一致的方式對數百萬次測量的手動質量控制造成重大負擔。 AERONET版本3(V3)演算法提供全自動雲篩選和儀器異常質量控制。所有這些新演算法更新都適用於近實時資料以及現場部署後處理資料,AERONET在2018年對資料庫進行了重新處理。完整的演算法重新開發提供了改進資料輸入和校正的機會,例如獨特的過濾器 – 所有可見光和近紅外波長的特定溫度特徵,更新的氣體和水蒸氣吸收係數以及輔助資料集。 2.0級AOD質量保證資料集現已在現場校準後一個月內提供,將滯後時間從幾個月減少到幾個月。使用符合V3 Level 2.0 AOD的資料並考慮使用前場校準計算的AOD與使用前場和場後校準計算的AOD之間的差異來確定近實時估計的不確定性。該評估提供近實時不確定性估計,其中AOD的平均差異表明+0.02偏差和一個sigma不確定性為0.02,但是對於特定儀器部署,偏差和不確定性可能顯著更大。分析整個V3和V2資料庫的長期月平均值產生+0.002的平均差異(V3-V2)和±0.02SD(標準差),但是使用兩個資料庫中的時間匹配觀察計算的月平均值進行計算平均差異為-0.002,±0.004SD。多年平均AOD的高統計協議驗證了先進的自動資料質量控制演算法,並建議將研究遷移到V3資料庫將證實大多數V2研究結論,並可能在某些情況下導致更準確的結果。AERONET資料質量改善的文章,推進AOD反演的關鍵要素。
我們開發了一項方案,通過日本氣象廳最新的地球同步衛星Himawari-8上的Advanced Himawari Imager(AHI)改進氣溶膠光學厚度(AOT)的每小時估算。利用AHI的取樣特徵(10分鐘時間和亞測量空間解析度),我們從觀測(AOToriginal)量化AOT的時間和空間變化,並利用這些資訊開發一個小時演算法,產生兩組派生的AOT :AOTpure,通過對AOToriginal進行嚴格的雲掩膜和AOTmerged,從AOTpure的空間和時間插值得到。如此從每小時演算法獲得的AOT根據來自氣溶膠機器人網路的測量值進行驗證。 AOTpure和AOTmerged產品的均方根誤差(RMSEs)分別為0.14和0.11,比AOT原劑的RMSE提高了0.20。目前向日葵8號衛星AOT產品的演算法論文,每小時估算的AOT。筆者最近對這個衛星有所研究,後面也會稍微介紹下。總的來說AOT還是比較稀疏的(受到很多不可控因素)。
高時間氣溶膠光學厚度(AOD)可用於反演排放模型和全面瞭解氣溶膠的氣候學。地球同步衛星已被用於在陸地和海洋上獲得AOD。在這項研究中,開發了一種用於高階Himawari-8成像儀(SARAHI)的新型簡化氣溶膠反演演算法,用於從新一代地球靜止氣象衛星-Himawari-8中反演北京每小時AOD,該衛星攜帶先進的Himawari成像儀(AHI)。該演算法基於簡化的輻射傳輸模型和表面反射率,該表面反射率來自一個月的AHI表觀資料。來自AErosol RObotic NETwork(AERONET)站點和JAXA Himawari Monitor Version 2.0氣溶膠反演產品(L2ARP2.0)的測量用於評估來自SARAHI演算法的AOD反演的效能。 AOD反演的73.5%,78.2%,74.7%分別落在Beijing_CAMS,Beijing_RADI和香河站點的預期誤差線上。相關係數大於0.92,小均方根誤差(RMSE)為0.134-0.164。檢索也可以非常好地反映AOD的時間變化。結果表明,SARAHI AOD演算法能夠準確地推匯出區域AOD,並且優於L2ARP2.0 AOD。簡化的向日葵8號AOD反演演算法。
8.Validation of Himawari-8 Aerosol Optical Depth Retrievals over China/Himawari-8氣溶膠光學厚度反演在中國的驗證
衛星感測器很少提供高時間解析度(每10分鐘)氣溶膠觀測。 Himawari-8上的高階Himawari成像儀(AHI)可以在此頻率下提供中國的氣溶膠光學厚度(AOD)。該感測器提供了很好的機會來檢索地面附近的顆粒物質,並使用氣溶膠產品改善空氣質量建模。但是,關於AHI AOD仍然缺乏質量驗證。基於在中國的AErosol RObotic NETwork(AERONET)和Sun-Sky輻射計觀測網路(SONET)中的16個太陽光度計站,進行了綜合研究以評估AHI氣溶膠產品的效能。 AHI AOD和地面AOD的總體比較顯示出高相關性(R2 = 0.67)。然而,只有55%的AHI AOD落入預期的誤差包絡(±0.05±0.2 * AOD地面)。 AHI AOD和地面AOD之間的AOD偏差隨著AOD幅度的增加而增加。 AHI AOD的準確性也高度依賴於季節和地表覆蓋型別。夏季和城市地區展示了AHI氣溶膠回收的最佳效能。晝夜變異性驗證表明,AHI AOD可以很好地捕捉晝夜AOD變化,尤其是夏季。顯示了AHI AOD和MODerate-resolution成像光譜儀(MODIS)氣溶膠產品之間的巨大差異,特別是在中國西北地區。分析表明,AHI氣溶膠回收的不確定性是由氣溶膠模型的大誤差和演算法中的表面反射率估計引起的。向日葵8號衛星AOD產品反演的驗證,該衛星因為高時間解析度最近受到了很多關注。
9.Evaluation of MAIAC aerosol retrievals over China/中國MAIAC氣溶膠反演評價
大氣校正的多角度實現(MAIAC)是一種新的氣溶膠演算法,用於檢測陸地上的氣溶膠光學厚度(AOD),使用時間序列資料動態分離氣溶膠和土地的貢獻。但是,目前仍未對MAIAC AOD在中國的質量進行全面研究。在本文中,對中國1公里的MAIAC AOD進行了地面測量,以評估資料的效能。一般來說,Aqua和Terra MAIAC反演具有較高的相關係數(Aqua為0.924,Terra為0.933),基於地面觀察,超過72%的反演屬於預期誤差(EE =±(0.05 + 0.2 ) AOD))。我們發現MAIAC AOD的準確性與AOD大小,氣溶膠大小,季節和表面型別有關。在春季和夏季,AOD偏差受到氣溶膠模型和表面反射率估計的影響。我們還發現氣溶膠模型是沙漠地區AOD偏差的主要來源。這些結果表明,MAIAC AOD可以作為中國空氣質量和氣候研究的新氣溶膠資料來源。MAIAC的這套資料是比較新的,演算法也是新的,近期有不少基於該產品的文章,可以關注。
相關文章
- ES 筆記四十四:Update By Query & Reindex API筆記IndexAPI
- kubernetes實踐之四十四:Ingress詳解
- 2024年5月7日第四十四篇
- 重新整理 .net core 實踐篇——— filter[四十四]Filter
- opencv學習筆記四十四:移動物件統計OpenCV筆記物件
- 客快物流大資料專案(四十四):Spark操作Kudu建立表大資料Spark
- Salesforce LWC學習(四十四) Datatable 顯示日期型別的有趣點思考Salesforce型別
- Django筆記四十四之Nginx+uWSGI部署Django以及Nginx負載均衡操作Django筆記Nginx負載
- Flutter入門與實戰(四十四):從原始碼分析setState 的時候到底發生了什麼?Flutter原始碼
- 「程式碼隨想錄演算法訓練營」第四十四天 | 圖論 part2演算法圖論
- FFmpeg開發筆記(四十四)畢業設計可做的幾個拉滿顏值的音影片APP筆記APP
- 麒麟作業系統 (kylinos) 從入門到精通 - 研發環境 - 第四十四篇 python開發環境搭建作業系統Python開發環境
- Jmeter(四十四) - 從入門到精通高階篇 - Jmeter遠端啟動(本地執行+遠端執行)(詳解教程)JMeter
- 【優才系列公開課】第四十四講:用PHP開發分庫分表與讀寫分離的DALPHP
- 《手把手教你》系列技巧篇(四十四)-java+ selenium自動化測試-處理https 安全問題或者非信任站點-下篇(詳解教程)JavaHTTP
- 程式碼隨想錄演算法訓練營第四十四天 | 322.零錢兌換 279.完全平方數 139.單詞拆分演算法