基于GIS的海量氣象數據預處理技術研究論文
摘要：由于氣象觀測數據種類多，文件存儲數目大，一般難以對海量氣象數據進行深入的處理，挖掘和分析。該文通過對氣象數據類型，文件種類等進行研究，通過建立氣象數據庫并連接GIS軟件進行數據分析，較好的解決了海量數據分析和處理問題。該方法利用編程軟件，數據庫軟件和GIS技術對海量氣象數據進行預處理，為海量氣象數據分析提供高效、精準的數據存儲和管理。并最終將數據庫直接連接入強大的分析處理軟件ArcGis。經過測試表明，該方法可靠性和可操作性很強，成功實現了對海量氣象數據的預處理。
Abstract： Because meteorological observation data has more kinds and large number files to store. Generally ， Mass meteorological data is difficult to process ，mine and analyze for further. This paper introduces a method of data analysis through the establishment of meteorological database and the connection of GIS software， based on the type of meteorological data，file type and so on. It is better to solve the problems of massive data which should be analysed and processed. This method uses the programming software， database software and GIS technology to preprocess the massive meteorological data. It provides efficient and accurate data storage and management for mass analysis of meteorological data. And finally the database connects directly into the analysis software ArcGIS， which is good at data processing. According to test results， the reliability and maneuverability is very strong， it is successful to achieve the pre-processing of the massive meteorological data.
Key words： GIS； Database； Meteorological data； Pretreatment； ArcGis
1 引言
地理信息系統（GIS）作為一門重要的信息技術，近年來在氣象氣候領域內引起了廣泛的關注并得到了初步應用。[1]特別是隨著現代氣象觀探技術的迅速發展，各級氣象業務部門可獲得的氣象數據容量越來越大，海量的氣象數據背后隱藏許多重要信息。但是在傳統的氣象數據庫應用系統中，用戶無法發現氣象數據中存在的某種關系和規則，同時缺乏發現氣象數據背后隱藏知識手段，從而出現“數據爆炸而知識貧乏”現象。[2]此外氣象數據庫系統作為氣象信息共享平臺的重要管理系統，其體系結構和技術的復雜程度均是前所未有的，需要在集約化和標準化原則下，充分利用成熟的商業數據庫技術和大氣科學領域的相關技術加以構建。[3]而GIS技術具有很好的數據分析和海量數據支持的能力。本文將GIS引入氣象領域，同時GIS在氣象領域的應用也是一個新的嘗試。利用GIS提高了氣象數據管理的可視化程度和人機對話功能。[4] 嘗試利用GIS技術為詳細分析氣象數據的組織結構、表達和處理方法做準備。[5]針對氣象數據的存儲和處理，目前有很多技術手段包括王楊剛等以面向對象的思想，運用C++技術設計并制作了自動氣象站數據處理程序，它可以對22項氣象數據進行預處理。[6]吳文玉以ArcGIS Desktop9.3為地理信息系統平臺，通過在ArcGIS下與遠程氣象數據庫的連接方法，將數據庫數據直接應用到GIS中，實現GIS與氣象數據庫的數據融合，具有較強的實用性。[7]無論哪種方法對氣象數據庫系統的建設是氣象信息系統（氣象信息共享平臺）建設的核心和基礎。[8]所以最有效的保存和交流使用數據的途徑就是應用計算機技術建立數據庫系統來歸整，管理這些重要氣象數據。[9]然后直接連接GIS軟件使用GIS技術對氣象數據進行處理。因為地理信息系統技術可以將氣象數據所具有的空間特征、屬性特征及時間特征等特點較好地表現出來，是實現空間數據管理的有效手段。[10]本文通過對氣象數據的文件類型，存儲格式進行研究后提出了一條采用GIS技術對海量氣象數據進行預處理的方法。
2 問題的提出
氣象數據一般為多年的觀測數據，數據的種類多，觀測年限長，數據的存儲文本文件多。如中國氣象共享網下載的1970-2013年日值氣象數據為例，數據時間跨度有44年，826個氣象站臺，分為7大類數據，超過15000天的觀測數據，7000萬行的記錄數據，4億多數據單元。數據總量達到5.9G之多。對海量氣象數據進行存儲，分析，管理和處理成為一個難題。目前的處理方式主要有兩種方式：（1）在數據量不大的情況下，對數據進行人工篩選，然后導入Excel中進行處理。（2）根據要求通過編程實現對TXT格式的氣象數據的處理。
氣象數據的記錄文件數量巨大，數據類型眾多，文本格式數據的數據單元幾乎都是采用空格的方式進行隔離，而Word無法對txt格式數據進行批量處理，Excel只能根據特殊符號或者根據一個空格一個格的形式進行數據導入而且數據的行數有限制也無法滿足數據的批量入庫和處理；利用編程的方式需要對數據進行大量的預處理，編程工作量較大。對于氣象數據的分析往往需要地理信息數據，在現階段基于GIS的氣象數據預處理已經被廣泛應用。針對于此，本文提出一種解決問題的思路：首先利用批處理命令處理文本數據，然后建立數據庫并利用ArcSDE與ArcGIS相連實現數據的存儲為數據分析做準備。
3 解決問題的流程
氣象數據是根據數據的類型，日期分批的按照TXT的格式進行存儲并利用空格進行單元數據隔離。所以需要先對數據進行合并然后利用文本編輯軟件對數據進行批量預處理，再利用MS Sql Server進行批量入庫和存儲，最后利用ArcSDE進行數據連接，批量接入ArcGIS進行數據處理，分析和挖掘。具體技術路線如圖1所示。
4 氣象數據處理流程
4.1 數據批量預處理
氣象數據是根據數據的類型，日期分批的按照TXT的格式進行存儲并利用空格進行單元數據隔離的。所以需要先對數據進行合并然后才能對數據進行批量預處理。此處可利用windows的TXT批量合并命令代碼實現，使用下面的代碼命令可以使的所在一個文件夾中的所有文本文件合并入一個命名為0.txt的文本文件中，具體代碼如下所示。
for % %i in （*.txt） do type %%i>>0.txt
將該命令代碼復制進文本文件中并將數據的格式名改為bat。
此處需先將氣象數據中的數據按照數據的.存儲類型比如濕度，溫度，氣壓等進行分批處理分別存儲于不同的文件夾中，然后再進行數據合并。這樣每一個氣象類型中的0.txt文件都會存儲著具有相同樣式的行數據，便于高精確的批量處理。采用此種方法進行批量合并除了可以很好地進行數據預處理外，更重要的是非常簡單高效，不需要任何復雜的編程和進行繁瑣的軟件操作。
4.2 用宏命令批量處理數據
對數據按照數據類型進行合并處理后，需要對單個數據單元進行精確分離，以便于后面的數據導入。此處可利用宏命令對隔離數據的空格利用逗號進行替換，實現所有數據單元按照逗號形式進行隔離。這樣后面的數據入庫將會全部按照逗號進行隔離入庫，不會出現空格和數據存儲的錯位。可以大幅提高數據的精確性。
此處可以用 UltraEdit這款代碼編輯器對每一個氣象數據類型下的0.txt文件進行處理。由于每一個0.txt文件數據量都很大，如果直接利用windows自帶的文本編輯器，容易導致編輯器崩潰，且顯示格式凌亂不利于處理。其他的文本編輯器或者代碼編輯器如 Notepad++，EditPlus等都存在著運行過慢或者數據量過大無法支持的問題。相關文本處理軟件處理能力如表1所示：
利用UltraEdit啟動宏命令后，利用宏錄制下空格被逗號批量代替的過程和逗號被批量清理為一個數據單元一個逗號的過程形成宏命令。利用該命令就可以批量處理所有的0.txt文件實現所有數據的標準化，如圖2所示。
數據導入完成后所有的氣象數據按照地溫、氣壓、蒸發、降水、濕度、日照、氣溫七類數據分表存儲。可以根據需要對數據進行查詢編輯輸出需要的數據。由于每一個數據表中都含有對應的站點號、經度、緯度、高程，年、月、日數據。
4.4 數據庫中的數據處理
由于氣象數據中的經緯度數據值，是按照度分秒直接合并的，數據值不能直接使用，更不能實現對數據的直接操作，需要在數據庫中對經緯度數據值進行批量處理，實現數據的標準化操作。
代碼實現如下：
EVP蒸發 set X=（經度值/100）+（（經度值%100）/（60+0.0））
注：EVP蒸發為數據庫中的表，X為處理完成后所賦值的經度值，經度值代表數據庫中EVP蒸發的非正常顯示經度數據值。
代碼運行后，所獲得的數據值，完全可以達到數據的操作要求。
4.5 利用ArcSDE連接氣象數據庫
ArcSDE是ArcGIS與關系數據庫之間的GIS通道，它允許用戶在多種數據管理系統中管理地理信息，并使所有的ArcGIS應用程序都能夠使用這些數據。ArcSDE可以支持MS sql server，DBM，Oracle數據庫。ArcSDE是一種數據連接方式，數據不需要經過繁雜的數據導入過程，而且可以保證數據的完整性。
打開ArcToolbox工具，選擇數據管理工具-地理數據庫管理-創建企業級地理數據庫即可。為了連接已經建立的氣象數據庫我們在創建企業級數據庫時，必須保證企業級地理數據庫的實例名和數據名與氣象數據庫一致。
數據庫連接完畢，在ArcGis中便可直接查看到氣象數據庫中的信息，可以直接進行數據挖掘和相關操作。
5 結束語
本文介紹了一種基于GIS的海量氣象數據預處理方法。該方法直接實現了海量氣象數據的分類入庫和管理，解決了一般軟件由于數據支持能力限制而無法對海量氣象數據進行存儲和分析的問題，該方法不需要進行復雜的編程、數據精確度高、數據更新方便和可操作性強，節約了編程開發的時間和成本。該方法解決了海量氣象數據下的部分數據挖掘和數據分析的問題，為氣象數據基于地理信息的空間化分析提供了數據準備。
參考文獻：
[1] 吳煥萍.GIS技術在氣象領域中的應用[J].氣象，2010（3）：90-100.
[2] 李集明，王國復.氣象數據庫系統總體設計綜述[J].氣象科技，2007（S1）：1-5.
[3] 張波.數據挖掘在氣象中的應用研究與實現[D].電子科技大學，2013.
[4] 李江南.GIS在氣象數據處理中的應用[J].廣東氣象，2002（4）：14-15+9.
[5] 何永健，曹蕓，黃勇.GIS氣象數據的管理與表達方法[J].南京信息工程大學學報：自然科學版，2011（3）：232-237.
[6] 王楊剛，趙文吉，宮輝力.自動氣象站數據預處理研究[J].首都師范大學學報：自然科學版，2006（2）：81-84.
[7] 吳文玉，楊太明，何彬方.GIS與氣象數據庫的數據融合應用[C]//安徽省氣象學會.第三屆安徽科技論壇農業與氣候生態學術研討會論文集.安徽省氣象學會，2004：3.
[8] 趙芳.氣象數據庫系統的建設[C]//信息技術在氣象領域的開發應用論文集（二），2006：5.
【基于GIS的海量氣象數據預處理技術研究論文】相關文章：
基于網格的數據傳輸與復制技術研究論文11-07
基于數據挖掘的數字圖書館檢索技術研究論文11-06
淺析GIS多源數據集成模式論文04-27
基于Java EE的Web系統中數據庫設計技術研究論文11-06
關于氣象雷達數據分析論文06-26
觀測地面氣象數據的方法論文04-27
大數據時代基于云計算的數據監護研究論文11-01