淺談電子信息實驗大數據系統建設范文

本站小編為你精心準備了淺談電子信息實驗大數據系統建設參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

摘要：論述了大數據的概念、特點及發展趨勢，分析了大數據技術對于電子信息裝備試驗的重要意義，之后以大數據通用框架為基礎，結合電子信息裝備試驗的現狀及特點，構建了電子信息裝備試驗大數據系統的基本框架，并按照數據庫規劃、數據倉庫構建、聯機分析、數據挖掘、智能決策的主線，對電子信息裝備試驗領域的大數據建設與應用方法進行了初步探討。

關鍵詞：大數據;裝備試驗;數據庫

近年來，為適應信息化條件下戰斗力生成模式轉變，電子信息裝備試驗開始逐步向復雜環境下、實戰化模式轉變，隨著信息技術的飛速發展，隨之而來的“數據爆炸”問題也越來越突出，現有的技術手段逐漸無法滿足數據規范化管理、實時化處理、多樣化展示等新要求。大數據技術是一類為解決“海量數據”采集、存儲、管理、分析與展示等問題而產生的技術的統稱，其在民用、商用領域已得到了廣泛地應用與發展。以當前通用的大數據體系框架為基礎，結合電子信息裝備試驗的實際需求與現實條件，探索電子信息裝備試驗領域大數據系統的建設與應用方法，實現試驗數據的精細化采集、實時化處理、規范化存儲管理、深度挖掘及多樣化展示，對于解決當前信息資源應用領域存在的諸如數據庫建設不完善，數據標準不規范，信息資源開放程度差，缺乏共享意識等實際問題，提高信息資源利用率，滿足未來實戰化試驗的發展要求具有重要意義。

1大數據概述

“大數據”是近年來出現的熱門詞語，人們用它來描述和定義信息爆炸時代產生的海量數據，并命名與之相關的技術發展與創新。大數據的特點一般可用4V來概括[1]，即：數據數量（Volume）大，數據類型（Variety）多，數據處理速度（Velocity）快，價值（Value）密度低。從表象看，大數據就是一個容量特別大、數據類型特別多的數據集，其既不是一種新的技術，也不是一種新的產品，而是我們這個時代出現的一種新的現象；從內涵看，大數據的價值不在于海量數據本身，而在于通過對海量數據進行智能分析提取，為組織機構帶來的信息優勢、知識優勢和決策優勢，這也是大數據和海量數據的根本區別，也就是說海量數據是大數據的一個特征，而不能反過來說海量數據就是大數據。正如涂子沛的《大數據》中所說：“大數據”之大，并不僅僅在于“容量之大”，更大意義在于：通過對海量數據的交換、整合和分析，發現新的知識，創造新的價值，從而帶來“大科技”、“大利潤”和“大發展”[2]。大數據技術是從海量數據中快速獲得有價值信息的各類相關技術的統稱，大數據系統則是各類大數據技術有機集成形成的數據處理與應用系統，一個完整的大數據系統一般由“數據采集與預處理、數據存儲與管理、數據分析與處理、數據挖掘與應用”等幾部分構成[3]，如圖1所示。其建設過程歸納起來可以表示為“始于數據庫、統于數據倉庫、躍于聯機分析、成于數據挖掘、歸于智能決策”。

2電子信息裝備試驗信息資源建設現狀

客觀而言，在當前的電子信息裝備試驗領域中，信息資源的建設已經具備一定的基礎，如建設了“科技信息管理系統”等數據應用系統，對試驗、科研等過程中產生的電子文檔、數據、視頻、試驗結果等進行集中入庫和管理；建成了《數據名錄》和《數據應用字典》，可為試驗數據信息化建設提供基礎數據標準；建立了各類專業數據庫，如裝備數據庫、地理信息系統、氣象數據庫、仿真試驗系統基礎數據庫、指揮導調數據庫等，能夠為科研、試驗、訓練提供情報支持。但不可否認的是，由于早期規劃不夠系統，使得信息資源的利用上仍然存在著諸多問題，具體表現為：（1）缺乏整體規劃，“信息孤島”現象突出一方面，由于缺乏整體規劃，當前建立的各類數據庫平臺主要面向各部門的專業業務，采用的標準不盡相同，系統間缺乏統一、規范的數據共享機制；另一方面，由于信息共享的硬件平臺和軟件平臺均不足，特別是缺乏提供信息共享的信息資源管理平臺，如目錄管理系統、共享服務系統等，導致各類數據之間很難進行有效的信息共享與交互，形成了本部門共享的多、跨部門共享的少，可供瀏覽的多、融合交換的少的“信息孤島”現象。（2）信息資源的內容有待豐富，信息獲取與處理手段有待提高一方面，目前的試驗訓練數據還缺乏整體的數據資源規劃，采集的數據信息涵蓋范圍較窄，且數據完整性、一致性和關聯性不足，難以進行深層次的開發與利用；另一方面，現有的信息獲取以人工采集為主，缺乏完整、高效的數據采集與處理系統，數據來源渠道單一，數據處理以事后處理為主，實時性較差，很難滿足實戰化試驗訓練任務要求。（3）信息應用平臺功能單一，信息服務有待豐富和完善目前各類信息應用平臺的功能以試驗、訓練、科研信息的存儲與管理為主，主要提供基本信息查詢服務，對于數據處理與評估，跨庫查詢、數據調用、多維報表、輔助決策等個性化功能的支持較差，用戶很難直接通過信息應用平臺獲得滿意的服務。總結起來，可以說隨著電子信息裝備試驗領域信息化建設的不斷深入及實戰化試驗訓練要求的不斷提高，當前的信息資源建設與應用水平已對領域業務的發展形成了制約，需要建設一套完整、規范、高效、靈活的數據資源集成和共享服務平臺。

3電子信息裝備試驗大數據系統架構

依據大數據系統建設的一般流程，結合現有條件，給出電子信息裝備試驗大數據系統的總體結構，如圖2所示。系統基于SOA的數據服務模式，對各類信息資源進行封裝，提供統一的數據應用服務平臺。整個系統結構整體上可分為系統用戶、數據聯機分析處理平臺、數據倉庫以及基礎設施等四個層次。（1）系統用戶層主要劃分用戶類型（如科研用戶、試驗用戶、仿真用戶、管理層用戶等），確定用戶的身份，并根據其身份的不同獲取授權信息，確定訪問權限，通過用戶類型的定義與對應權限的劃分，實現對共享資源的分配與控制。（2）數據聯機分析與處理平臺數據聯機分析與處理平臺又可分為四個層次，分別為數據應用工具、SOA服務總線、應用支持服務以及SOA數據總線。數據應用工具提供用戶操作界面，包括常規應用和個性服務。常規應用包括數據檢索查詢、數據定制分發、數據回放展示、報表服務、聯機分析等常規的數據應用工具；個性服務則針對特定的業務需求，實現方案輔助設計、作戰機理研究、試驗效果評估等高級應用。SOA服務總線用于連接數據應用工具與應用支持服務，通過響應數據應用工具的服務請求，調用或釋放系統共用模塊資源和專用服務模塊資源，從而實現應用工具與底層服務的分離，提供了系統的靈活性。應用支持服務即用于對各類應用工具進行支持，通過數據總線實現數據倉庫系統相交互的各類底層服務的集合，具體包括：服務注冊、服務授權、數字簽名、元數據管理、數據變更管理、目錄索引維護、導航樹維護、視圖管理、展現模板管理、跨庫檢索管理、數據集成、本體服務等。SOA數據總線負責調用、釋放和協調應用支持服務對數據庫層的數據操作請求，返還數據請求結果，同時還包括公共通信接口模塊以及跨層數據訪問接口模塊，公共通信接口模塊負責系統和其它外部數據源的通訊，完成數據的底層導入導出，跨層數據訪問接口模塊則提供ODBC、JDBC、ADO、ADO.NET等數據訪問接口，用于實現應用工具對底層數據庫的跨層直接訪問，適用于基于底層數據庫應用開發。（3）數據倉庫數據倉庫是系統的核心，主要用于數據的采集、處理、存儲、管理等功能，從底向上分為數據體系規劃、外部數據源、基礎數據庫以及主題數據庫四個層次。裝備試驗數據體系規劃，主要解決兩個問題。一是根據裝備試驗的業務流程及需求，建立總體的裝備試驗數據體系，從而解決需要什么數據的問題，二是結合數據倉庫總體規劃數及據本身特點，制定裝備試驗數據資源基礎標準，解決需要什么樣式數據的問題。外部數據源即數據的來源，根據裝備試驗數據體系規劃，選擇合適的數據采集手段，從裝備試驗、仿真實驗、外部情報研究、互聯網等渠道采集所需的數據，形成源源不斷的數據積累與更新，并根據裝備試驗數據資源基礎標準對原始數據進行數據清洗、數據轉換等預處理工作，從而規范數據格式，提高數據質量。基礎數據庫是在對靶場現有數據庫進行轉換和繼承基礎上，通過開展數據更新、整合、加載和部署，構建的信息資源基礎數據庫體系，包括用戶庫、試驗數據庫、裝備數據庫、仿真模型庫、測繪信息庫、點位信息庫、氣象信息庫等一系列基礎數據庫，這些基礎數據庫一方面對接外部數據源，實現數據的添加、刪除、更新等功能，一方面將穩定的、準確的信息資源提供給上層的主題業務庫，為數據的高級應用提供資源支撐。主題數據庫是根據裝備試驗業務需求，綜合集成多個基礎數據庫資源形成的跨專業綜合應用數據庫，如任務籌劃主題庫、作戰試驗主題庫、情報分析主題庫、仿真實驗主題庫等等。主題數據庫都面向綜合業務應用，通過邏輯上的關系對基礎數據庫進行關聯，并獲取所需資源。這樣以來，操作人員就能很容易根據不同的業務需求，集成不同的基礎數據庫形成新的主題庫，即節約了成本，又增強了系統的靈活性。（4）基礎設施層基礎設施層，包含了服務器、網絡設備、磁盤陣列、虛擬磁帶庫等硬件設備以及支持系統正常運行的操作系統軟件，網絡管理軟件、系統備份軟件、數據安全軟件等，為系統提供基礎支撐。總體上說，該體系結構一方面繼承了當前已建成的部分信息系統以及基礎數據庫，在不改變原有系統基本功能的情況下，僅對將數據應用服務模式按照SOA的標準進行開發和集成，最大限度的保持了現有信息系統的穩定性，保證了資源的充分利用；另一方面由于通過層次化封裝與模塊化開發實現系統具體功能，降低業務邏輯與數據的耦合度，能夠在不改變原有架構的條件下實現系統功能靈活擴展，對于快速有效的應對業務需求變更，消除異構數據環境差異，提高數據的利用率具有重要意義。

4結束語

隨著信息技術的不斷發展，“大數據”的建設應用研究已經成為國內外、軍內外普遍關注的熱點。電子信息裝備試驗過程中產生的信息具有典型的大數據特點，本文圍繞電子信息裝備試驗數據的整合與應用工作展開研究，探討了大數據的基本理念、理論和方法，在此基礎上結合實際需求提出了電子信息裝備試驗數據資源建設總體架構，下一步將針對文中提到的信息資源的采集、傳輸、存儲、管理、處理與應用等具體的重難點問題展開深入研究，以全面改善信息資源開發利用環境和應用水平。

參考文獻

[1]張澤,孫煒,蔡宏剛.大數據技術初探[J].通信與計算技術.2013.12,33(4):27-29.

[2]徐子沛.大數據[M].桂林:廣西師范大學出版社,2012.07.

[3]孔德志,劉群興.大數據技術及其應用[J].計算機科學與技術.2013.11,31(增刊1):90-95.

作者：郝旭東 苑建偉 劉道偉 單位：中國洛陽電子信息裝備試驗中心