海洋环境数据系统设计论文.docx

海洋环境数据系统设计论文1引言传统的海洋数据服务一般是专项专建、专人专用针对人群比较单一、数据类型比较简单而且在项目结束后通常建设的数据库和应用系统由于没有后期的经费支撑而停用。本研究提出的海洋环境数据在线服务系统（以下简称系统）涵盖了多专项、多学科的数据在原有数据库、应用系统、专网基础上进行系统集成、数据库扩建为海洋局属各单位提供共享服务。系统是运用面向服务架构的设计思想搭建应用系统。采用并行数据库技术实现大数据量的存储、加载、更新、查询等操作利用ETL调度工具实现源数据库到并行数据库的数据抽取、转换和转载减少重新建库的工作量。采用虚拟化技术整合存储、服务器、网络资源建设数据中心集群提高资源利用率采用域控管理机制实现数据安全管理权限管理。采用VPN认证管理机制保障系统安全正常运转。2系统设计系统通过面向服务的总体架构以数据的汇集、处理、应用为基础主线采用高速并行技术结合虚拟化技术等先进IT技术设计系统的逻辑架构、功能架构、物理架构与技术架构。2．1逻辑架构系统总体架框架由数据层、管理层和应用层3部分构成数据层是指通过对历史收集、专项调查、在线传输等方式收集采用数据集、数据库方式进行数据存储与管理；管理层是指对使用系统的用户进行统一认证、用户管理、数据授权等实现用户有效可控的管理；应用层是指为用户提供数据的在线查询检索、数据时空分布检索、产品加工处理等应用服务满足用户多样化的需求。应用层与管理层通过内网和专网访问数据层实现数据的管理、查询、处理等服务。（1）数据层。数据层主要由原始数据、基础数据和成果数据3部分组成。原始数据是指海洋仪器现场采集的原始资料、现场汇交的纸质或者电子资料等。原始数据采用文件方式存储基于原始资料清单和数据库文件目录等方式进行管理。类型包括海洋观测原始资料、海洋监测原始资料、专项调查汇交资料等。基础数据是指对原始数据进行整理、排重、质量控制等处理之后形成的标准化数据。内容主要包括专项调查数据、观测实时资料数据与国际业务化数据等专项调查数据包括水文、气象等9个学科观测实时资料数据包括海洋站、雷达、浮标等。基础数据采用数据库存储方式根据基础数据的资料类型、资料格式、数据观测频率、数据传输频率、数据量等设计数据库结构。成果数据是指经过信息提取、多源数据融合、数值模型分析、统计分析等手段处理后形成的数据。成果数据由要素数据、成果专题数据、资料目录数据组成采用数据库存储方式。要素数据是以基础数据为基础根据数据的专题应用保障和服务需求按照时间、空间、专题要素等进行组织的数据。成果专题数据主要包括数值型产品和图形产品涵盖海洋再分析产品、实况分析产品、潮汐预报产品和海洋专题产品等。资料目录数据主要包括原始数据集目录索引、标准数据集目录索引、产品数据目录索引等。（2）管理层。管理层主要负责系统的用户管理、资源管理、业务流程管理和运行监控管理等内容。用户管理包括用户的创建、更改和删除、角色管理、功能授权与数据授权；资源管理包括目录索引管理、数据导航管理、信息发布管理与信息资源管理；业务流程管理包括数据申请、虚拟机管理、数据审批管理等；运行监控管理包括运行环境监控、数据资源监控与用户行为监控。（3）应用层。应用层依托于中心内网和海洋专网基于并行数据库技术和虚拟化技术实现海洋局属单位间的数据在线服务。应用层主要包括：数据时空分布展示、数据查询检索服务、数据共享虚拟环境、产品制作与产品导出功能。数据时空分布展示是利用数据的经纬度、时间范围、站次数等关键信息通过统计计算数据量依据色彩图例进行时空分布展示。数据查询检索服务包括数据库查询检索和数据集查询检索。该服务可提供基于矢量地图及影像地图的地图显示控件的数据查询服务以及使用关键字对数据进行查询。产品制作是指对资料进行整理、标准化处理开展数据识别、解码等预处理操作利用数据统计分析工具进行产品的加工制作。产品导出是指对用户加工制作产生的产品成果提供数据的导出功能实现数据从虚拟机到本机的导出服务。2．2物理架构按照系统设计对系统运行硬件环境进行搭建硬件环境涵盖原始数据文件存储区、数据库存储区、数据处理区、数据服务区。按照网络布局可化为中心内网和海洋专网内网为中心内部用户提供在线服务的入口专网主要包括海洋观测网、海洋监测网、数字海洋网；数字海洋网为海洋局属单位提供在线服务的入口用户经由内网／数字海洋网通过VPN身份认证后方可进入用户主页通过登录进入个人虚拟工作环境（即用户虚拟机）用户可在虚拟机中对数据进行查询、处理和产品制作。系统经由海洋观测网和海洋监测网接收实时、延时观测和监测的海洋数据并发送到系统的文件存储区和处理资料临时存储区由存储管理系统进行数据的接收