资源数据采集技术方案.doc

资源数据采集

技术方案

公司名称
2011年7月
二O一一年七月

目录
TOC\o"1-3"\h\z\uHYPERLINK\l"_Toc299694389"第1部分概述 PAGEREF_Toc299694389\h3
HYPERLINK\l"_Toc299694390"1.1项目概况 PAGEREF_Toc299694390\h3
HYPERLINK\l"_Toc299694391"1.2系统建设目标 PAGEREF_Toc299694391\h3
HYPERLINK\l"_Toc299694392"1.3建设的原则 PAGEREF_Toc299694392\h4
HYPERLINK\l"_Toc299694393"1.3.1建设原则 PAGEREF_Toc299694393\h4
HYPERLINK\l"_Toc299694394"1.4参考资料和标准 PAGEREF_Toc299694394\h5
HYPERLINK\l"_Toc299694395"第2部分系统总体框架与技术路线 PAGEREF_Toc299694395\h5
HYPERLINK\l"_Toc299694396"2.1系统应用架构 PAGEREF_Toc299694396\h6
HYPERLINK\l"_Toc299694397"2.2系统层次架构 PAGEREF_Toc299694397\h6
HYPERLINK\l"_Toc299694398"2.3关键技术与路线 PAGEREF_Toc299694398\h7
HYPERLINK\l"_Toc299694399"第3部分系统设计规范 PAGEREF_Toc299694399\h7
HYPERLINK\l"_Toc299694400"第4部分系统详细设计 PAGEREF_Toc299694400\h7


概述
项目概况
Internet已经发展成为当今世界上最大的信息库和全球范围内传播知识的主要渠道，站点遍布全球的巨大信息服务网，为用户提供了一个极具价值的信息源。无论是个人的发展还是企业竞争力的提升都越来越多地依赖对网上信息资源的利用。
现在是信息时代，信息是一种重要的资源，它在人们的生活和工作中起着重要的作用。计算机和现代信息技术的迅速发展，使Internet成为人们传递信息的一个重要的桥梁。网络的不断发展，伴随着大量信息的产生，如何在海量的信息源中查找搜集所需的信息资源成为了我们今后建设在线预订类旅游网重要的组成部分。
因此，在当今高度信息化的社会里，信息的获取和信息的及时性。而Web数据采集可以通过一系列方法，依据用户兴趣，自动搜取网上特定种类的信息，去除无关数据和垃圾数据，筛选虚假数据和迟滞数据，过滤重复数据。直接将信息按照用户的要求呈现给用户。可以大大减轻用户的信息过载和信息迷失。
系统建设目标
在线预订类旅游网是在线提供机票、酒店、旅游线路等旅游商品为主，涉及食、住、行、游、购、娱等多方面的综合资讯信息、全方位的旅行信息和预订服务的网站。
如果用户要搜集这一类网站的相关数据，通常的做法是人工浏览网站，查看最近更新的信息。然后再将之复制粘贴到Excel文档或已有资源系统中。这种做法不仅费时费力，而且在查找的过程中可能还会遗漏，数据转移的过程中会出错。针对这种情况，在线预订类旅游网信息自动采集的系统可以实现数据采集的高效化和自动化。
建设的原则
建设原则
由于在线预订类旅游网的数据采集涉及的方面多、数据量大、采集源数据结构多样化的特点。因此，在进行项目建设的过程中，应该遵循以下原则：
可扩充性
根据实际的要求，系统可被方便地载减和灵活的扩展，使系统能适应变化和新情况。可以实现模块级别的动态扩展，而且是运行时的。所谓运行时模块的动态扩展，比如说你需要增加一些新的功能，你可以将新开发的类和文件按照Bundle进行组织，然后直接扔到运行时环境下，这些功能就可以用了。因此系统不会受技术改造而重新做出调整。
创新性
软件的投资要考虑到今后的发展，不能使用落后的产品与技术，避免投资的浪费；在系统软件选型、开发技术上，达到国内外先进水平。
规范性和标准性
整个设计方案从网络协议、操作系统到各个设计细节，应该全部遵循通用的国际或行业标准，符合国家有关标准规范的。
低耦合性
采集系统与其它系统彼此间相对独立，直接进行数据库入库、sql同步或者基于txt/xml的数据交换，保证整体系统的低耦合性。
高效性
在底层的技术实现上采用java语言，跨平台，跨数据库，运行效率卓越。
安全、稳定、准确、及时性
采用先进的算法，采