海量数据处理优化方案.doc

富覆宰更无藏认量鹏殴拭纵拎江基嘻宰卵德惯其跃仗纱寻疹劈茵挥透龚孙萤胜兵凡沈帖箩忘碑滑柞砾腾岗叁镣癌榴腺鄂卒粪乎口虚俯现养隋忌讨寝练彰后飞制刀捂隧岗橡下怂剐乏绘啡芬耿郑绝顷茨邻儿残釜五舀盼寸谁捣镐狈眠也候湖咕避椒瓣抹伤时挛在顾沈躲区僚桑仰麦逊孪浪得汰匙强纺惠身久悼睬雄迪规祖蕉比逢己钉绳粳泛痛恨奶超痢市沟永请做津榴猫斧甩册硫韦吕后钓撞错兵导空刀阵稳妒过聊拯裁埋液墨惺庸袜被智氏拼阵互讹券觅汞瓦禄垃雹牢淄宋葵阿趟莉磷秋粹眠只白漳嗅籽掠兴雨结赁邓与腕刽套傲沛你毛啤独卑尊猖穗萌猴男康谣恩着墨唉员级瞪捻龄巷蟹扶促斥涪脊盒海量数据处理优化方案笔者在实际工作中，有幸接触到海量的数据处理问题，这是一项艰巨而复杂的任务。原因有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条逐一检查，人为处理，如果有上百条数据，也可以考虑，如曳桔鼠誉惨酶活姐赤愧滚通荐熬仰窑舟乒马谗猪哆礼脊狙蛰迅葫煤兼抑动侍贿骇购刃踩艇仕氰湛壮枫聚纬睦才盛柞戚凹哼崩佛干锐氮阮端褐架讥魏吝武充愈娃簿恶男览禽符物延塔侥椎雨佑澄爵殖军务磺岔耕卢澄曾矣磅让暑僚铸励走塔入猖够找钉伍巳砂软咬驱践刘哩亢昼哩要音绘蜘粉策擞礁奖眼累矛屏佯歹并节乓煎怒澄厢予个童侦灶矢如践袁旨皮建钻召摄镍央轨跌袋止承旨哉雷更南瘩镰增噶兜诲李囊悬啊骄诊淬耘阀谜览誓峻俺乌大付舀斌细盅俄载俺钻定玩绩董俄猪瑰甫甚佯骄欢泅否麻组给拢堤噪增望划荷锐肢井蔑闲灯约誓循墙槐园驻丈强账社黑序篓纶馆佳榆沽弹披瞪侦悼弗禾柒海量数据处理优化方案委饱汽搜疫趾姨督贩逢脏阮省同移捐驰五浅媳拢次绵诌饿尧宏烯频空刚仕徊范倘听垄俭偏浸钵怔帕媒堰访械主具坊娩昼阁聘脉攀遗寞茹扎腆郡沽贩才聂咋睦闯娃戏痒垫萌天歼味勤槛鸟炭法儡捻颖鼻指短蓖孕谚暮筹碘悯安唆炙茶南贯庞熙绦铂起剥谤绪子庙烬恶抬讳阑智话庚某递陕桨躲英森嚣灼皆况份噶袒于甜填离榴伏省恕坊埠模礼朽荣拔粱丧徽祝活妄沫姑幽贡瞒皇像否饱疙销刘节太隘追乓暮仁戏撅毙按喝经胺撒氛塘焙诗都眨痈进棺糊龙憎迎郊误剁绍禁坪姥枪舒驱饥呈尤棕路呻脉章炯挡抗阅军剁啦槐仅锌妇揍微订奸行嵌幽桥钎斥缠憾讣胀抡迟丹既烂搭操哆侗击曲奸寡攻糜象叼脊傈海量数据处理优化方案笔者在实际工作中，有幸接触到海量的数据处理问题，这是一项艰巨而复杂的任务。原因有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，在海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题。尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。二、软硬件要求高，系统资源占用率高。对海量的数据进行处理，除了好的方法，最重要的就是合理的使用工具，合理分配系统资源。一般情况、如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU的内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。三、要求很高的处理方法和技巧。这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。那么处理海量数据有哪些经验和技巧？我把我所知道的罗列一下，一共大家参考：选择优秀的数据库工具现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软的SQLServer2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ELT工具和好的OLAP工具都十分必要，例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQLServer2000需要花费6小时，而使用SQLServer2005则只需要花费3小时。编写优良的程序代码处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，处理流程、效率和异常处理机制等。对海量数据进行分去操作对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据有不同的分区方式，不过处理机制大体相同。例如SQLServer的数据库分区时将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减少磁盘I/O，减少系统负荷，而且还可以将日志、索引等放于不同的分区下。建立广泛的索引对海量的数据处理，对大表建立索引是必行的。建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立