利用表分区的大数据库优化方法.docx

利用表分区的大数据库优化方法高丽娟摘要：与常规数据库相比，大数据库不仅仅是数据存储量巨大，每一个表结构记录的条数也更大，其对于系统管理、系统性能等提出了许多新的要求。为了对大数据表在查询过程中农工存在的延迟问题以及管理问题进行解决，可以将表分区方法引入其中。该文从表分区的原理出发，以SQLServer2012为例，对大数据库优化中表分区的实现方法进行了研究和讨论，希望能够借此提升大数据库数据管理与查询的效率。关键词：表分区；大数据库；优化中图分类号：TP311文献标识码：A文章编号：1009-3044（2018）26-0018-02Abstract：Comparedwiththeconventionaldatabase，thelargedatabaseisnotonlyahugeamountofdatastorage，butalsoalargernumberofrecordspertablestructure.Itputsforwardmanynewrequirementsforsystemmanagementandsystemperformance.Inordertosolvethedelayproblemandmanagementproblemoftheagriculturalworkersinthequeryprocessofthebigdatatable，thetablepartitioningm[本文来自于wwW.Zz-nEws.CoM]ethodcanbeintroduced.basedontheprincipleoftablepartitioning，thispapertakesSQLServer2012asanexampletostudyanddiscusstheimplementationmethodoftablepartitioninginlargedatabaseoptimization，hopingtoimprovetheefficiencyoflargedatabasedatamanagementandquery.Keywords：tablepartitioning；largedatabase；optimization大数据背景下，海量数据的存储与管理成为了人们关注的核心问题，一些大型数据库的存储量达到了TB甚至PB的级别，单个表格记录的数据可以达到数千万甚至上亿，这个数据还会随着数据库的更新而不断增加。在这样的背景下，数据库运行效率受到了很大影响，维护管理的难度也大大增加，想要对大数据库进行有效管理，可以将表分区的方法引入其中，针对大数据库进行优化。1表分区的原理表分区的基本原理，是将存在于数据库中的达标的数据分割开来，形成被称为分区的若干较小的子集，类型有很多，如NTFS、FAT32等，这些子集如果从逻辑关系分析，依然属于一张表。对于程序人员而[本文来自于Www.zZ-new.Com]言，表分区高度透明，因此在进行程序开发设计的过程中，并不需要考虑表分区的物理存储问题。结合SQLServer数据库进行分析，表分区表现为垂直分区和水平分区两种不同形式，前者指將表分成行数相同，列数较少的表，后者则是将表分为列数相同，行数较少的表。通过大表分区的方式，能够显著提升数据查询效率，如果需要对某个分区中的对象进行查询，则只需要针对其所在的分区进行扫描即可。举例说明，某数据表记录的数据条数达到了千万级别，如果依照月份对数据表进行分区，则特定月份的查询可能只需要在百万级或者十万级的基础上进行扫描，能够极大地压缩查询范围。在进行表分区的过程中，如果系统本身设置有复数的CPU或者磁盘，可以在不同磁盘上，设置不同分区表，结合并行操作，能够促进系统响应性能的强化，提升其对于数据的吞吐量和吞吐效率。如果条件允许，可以以表分区为基本单位，针对数据进行必要的操作，如移动、备份等，确保在系统遭遇故障或者风险时，不会出现大规模数据损坏或者丢失的情况，技术人员只需要对故障分区进行隔离和恢复即可，故障影响范围更小，处理速度更快，数据的维护和管理也更加便捷[1]。2表分区的实现这里以SQLServer2012数据库为例，对利用表分区实现大数据优化的方法进行简单分析。2.1数据文件结构在SQLServer2012数据库中，数据文件的常见类型有三种：一是主数据文件（.mdf），这是每一个数据库中必然存在的数据文件，系统相关的各种信息都存储在其中，而且配合相应的系统功能，主数据文件还能够实现对数据库中其他文件的跟踪；二是辅助数据文件（.ndf），与主数据文件的单一性不同，辅助数据文件在数据库中可能没有，也可能有多个，其主要功能是对用户数据进行存储；三是日志文件（.idf），任何数据库都至少有一个日志文件，其中包含了数据库故障恢复所需的各种信息