sql分区管理对海量数据的处理

sql分区管理对海量数据的处理

ID:35515478

大小:50.50 KB

页数:5页

时间:2019-03-25

sql分区管理对海量数据的处理_第1页
sql分区管理对海量数据的处理_第2页
sql分区管理对海量数据的处理_第3页
sql分区管理对海量数据的处理_第4页
sql分区管理对海量数据的处理_第5页
资源描述:

《sql分区管理对海量数据的处理》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库

1、SQL Server 2005利用分区对海量数据的处理超大型数据库的大小常常达到数百GB,有时甚至要用TB来计算。而单表的数据量往往会达到上亿的记录,并且记录数会随着时间而增长。这不但影响着数据库的运行效率,也增大数据库的维护难度。除了表的数据量外,对表不同的访问模式也可能会影响性能和可用性。这些问题都可以通过对大表进行合理分区得到很大的改善。当表和索引变得非常大时,分区可以将数据分为更小、更容易管理的部分来提高系统的运行效率。如果系统有多个CPU或是多个磁盘子系统,可以通过并行操作获得更好的性能。所以对大表进行分区是处理海量数据的一种十分高效的方法。本文通

2、过一个具体实例,介绍如何创建和修改分区表,以及如何查看分区表。 1SQL Server 2005     SQL Server 2005结合了分析、报表、集成和通知功能。这使企业可以构建和部署经济有效的BI解决方案,帮助团队通过记分卡、Dashboard、Web Services和移动设备将数据应用推向业务的各个领域。它所带来的新特性,如T-SQL的增强、数据分区、服务代理和与.Net Framework的集成等,在易管理性、可用性、可伸缩性和安全性等方面都有很大的增强。2    表分区的具体实现方法表分区分为水平分区和垂直分区。水平分区将表分为多个表。每个

3、表包含的列数相同,但是行更少。例如,可以将一个包含十亿行的表水平分区成 12 个表,每个小表表示特定年份内一个月的数据。任何需要特定月份数据的查询只需引用相应月份的表。而垂直分区则是将原始表分成多个只包含较少列的表。水平分区是最常用分区方式,本文以水平分区来介绍具体实现方法。水平分区常用的方法是根据时期和使用对数据进行水平分区。例如本文例子,一个短信发送记录表包含最近一年的数据,但是只定期访问本季度的数据。在这种情况下,可考虑将数据分成四个区,每个区只包含一个季度的数据。2.1     创建文件组建立分区表先要创建文件组,而创建多个文件组主要是为了获得好的 

4、I/O 平衡。一般情况下,文件组数最好与分区数相同,并且这些文件组通常位于不同的磁盘上。每个文件组可以由一个或多个文件构成,而每个分区必须映射到一个文件组。一个文件组可以由多个分区使用。为了更好地管理数据(例如,为了获得更精确的备份控制),对分区表应进行设计,以便只有相关数据或逻辑分组的数据位于同一个文件组中。使用 ALTER DATABASE,添加逻辑文件组名:ALTER DATABASE 库名 ADD FILEGROUP 文件组名创建文件组后,再使用 ALTER DATABASE 将文件添加到该文件组中:ALTER DATABASE [库名] ADD F

5、ILE ( NAME = N'FG1', FILENAME = N'C:DeanDataFG1.ndf' , SIZE = 3072KB , FILEGROWTH = 1024KB ) TO FILEGROUP [FG1]类似的建立三个文件和文件组,并把每一个存储数据的文件放在不同的磁盘驱动器里。usemasteralterdatabasestuaddfilegroup[fg1]goalterdatabasestuaddfilegroup[fg2]goalterdatabasestuaddfilegroup[fg3]goalterdatabasestua

6、ddfile(name='fg1',filename='c:fg1.ndf',size=5mb)tofilegroup[fg1]goalterdatabasestuaddfile(name='fg2',filename='d:fg2.ndf',size=5mb)tofilegroup[fg2]goalterdatabasestuaddfile(name='fg3',filename='e:fg3.ndf',size=5mb)tofilegroup[fg3]go创建分区函数创建分区表必须先确定分区的功能机制,表进行分区的标准是通过分区函数来决定的。创建数

7、据分区函数有RANGE “LEFT 

8、 / RIGHT”两种选择。代表每个边界值在局部的哪一边。例如存在四个分区,则定义三个边界点值,并指定每个值是第一个分区的上边界 (LEFT) 还是第二个分区的下边界 (RIGHT)[1]。根据email地址创建分区函数,分为三个区。代码如下:createpartitionfunctionemailPF(nvarchar(50))asrangerightforvalues('G','N')2.3创建分区方案  创建分区函数后,必须将其与分区方案相关联,以便将分区指向至特定的文件组。就是定义实际存放数据的媒体与各数据块的对

9、应关系。多个数据表可以共用相同的数据分区函数,一般不

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。