星空网 > 软件开发 > 数据库

SSIS技巧

问题

    我们经常遇到一种情况,在SSMS中运行很慢的一个查询,当把查询转化成从源到目的数据库的SSIS数据流以后,需要花费几倍的时间!源和数据源都没有任何软硬件瓶颈,并且没有大量的格式转换。之前看了很多关于这种情况的优化方案,例如扩大缓存大小等。虽然也能快一点,但是仍然远远比直接在SSMS中查询的速度满的多。究竟是什么原因导致的呢?

解决

    首先这个数据流性能是有很多因素决定的,例如源数据的速度、目标库的写入速度、数据转换和路径数量的使用等等。但是,如果只是一个很简单的数据流,那么提高缓存的容量即可改善性能。例如,如果缓存设的更大,那么数据流一次转换更多的数据行,所以性能可以提升。当然很多其他情况就不是这么容易优化了。并且缓存过大时一旦源读取填充缓存时间过长导致了目标库闲置一直处于等待状态直到缓存完成。在这个技巧中,将会介绍如何解决这种问题。

 

测试场景

    首先创建一个百万数据的源表。表结构是一个典型的name-value 键值对表,便于阐述我们的问题。其中value 列设为5000char。如下:

IF EXISTS (SELECT * FROM sys.objects WHERE object_id = OBJECT_ID(N'[dbo].[NameValuePairs]') AND [type] IN (N'U')) DROP TABLE [dbo].[NameValuePairs];GOIF NOT EXISTS (SELECT 1 FROM sys.objects WHERE object_id = OBJECT_ID(N'[dbo].[NameValuePairs]') AND [type] IN (N'U'))BEGIN CREATE TABLE [dbo].[NameValuePairs] ([ID] [int] IDENTITY(1,1) NOT NULL ,[Type] [varchar](100) NOT NULL ,[Value] [varchar](5000) NULL PRIMARY KEY CLUSTERED ([ID] ASC));ENDGO

  

使用AdventureWorksDW2012 样板数据,你可以搜索下载。表中有各种用户信息:names, gender, addresses, birth dates, email addresses 和phone numbers。如下:

 

INSERT INTO [dbo].[NameValuePairs]([Type],[Value])SELECT [Type] = 'Customer Name' ,[Value] = [FirstName] + ' ' + [LastName]FROM [AdventureWorksDW2012].[dbo].[DimCustomer]UNION ALLSELECT [Type] = 'BirthDate' ,[Value] = CONVERT(CHAR(8),[BirthDate],112)FROM [AdventureWorksDW2012].[dbo].[DimCustomer]UNION ALLSELECT [Type] = 'Gender' ,[Value] = [Gender]FROM [AdventureWorksDW2012].[dbo].[DimCustomer]UNION ALLSELECT [Type] = 'Email Address' ,[Value] = [EmailAddress]FROM [AdventureWorksDW2012].[dbo].[DimCustomer]UNION ALLSELECT [Type] = 'Address' ,[Value] = [AddressLine1]FROM [AdventureWorksDW2012].[dbo].[DimCustomer]UNION ALLSELECT [Type] = 'Phone Number' ,[Value] = [Phone]FROM [AdventureWorksDW2012].[dbo].[DimCustomer];GO 500

  

 
当然也可以自己写一个循环脚本插入数据。DimCustomer 维度表中有18000行数据,通过不同的结果集能返回110,000行数据 。注意这个语句INSERT …SELECT … ,最后有个GO,这不是官方的,但是也是可以用的,后面紧跟的数字表示批处理执行的次数。本例中就是500次。意味着5,500,000行数据**入,大概有2.3gb。

SSIS技巧

比如我们可查询邮箱地址:

SELECT [Customer Email] = [Value]FROM [dbo].[NameValuePairs]WHERE [Type] = 'Email Address';

  

    查询会返回9,242,000 行数据用33秒左右。这个是我们包的最快运行的时间理论上。那么包能不能运行的更快呢?SSIS中将邮件地址转换成邮箱维度表,该列在新表中只有50个字符的宽度,但是在源表中的该列却是5000个字符。但是我们知道在本例中这个邮箱地址不会超过50个字符。

CREATE TABLE dbo.DimEmail ([SK_Email] INT IDENTITY(1,1) NOT NULL ,[Email Address] VARCHAR(50) NOT NULL ,[InsertDate] DATE NOT NULL);

  

SSIS包

生成包是相对简单的,整个控制流由4分任务组成:

  • 第一个任务是记录包开始的日志。
  • 第二个任务是清空目标表。
  • 第三个任务是数据流任务,下面详细介绍。
  • 最后日志记录任务结束。

SSIS技巧

数据流本身也是很简单:使用前面提到查询读取数据源,然后将加入了审核列和目标表的派生列将结果集写入邮箱维度表。

SSIS技巧

目标数据库展示了一个截断警告,因为我们试图将超过目标表字段长度的数据插入进来。

初始性能

为了限制外部影响,目标数据库的日志和数据文件足够大,不会影响整个事务。在开发环境下,整个包运行了大约40秒。这是要比直接查询慢的!写入操作是可以被优化的。下面看一下如何优化行数据的插入…

优化数据流

    之前提到的最佳实践之一就是扩大缓冲区,具体操作就是修改数据流属性里面的DefaultBufferMaxRows(默认缓存最大行数)DefaultBufferSize(默认缓存大小)。SSIS引擎就是使用这个属性来估计在管道中传送数据的缓存大小。更大的缓存意味着更多行可以被同时处理。

    当设定最大值行数为30000并且默认缓存为20M的时候,执行包花费了30秒,这也仅仅比之前源查询快了一点。所以还应该有空间去优化。

    在源组件端,估计行的大小是取决于查询返回所有列中的最大列。这也是性能问题的所在:我们建立的键值对表,最大列我5000字符,SSIS引擎将会认为这个列一定包含5000个字符,及时实际上小于50个字符。5000个非Unicode字符等于5000个字节或者5kb。默认的缓存大小事10MB,因此意味着一次仅仅能存储2000行数据,15分之一。这也意味着我们我们并没有最优化的使用缓存。

    那么我们只需要调整源数据查询映射的实际数据长度,就能够实现潜在性能的提升。如下:

SELECT [Customer Email] = CONVERT(VARCHAR(50),[Value])FROM [dbo].[NameValuePairs]WHERE [Type] = 'Email Address';

  

既然我们已经知道该列最大的是50个字符,改成这样以后一次性能多放入一百倍的数据。当包运行时数据流执行仅仅用了12秒!

SSIS技巧

    我们可以看一下三次不同的包的执行比较(默认配置--扩大缓存--扩大缓存并减小列宽),分别在SSIS catalog 中运行20次在,曲线图如下:

SSIS技巧

不用多说大家都知道这三种性能如何了。

   

总结

    本篇只是针对数据流进行了优化,并不涉及SQL本身的优化,这里偏重BI一点。通过关注返回源数据的列宽,极大的提高了性能,除此之更小的列性能更好。一次性缓存的行也越多。通过扩大缓存也进一步能提升性能




原标题:SSIS技巧

关键词:

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

注意!亚马逊新UPNEP计划,可以让卖家免费干掉竞争对手!:https://www.ikjzd.com/articles/116710
抢占俄罗斯市场,速卖通AE PLUS项目上线:https://www.ikjzd.com/articles/116711
拔一拔亚马逊A9算法中的核心要点-Product Search(上):https://www.ikjzd.com/articles/116712
声音|疫情之后,有哪些巨大的商业机会?:https://www.ikjzd.com/articles/116713
涨知识!原来YouTube是这样统计数据的:https://www.ikjzd.com/articles/116714
美国婚纱因疫情断货,全球80%礼服是中国制造:https://www.ikjzd.com/articles/116716
探讨内地人开设香港账户的可行性 :https://www.kjdsnews.com/a/1836442.html
在古巴做游轮 古巴旅游项目:https://www.vstour.cn/a/363194.html
相关文章
我的浏览记录
最新相关资讯
海外公司注册 | 跨境电商服务平台 | 深圳旅行社 | 东南亚物流