化解字串不能超過8000的方法及交叉表的處理
經常有人提到,用動態生成SQL語句的方法處理資料時,處理語句超長,無法處理的問題
下面就討論這個問題:
/*-- 資料測試環境 --*/
if exists (select * from dbo.sysobjects where id = object_id(N'[tb]') and OBJECTPROPERTY(id, N'IsUserTable') = 1)
drop table [tb]
GO
create table tb(單位名稱 varchar(10),日期 datetime,銷售額 int)
insert into tb
select 'A單位','2001-01-01',100
union all select 'B單位','2001-01-02',101
union all select 'C單位','2001-01-03',102
union all select 'D單位','2001-01-04',103
union all select 'E單位','2001-01-05',104
union all select 'F單位','2001-01-06',105
union all select 'G單位','2001-01-07',106
union all select 'H單位','2001-01-08',107
union all select 'I單位','2001-01-09',108
union all select 'J單位','2001-01-11',109
/*-- 要求結果
日期 A單位 B單位 C單位 D單位 E單位 F單位 G單位 H單位 I單位 J單位
---------- ----- ----- ----- ----- ----- ----- ---- ---- ---- ------
2001-01-01 100 0 0 0 0 0 0 0 0 0
2001-01-02 0 101 0 0 0 0 0 0 0 0
2001-01-03 0 0 102 0 0 0 0 0 0 0
2001-01-04 0 0 0 103 0 0 0 0 0 0
2001-01-05 0 0 0 0 104 0 0 0 0 0
2001-01-06 0 0 0 0 0 105 0 0 0 0
2001-01-07 0 0 0 0 0 0 106 0 0 0
2001-01-08 0 0 0 0 0 0 0 107 0 0
2001-01-09 0 0 0 0 0 0 0 0 108 0
2001-01-11 0 0 0 0 0 0 0 0 0 109
--*/
/*-- 常規處理方法*/
declare @sql varchar(8000)
set @sql='select 日期=convert(varchar(10),日期,120)'
select @sql=@sql+',['+單位名稱
+']=sum(case 單位名稱 when '''+單位名稱+''' then 銷售額 else 0 end)'
from(select distinct 單位名稱 from tb) a
exec(@sql+' from tb group by convert(varchar(10),日期,120)')
/*-- 問題: 如果單位很多,這時,@SQL的值就會被截斷,從而出錯.*/
/*--下面給出三種解決辦法:--*/
--/*-- 方法1. 多個變數處理
--定義變數,估計需要多少個變數才能儲存完所有資料
declare @sql0 varchar(8000),@sql1 varchar(8000)
--,...@sqln varchar(8000)
--生成資料處理臨時表
select id=identity(int,0,1),groupid=0
,值=',['+單位名稱 +']=sum(case 單位名稱 when '''
+單位名稱+''' then 銷售額 else 0 end)'
into #temp from(select distinct 單位名稱 from tb) a
--分組臨時表,判斷慨最多多少個單位可以組合成一個不超過8000的字串,這裡取假設為5個
update #temp set groupid=id/5 --5為每組的單位個數
--生成SQL語句處理字串
--初始化
select @sql0=''
,@sql1=''
-- ...
-- ,@sqln
--得到處理字串
select @sql0=@sql0+值 from #temp where groupid=0 --第一個變數
select @sql1=@sql1+值 from #temp where groupid=1 --第二個變數
--select @sqln=@sqln+值 from #temp where groupid=n --第n個變數
--查詢
exec('select 日期=convert(varchar(10),日期,120)'
+@sql0+@sql1
-- ...+@sqln
+' from tb group by convert(varchar(10),日期,120)
')
--刪除臨時表
drop table #temp
/*
優點:比較靈活,資料量大時只需要增加變數就行了.不用改動其他部分
缺點:要自行估計處理的資料,估計不足就會出錯
*/
--*/
--/*--方法2. bcp+isql
--因為要用到bcp+isql,所以需要這些資訊
declare @servername varchar(250),@username varchar(250),@pwd varchar(250)
select @servername='zj' --伺服器名
,@username='' --使用者名稱
,@pwd='' --密碼
declare @tbname varchar(50),@sql varchar(8000)
--建立資料處理臨時表
set @tbname='[##temp_'+convert(varchar(40),newid())+']'
set @sql='create table '+@tbname+'(值 varchar(8000))
insert into '+@tbname+' values(''create view '
+stuff(@tbname,2,2,'')+' as
select 日期=convert(varchar(10),日期,120)'')'
exec(@sql)
set @sql='insert into '+@tbname+'
select '',[''+單位名稱+'']=sum(case 單位名稱 when ''''''
+單位名稱+'''''' then 銷售額 else 0 end)''
from(select distinct 單位名稱 from tb) a'
exec(@sql)
set @sql='insert into '+@tbname+'
values(''from tb group by convert(varchar(10),日期,120)'')'
exec(@sql)
--生成建立檢視的檔案,注意使用了檔案:c:\temp.txt
set @sql='bcp "'+@tbname+'" out "c:\temp.txt" /S"'
+@servername+'" /U"'+@username+'" /P"'+@pwd+'" /c'
exec master..xp_cmdshell @sql
--刪除臨時表
set @sql='drop table '+@tbname
exec(@sql)
--呼叫isql生成資料處理檢視
set @tbname=stuff(@tbname,2,2,'')
set @sql='isql /S"'+@servername
+case @username when '' then '" /E' else '" /U"'+@username+'" /P"'+@pwd+'"' end
+' /d"'+db_name()+'" /i"c:\temp.txt"'
exec master..xp_cmdshell @sql
--呼叫檢視,顯示處理結果
set @sql='select * from '+@tbname+'
drop view '+@tbname
exec(@sql)
/*
優點:程式自動處理,不存在判斷錯誤的問題
缺點:複雜,經過的步驟多,容易出錯,而且需要一定的操作員許可權
*/
--*/
--/*-- 方法3. 多個變數處理,綜合了方法1及方法2的優點, 解決了方法1中需要人為判斷的問題,自動根據要處理的資料量進行變數定義,同時又避免了方法2的繁瑣
declare @sqlhead varchar(8000),@sqlend varchar(8000)
,@sql1 varchar(8000),@sql2 varchar(8000),@sql3 varchar(8000),@sql4 varchar(8000)
,@i int,@ic varchar(20)
--生成資料處理臨時表
select id=identity(int,0,1),gid=0
,a=',['+單位名稱 +']=sum(case 單位名稱 when '''
+單位名稱+''' then 銷售額 else 0 end)'
into # from(select distinct 單位名稱 from tb) a
--判斷需要多少個變數來處理
select @i=max(len(a)) from #
print @i
set @i=7800/@i
--分組臨時表
update # set gid=id/@i
select @i=max(gid) from #
--生成資料處理語句
select @sqlhead='''select 日期=convert(varchar(10),日期,120)'''
,@sqlend=''' from tb group by convert(varchar(10),日期,120)'''
,@sql1='',@sql2='select ',@sql3='',@sql4=''
while @i>=0
select @ic=cast(@i as varchar),@i=@i-1
,@sql1='@'+@ic+' varchar(8000),'+@sql1
,@sql2=@sql2+'@'+@ic+'='''','
,@sql3='select @'+@ic+'=@'+@ic+'+a from # where gid='+@ic
+char(13)+@sql3
,@sql4=@sql4+',@'+@ic
select @sql1='declare '+left(@sql1,len(@sql1)-1)+char(13)
,@sql2=left(@sql2,len(@sql2)-1)+char(13)
,@sql3=left(@sql3,len(@sql3)-1)
,@sql4=substring(@sql4,2,8000)
--執行
exec( @sql1+@sql2+@sql3+'
exec('+@sqlhead+'+'+@sql4+'+'+@sqlend+')'
)
--刪除臨時表
drop table #
--*/
方法3中,關鍵要做修改的是下面兩句,其他基本上不用做改變:
--生成資料處理臨時表,修改a=後面的內容為相應的處理語句
select id=identity(int,0,1),gid=0
,a=',['+code+']=sum(case b.c_code when '''
+code+''' then b.value else 0 end)'
into # from #Class
--生成資料處理語句,將@sqlhead,@sqlend賦值為相應的處理語句頭和尾
select @sqlhead='''select a.id,a.name,a.code'''
,@sqlend=''' from #Depart a,#Value b where a.Code=b.d_Code group by a.id,a.code,a.name'''
,@sql1='',@sql2='select ',@sql3='',@sql4=''
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/16436858/viewspace-609091/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- JavaScript常用的字串處理方法JavaScript字串
- 處理字串的方法都在這裡字串
- 【轉】shell指令碼處理字串的常用方法指令碼字串
- 處理PHP中字串的常用操作及函式PHP字串函式
- TSM不能執行排程的原因分析及處理
- oracle儲存過程中單引號及字串拼接處理Oracle儲存過程字串
- 簡單的字串處理字串
- 字串的封送處理字串
- shell中字串的處理字串
- 處理字串的小程式字串
- undo 表空間滿了的處理方法
- 機器學習中資料缺失的處理及建模方法機器學習
- 處理資料缺失的結構化解決辦法
- sql對於字串的處理SQL字串
- undo表空間損壞的處理過程
- 字串處理字串
- MySQL單表最大記錄數不能超過多少?MySql
- (轉)Shell常用處理字串方法(備查)字串
- Mysql安裝過程問題總結及處理方法MySql
- Oracle undo表空間爆滿的處理方法Oracle
- MVC字串處理及MVC@RenderSection小計MVC字串
- MySQL儲存過程的異常處理方法MySql儲存過程
- JavaScript 處理WebSocket的超時JavaScriptWeb
- oracle臨時表空間過大的原因&&處理Oracle
- 字串和日期時間的處理字串
- iOS NSString 字串的特殊處理iOS字串
- 處理stdin輸入的字串指令字串
- JavaScript類似c#字串處理方法format()JavaScriptC#字串ORM
- awk 字串處理字串
- abap 字串處理字串
- MySQL的表碎片處理MySql
- React TSLint中常見的問題及處理方法React
- Redo丟失的4種情況及處理方法
- windows批處理之四:特殊的字串擷取及結合perl的操作Windows字串
- windows批處理之一:字串處理Windows字串
- RSA 非對稱加密&解密,超長字串分塊處理加密解密字串
- 搬運工:temp表空間被過多佔用處理方法
- 分割槽表split操作及maxvalue處理