SQL 2005 CLR関数拡張-データ導出の実現の詳細
SQLServerデータをexcelにエクスポートするには、dts、ssisなどの多くの方法があります。また、sql文でopenrowsetを呼び出すこともできます。私達はここでアイデアを開拓して、CLRでExcelファイルを生成して、しかもいくつかの便利な操作の細い点を考慮します。まず、私が実現した効果を示します。まずテスト文を見ます。----------------------------------------------exec BulkCopyToXls'select*from testTable'、'd:/test Table'、-1/*データファイルをエクスポートします。d/test/testTastble.1.0.xlss，655354。全部で65534本で、サイズは20、101、773バイトのファイルd:/test/testTable.2.xls、全部で65534本で、サイズは20、040、589バイトのファイルd:/test/testTable.3.1.xls、全部で65534本で、サイズは19、948、925バイトのファイルd/test/testTable.4.xls、サイズは65530、全部で、サイズは65530、test/test/test/test/testble.x737バイトファイルd:/test/testTable.0.6.xls、合計65534本、サイズ20、590、933バイトファイルd:/test/testTable.xls、合計26002本、サイズ8,419,533バイトの導出データが完成しました。消費時間は23812 ms*/----------------------------------------上のBulkCopyToXls格納プロセスは、所定のCLR記憶プロセスである。彼は四つのパラメータを持っています。一つ目はsql文でデータセットを取得します。二つ目はファイル保存のパスです。三つ目は結果集の名前です。私たちはそれを使ってファイルに名前を付けます。四つ目は単一のファイルにどれぐらいの記録を保存できるかを制限します。0以下は最大65534条を表します。前の三つのパラメータは特にありません。最後のパラメータの設定は一つのデータセットを複数のエクセルファイルに分けて保存できます。例えば、従来のエクセルの最大容量は65535本のデータです。ここでパラメータを設定します。-1はこの数字に達したら自動的に次のファイルを書きます。例えば100を設定すると、100本をエクスポートするごとに自動的に次のファイルが作成されます。また、各ファイルはヘッダとしてフィールド名を出力することができますので、単一ファイルは最大65534本のデータを収容できます。マイクロソフトで公開されたビッチ8形式で、バイナリフローでエクセルを生成し、サーバーはエクセルのコンポーネントをインストールする必要がなく、かつ、パフォーマンスはsqlの持っている機能に比べて悪くない。48万本以上のデータ、150 Mで、24秒で完成する。----------------------------------------------------------------------------------------------次にCLRコードを見てみます。sql文でData Readerを取得し、一括してbiff形式でxlsファイルを書く。----------------------------------------------------------------------------------------------------------------------------
using System;
using System.Data;
using System.Data.SqlClient;
using System.Data.SqlTypes;
using Microsoft.SqlServer.Server;
public partial class StoredProcedures
{
/// <summary>
///
/// </summary>
/// <param name="sql"></param>
/// <param name="savePath"></param>
/// <param name="tableName"></param>
/// <param name="maxRecordCount"></param>
[Microsoft.SqlServer.Server.SqlProcedure ]
public static void BulkCopyToXls(SqlString sql, SqlString savePath, SqlString tableName, SqlInt32 maxRecordCount)
{
if (sql.IsNull || savePath.IsNull || tableName.IsNull)
{
SqlContext .Pipe.Send(" ！" );
}
ushort _maxRecordCount = ushort .MaxValue-1;
if (maxRecordCount.IsNull == false && maxRecordCount.Value < ushort .MaxValue&&maxRecordCount.Value>0)
_maxRecordCount = (ushort )maxRecordCount.Value;
ExportXls(sql.Value, savePath.Value, tableName.Value, _maxRecordCount);
}
/// <summary>
/// ，
/// </summary>
/// <param name="sql"></param>
/// <param name="savePath"></param>
/// <param name="tableName"></param>
/// <param name="maxRecordCount"></param>
private static void ExportXls(string sql, string savePath, string tableName, System.UInt16 maxRecordCount)
{
if (System.IO.Directory .Exists(savePath) == false )
{
System.IO.Directory .CreateDirectory(savePath);
}
using (SqlConnection conn = new SqlConnection ("context connection=true" ))
{
conn.Open();
using (SqlCommand command = conn.CreateCommand())
{
command.CommandText = sql;
using (SqlDataReader reader = command.ExecuteReader())
{
int i = 0;
int totalCount = 0;
int tick = System.Environment .TickCount;
SqlContext .Pipe.Send(" " );
while (true )
{
string fileName = string .Format(@"{0}/{1}.{2}.xls" , savePath, tableName, i++);
int iExp = Write(reader, maxRecordCount, fileName);
long size = new System.IO.FileInfo (fileName).Length;
totalCount += iExp;
SqlContext .Pipe.Send(string .Format(" {0}, {1} , {2} " , fileName, iExp, size.ToString("###,###" )));
if (iExp < maxRecordCount) break ;
}
tick = System.Environment .TickCount - tick;
SqlContext .Pipe.Send(" " );
SqlContext .Pipe.Send("-------" );
SqlContext .Pipe.Send(string .Format(" {0} ， {1}ms" ,totalCount,tick));
}
}
}
}
/// <summary>
///
/// </summary>
/// <param name="writer"></param>
/// <param name="obj"></param>
/// <param name="x"></param>
/// <param name="y"></param>
private static void WriteObject(ExcelWriter writer, object obj, System.UInt16 x, System.UInt16 y)
{
string type = obj.GetType().Name.ToString();
switch (type)
{
case "SqlBoolean" :
case "SqlByte" :
case "SqlDecimal" :
case "SqlDouble" :
case "SqlInt16" :
case "SqlInt32" :
case "SqlInt64" :
case "SqlMoney" :
case "SqlSingle" :
if (obj.ToString().ToLower() == "null" )
writer.WriteString(x, y, obj.ToString());
else
writer.WriteNumber(x, y, Convert .ToDouble(obj.ToString()));
break ;
default :
writer.WriteString(x, y, obj.ToString());
break ;
}
}
/// <summary>
/// excel
/// </summary>
/// <param name="reader"></param>
/// <param name="count"></param>
/// <param name="fileName"></param>
/// <returns></returns>
private static int Write(SqlDataReader reader, System.UInt16 count, string fileName)
{
int iExp = count;
ExcelWriter writer = new ExcelWriter (fileName);
writer.BeginWrite();
for (System.UInt16 j = 0; j < reader.FieldCount; j++)
{
writer.WriteString(0, j, reader.GetName(j));
}
for (System.UInt16 i = 1; i <= count; i++)
{
if (reader.Read() == false )
{
iExp = i-1;
break ;
}
for (System.UInt16 j = 0; j < reader.FieldCount; j++)
{
WriteObject(writer, reader.GetSqlValue(j), i, j);
}
}
writer.EndWrite();
return iExp;
}
/// <summary>
/// excel
/// </summary>
public class ExcelWriter
{
System.IO.FileStream _wirter;
public ExcelWriter(string strPath)
{
_wirter = new System.IO.FileStream (strPath, System.IO.FileMode .OpenOrCreate);
}
/// <summary>
/// short
/// </summary>
/// <param name="values"></param>
private void _writeFile(System.UInt16 [] values)
{
foreach (System.UInt16 v in values)
{
byte [] b = System.BitConverter .GetBytes(v);
_wirter.Write(b, 0, b.Length);
}
}
/// <summary>
///
/// </summary>
public void BeginWrite()
{
_writeFile(new System.UInt16 [] { 0x809, 8, 0, 0x10, 0, 0 });
}
/// <summary>
///
/// </summary>
public void EndWrite()
{
_writeFile(new System.UInt16 [] { 0xa, 0 });
_wirter.Close();
}
/// <summary>
/// x,y
/// </summary>
/// <param name="x"></param>
/// <param name="y"></param>
/// <param name="value"></param>
public void WriteNumber(System.UInt16 x, System.UInt16 y, double value)
{
_writeFile(new System.UInt16 [] { 0x203, 14, x, y, 0 });
byte [] b = System.BitConverter .GetBytes(value);
_wirter.Write(b, 0, b.Length);
}
/// <summary>
/// x,y
/// </summary>
/// <param name="x"></param>
/// <param name="y"></param>
/// <param name="value"></param>
public void WriteString(System.UInt16 x, System.UInt16 y, string value)
{
byte [] b = System.Text.Encoding .Default.GetBytes(value);
_writeFile(new System.UInt16 [] { 0x204, (System.UInt16 )(b.Length + 8), x, y, 0, (System.UInt16 )b.Length });
_wirter.Write(b, 0, b.Length);
}
}
};
CREATE ASSEMBLY TestExcelForSQLCLR FROM 'd:/sqlclr/TestExcel.dll' WITH PERMISSION_SET = UnSAFE;
--
go
CREATE proc dbo. BulkCopyToXls
(
@sql nvarchar ( max ),
@savePath nvarchar ( 1000),
@tableName nvarchar ( 1000),
@bathCount int
)
AS EXTERNAL NAME TestExcelForSQLCLR. StoredProcedures. BulkCopyToXls
go