sqlite批量写入 sql 批量写入

转载

技术领航探索者 2024-05-19 12:02:15

文章标签 sqlite批量写入 sql 数据服务器 文章分类 计算机视觉人工智能

近来有一个项目Feature需要有批量写入数据的场景，正巧整理资料发现自己以前也类似实现的项目，在重构的同时把相关资料做了一个简单的梳理，方便大家参考。

循环写入（简单粗暴，毕业设计就这样干的）（不推荐）
Bulk Copy写入（>1000K 记录一次性写入推荐）
表值参数方式写入（mssql 2008新特性）（强烈推荐）

在SQL Server 2008未提供表值参数之前，需要将多行数据传递到存储过程或参数化sql命令我们一般会采用以下几个方法：

使用一系列单参数来表示多个数据列和行中的值。但使用这个方法会受所允许参数数量限制。Sql server 程序最多可以有2100个参数。服务器必须将这些参数进行再组织成临时表或表变量再进行后续处理。
将多个数据增加分隔字符串或序列化为xml字符串，然后将这些字符回传服务器。服务器根据解析字符串与xml进行处理。
将多条写入语句包装在一个单条语句当中。这种方式同sqldataadapter当中的update方法的实现逻辑，可以标识批次处理的个数。不过就算按照包装多个语句进行批次提交，每个语句仍然会分别在服务器上执行。（只是节约了请求的次数而已）
使用BCP实用工具或SqlBulkCopy对象将很多行数据加载到表中。尽管这荐技术非常有效，但不支持服务器处理，除非将数据加载到临时表或表变量中。

方案一

作为早期学习时出镜率最高的的实现方法我在这里就不特别说明了，在这里直接上码及测试数据：

sqlite批量写入 sql 批量写入_sqlite批量写入

sqlite批量写入 sql 批量写入_数据_02

public static void NormalInsertDate(DataTable dt)
        {
            using (var sqlConn = new SqlConnection(_testDataConnectionString))
            {
                var sql = "INSERT INTO Student(Name,Age) VALUES(@Name,@Age)";
                using (var cmd = new SqlCommand(sql, sqlConn))
                {
                    sqlConn.Open();
                    cmd.Parameters.Add("@Name", SqlDbType.NVarChar, 50);
                    cmd.Parameters.Add("@Age", SqlDbType.Int);
                    for (int i = 0; i < dt.Rows.Count; i++)
                    {
                        cmd.Parameters["@Name"].Value = dt.Rows[i]["Name"];
                        cmd.Parameters["@Age"].Value = dt.Rows[i]["Age"];
                        cmd.ExecuteNonQuery();
                    }

                }
            }
        }

View Code

sqlite批量写入 sql 批量写入_sql_03

sqlite批量写入 sql 批量写入_服务器_04

图一为每次10k条，写10次共计100k条数据总计15329ms

图二为每次100k条，写10次共计1000k条数据总计184395ms

方案二

作为早期批量写入的救星，批量写入的出镜指数4颗星。以下为测试数据：

sqlite批量写入 sql 批量写入_sqlite批量写入

sqlite批量写入 sql 批量写入_数据_02

public static void BulkInsertData(DataTable dt)
        {
            using (var sqlConn = new SqlConnection(_testDataConnectionString))
            {
                using (var bulkCopy = new SqlBulkCopy(sqlConn)
                {
                    DestinationTableName = "Student",
                    BatchSize = dt.Rows.Count
                })
                {
                    sqlConn.Open();
                    bulkCopy.WriteToServer(dt);
                }
            }
        }

View Code

sqlite批量写入 sql 批量写入_sql_07

sqlite批量写入 sql 批量写入_服务器_08

图一为每次10k条，写10次共计100k条数据总计1848ms

图二为每次100k条，写10次共计1000k条数据总计21584ms

方案三表值参数方式写入

表值参数提供一种将客户端应用程序中的多行数据封送到 SQL Server 的简单方式，而不需要多次往返或特殊服务器端逻辑来处理数据。您可以使用表值参数来包装客户端应用程序中的数据行，并使用单个参数化命令将数据发送到服务器。传入的数据行存储在一个表变量中，然后您可以通过使用 Transact-SQL 对该表变量进行操作。

可以使用标准的 Transact-SQL SELECT 语句来访问表值参数中的列值。表值参数为强类型，其结构会自动进行验证。表值参数的大小仅受服务器内存的限制。

注意：表值参数只能是输入参数，不能作为输出参数。

以下为相关实现：

1.创建表值参数类型(UDT)

sqlite批量写入 sql 批量写入_sqlite批量写入

sqlite批量写入 sql 批量写入_数据_02

USE Test
--CREATE TABLE 
CREATE TABLE Student
(
Id INT IDENTITY(1,1) PRIMARY KEY,
Name NVARCHAR(50),
Age INT
)
--create table parameter type
CREATE TYPE StudentUDT AS TABLE
(
Name NVARCHAR(50),
Age INT
)

View Code

sqlite批量写入 sql 批量写入_sqlite批量写入

sqlite批量写入 sql 批量写入_数据_02

public static void TableParameterInsertData(DataTable dt)
{
    using (var sqlConn = new SqlConnection(_testDataConnectionString))
    {
        var sql = "INSERT INTO Student(Name,Age) SELECT Name, Age FROM @StudentTVPS";//在这里直接访问表值参数
        using (var cmd = new SqlCommand(sql, sqlConn))
        {
            var catParam = cmd.Parameters.AddWithValue("@StudentTVPS", dt);
            catParam.SqlDbType = SqlDbType.Structured;
            catParam.TypeName = "StudentUDT";//我们自定义的表值参数类型名称
            sqlConn.Open();
            cmd.ExecuteNonQuery();
        }
    }
}

View Code

sqlite批量写入 sql 批量写入_服务器_13