如何将sql server中的数据导入mongodb数据库中

精选原创

Pokemonmaster 2024-05-27 11:00:47 ©著作权

文章标签 mongodb sql Server 文章分类 代码人生

©著作权归作者所有：来自51CTO博客作者Pokemonmaster的原创作品，请联系作者获取转载授权，否则将追究法律责任

将 SQL Server 中的数据导入 MongoDB 数据库中，可以通过多种方法实现。本文将介绍使用 Python 脚本来实现这一功能，并做出相应的扩展。

步骤概述

安装所需的库
连接 SQL Server 并读取数据
连接 MongoDB 并写入数据
扩展功能：数据转换、批量导入、数据验证和日志记录

安装所需的库

首先，确保安装了必要的 Python 库：

bash

pip install pymssql pymongo pandas

连接 SQL Server 并读取数据

我们将使用 pymssql 库来连接 SQL Server，并使用 pandas 库来处理数据。以下是连接 SQL Server 并读取数据的代码示例：

python

import pymssql
import pandas as pd

def read_sql_server_data(server, user, password, database, query):
    conn = pymssql.connect(server=server, user=user, password=password, database=database)
    df = pd.read_sql(query, conn)
    conn.close()
    return df

# 示例参数
server = 'your_sql_server'
user = 'your_username'
password = 'your_password'
database = 'your_database'
query = 'SELECT * FROM your_table'

data = read_sql_server_data(server, user, password, database, query)
print(data.head())

连接 MongoDB 并写入数据

接下来，使用 pymongo 库连接到 MongoDB，并将数据写入指定的集合中：

python

from pymongo import MongoClient

def write_to_mongodb(uri, database, collection, data):
    client = MongoClient(uri)
    db = client[database]
    col = db[collection]
    col.insert_many(data.to_dict('records'))
    client.close()

# 示例参数
uri = 'your_mongodb_uri'
database = 'your_mongodb_database'
collection = 'your_mongodb_collection'

write_to_mongodb(uri, database, collection, data)

扩展功能

数据转换

在数据导入 MongoDB 之前，可以对数据进行一些转换。例如，处理日期格式或数据清洗：

python

def transform_data(df):
    df['new_column'] = df['existing_column'].apply(lambda x: x * 2)  # 示例转换
    return df

data = transform_data(data)

批量导入

为了处理大量数据，可以使用批量导入的方法，减少内存占用：

python

def batch_write_to_mongodb(uri, database, collection, data, batch_size=1000):
    client = MongoClient(uri)
    db = client[database]
    col = db[collection]
    for start in range(0, len(data), batch_size):
        end = min(start + batch_size, len(data))
        col.insert_many(data.iloc[start:end].to_dict('records'))
    client.close()

batch_write_to_mongodb(uri, database, collection, data)

数据验证

在导入数据之前，可以进行数据验证，确保数据格式正确：

python

def validate_data(df):
    # 检查是否有空值
    if df.isnull().values.any():
        raise ValueError("Data contains null values")
    # 更多验证逻辑
    return True

validate_data(data)

日志记录

为了更好地跟踪数据导入过程，可以添加日志记录：

python

import logging

logging.basicConfig(level=logging.INFO)

def log_and_write_to_mongodb(uri, database, collection, data):
    client = MongoClient(uri)
    db = client[database]
    col = db[collection]
    for record in data.to_dict('records'):
        try:
            col.insert_one(record)
            logging.info(f"Inserted record: {record}")
        except Exception as e:
            logging.error(f"Failed to insert record: {record}, Error: {e}")
    client.close()

log_and_write_to_mongodb(uri, database, collection, data)