pymysql批量写入doris

转载

mob64ca13f8eecb 2024-10-11 20:43:46

文章标签 pymysql批量写入doris sql mysql 数据 文章分类 MySQL 数据库

一、环境

Windows 7 x64 python 3.7.1 pymysql 0.9.3 mysql5.6.43

二、pymysql的简单使用

1、准备数据库demo_temp

create database demo_temp;

2、连接数据库

import pymysql.cursors
connect = pymysql.connect(
    host='127.0.0.1',
    user='root',
    password='123',
    db='demo_temp',
    charset='utf8',
    cursorclass=pymysql.cursors.DictCursor
)

3、创建表

import pymysql.cursors
# 连接数据库
connect = pymysql.connect(
    host='127.0.0.1',
    user='root',
    password='123',
    db='demo_temp',
    charset='utf8',
    cursorclass=pymysql.cursors.DictCursor
)
# 创建表users
with connect.cursor() as cursor:
    sql = """
    CREATE TABLE users (
    id INT PRIMARY KEY AUTO_INCREMENT ,
    user CHAR(30),
    passwd CHAR(20))
    """
    cursor.execute(sql)
connect.close()

4、一个简单的增、删、改、查实例

import pymysql.cursors
# 连接数据库
connect = pymysql.connect(
    host='127.0.0.1',
    user='root',
    password='123',
    db='demo_temp',
    charset='utf8',
    cursorclass=pymysql.cursors.DictCursor
)

with connect.cursor() as cursor:   # 创建游标
    # 创建表
    sql = """
    CREATE TABLE users (
    id INT PRIMARY KEY AUTO_INCREMENT ,
    user CHAR(30),
    passwd CHAR(20))
    """
    cursor.execute(sql)
# 向表中插入数据
    sql = """
        INSERT INTO users (user,passwd) VALUES ('小明','123')
        """
    cursor.execute(sql)
    connect.commit()   # 插入数据后必须更新


    # 查询数据
    sql = """
        select * from users
        """
    cursor.execute(sql)
    ret = cursor.fetchone()  # 提取查询数据
    print(ret)
# 修改数据
    sql = """
           update users set user='葫芦娃' where id=1
           """
    cursor.execute(sql)

    # 再次查询数据
    sql = """
           select * from users
           """
    cursor.execute(sql)
    ret = cursor.fetchone()  # 提取查询数据
    print(ret)

connect.close()   # 关闭数据库连接

# 打印内容如下
{'id': 1, 'user': '小明', 'passwd': '123'}
{'id': 1, 'user': '葫芦娃', 'passwd': '123'}

5、简单的事务

import pymysql.cursors

# 连接数据库
connect = pymysql.connect(
    host='127.0.0.1',
    user='root',
    password='123',
    db='demo_temp',
    charset='utf8',
    cursorclass=pymysql.cursors.DictCursor
)

try:
    with connect.cursor() as cursor:  # 创建游标
        # 插入数据
        sql = """
            INSERT INTO users (user,passwd) VALUES ('11111','123')
            """
        cursor.execute(sql)
        # 更新数据
        sql_1 = """
              update users set user='葫芦娃' where id=1
        """
        cursor.execute(sql_1)
        raise NameError   # 更新数据时主动抛出异常

except Exception as e:
    connect.rollback()  # 事务回滚
connect.commit()

connect.close()  # 关闭数据库连接

通过下面的小动画我们可以看出，这里模拟在更新数据时出现问题。而插入数据时没有问题的。然后执行事务回滚，最终数据没有被写入到数据库中。

pymysql批量写入doris_数据

三、Connection中常用API

1、open() ：检测数据库是否连接。
connect.open：如果数据库连接返回Trhe，否则返回False。
2、ping(reconnect=True)
connect.ping(reconnect=True):如果reconnect=True表示连接断开后，重新进行连接。

import pymysql.cursors

# 连接数据库
connect = pymysql.connect(
    host='127.0.0.1',
    user='root',
    password='123',
    db='demo_temp',
    charset='utf8',
    cursorclass=pymysql.cursors.DictCursor
)
print(connect.open)  # 打印数据库连接状态
connect.close()  # 关闭数据库连接
connect.ping(reconnect=True)  # 重新连接数据库
print(connect.open)   # 打印数据库连接状态

下面的小动画向我们展示了当connect断开连接后，使用connect.ping(reconnect=True)又重新连接到了数据库。

pymysql批量写入doris_数据_02

3、rollback()：回滚当前事务，用法在上面，这里就不再演示了。

4、select_db(db)：切换数据库。

# demo_test数据库中users表数据
mysql> select * from users;
+----+-----------+--------+
| id | user      | passwd |
+----+-----------+--------+
|  1 | 小明      | 123    |
|  2 | 小刚      | 123    |
|  3 | 小红      | 123    |
|  4 | 葫芦娃    | 123    |
|  5 | 小明      | 123    |
+----+-----------+--------+

# demo_temp2库中test表中数据
mysql> select * from test;
+------+------+----------+
| id   | user | password |
+------+------+----------+
|    1 | abc  | 123      |
+------+------+----------+

import pymysql.cursors

# 连接数据库
connect = pymysql.connect(
    host='127.0.0.1',
    user='root',
    password='123',
    db='demo_temp',
    charset='utf8',
    cursorclass=pymysql.cursors.DictCursor
)
with connect.cursor() as cursor:   # 创建游标

    # 查询demo_temp中users表的数据
    sql = """
        select * from users
        """
    cursor.execute(sql)
    ret = cursor.fetchall()  # 提取查询数据
    print(ret)
    print('-'*80)
# 切换到demo_temp2数据库，查询test表的数据
    connect.select_db('demo_temp2')
    sql = """
           select * from test
           """
    cursor.execute(sql)
    ret = cursor.fetchall()  # 提取查询数据
    print(ret)

connect.close()   # 关闭数据库连接

# 打印结果
[{'id': 1, 'user': '小明', 'passwd': '123'}, {'id': 2, 'user': '小刚', 'passwd': '123'}, {'id': 3, 'user': '小红', 'passwd': '123'}, 
{'id': 4, 'user': '葫芦娃', 'passwd': '123'}, {'id': 5, 'user': '小明', 'passwd': '123'}]
--------------------------------------------------------------------------------
[{'id': 1, 'user': 'abc', 'password': '123'}]

5、cursor()：创建游标对象，用于操作数据（增、删、改、查）。

6、commit()：提交请求，当向数据库中插入数据时，需要使用commit()进行提交，否则数据将不能写入数据库。

7、close()：关闭数据库连接。

四、Cursor常用API

1、cursor.execute(query, args=None)：执行sql语句。

参数:

query (str)：sql语句.
args (tuple, list or dict)：sql语句中如果有变量，或者格式化输出，会在这里填充数据。

Returns：返回一个int值，表示sql语句影响到的行数。

下面演示插入数据的四种方式：

import pymysql.cursors

# 连接数据库
connect = pymysql.connect(
    host='127.0.0.1',
    user='root',
    password='123',
    db='demo_temp',
    charset='utf8',
    cursorclass=pymysql.cursors.DictCursor
)
with connect.cursor() as cursor:   # 创建游标

    # 第一种方式向表中插入数据
    sql = """
        INSERT INTO users (user,passwd) VALUES ('123','123')
        """
    cursor.execute(sql)

    # 第二种方式向表中插入数据
    sql = """
           INSERT INTO users (user,passwd) VALUES (%s,%s)
           """
    cursor.execute(sql,['456','456'])

    # 第三种方式向表中插入数据
    sql = """
               INSERT INTO users (user,passwd) VALUES (%s,%s)
               """
    cursor.execute(sql, ('789', '789'))

    # 第四种方式向表中插入数据
    sql = """
               INSERT INTO users (user,passwd) VALUES (%(a)s,%(b)s)  
               """
    cursor.execute(sql, {'a':'abc','b':'123'})  # 这里的'a'和'b'要和上面VALUES中对应
    connect.commit()  # 插入数据后必须更新
    # 查询数据
    sql = """
        select * from users
        """
    cursor.execute(sql)
    ret = cursor.fetchall()  # 提取查询数据
    print(ret)


connect.close()   # 关闭数据库连接

2、cursor.executemany(query, args)：可以执行多条sql语句。
参数:
query ：sql语句
args：可迭代对象
Returns：返回sql语句影响到的行数。

下面是方法实例：

import pymysql.cursors

# 连接数据库
connect = pymysql.connect(
    host='127.0.0.1',
    user='root',
    password='123',
    db='demo_temp',
    charset='utf8',
    cursorclass=pymysql.cursors.DictCursor
)
with connect.cursor() as cursor:   # 创建游标

    # 插入多条数据
    sql = """
               INSERT INTO users (user,passwd) VALUES (%s,%s)  
               """
    ret_row = cursor.executemany(sql,[['a','123'],['b','234'],['c','456']])  # 在args中传入一个可迭代对象。
    connect.commit()  # 插入数据后必须更新
    print(f'当前受影响了{ret_row}行')

    # 查询数据
    sql = """
        select * from users
        """
    cursor.execute(sql)
    ret = cursor.fetchall()  # 提取查询数据
    print(ret)

connect.close()   # 关闭数据库连接

3、cursor.fetchone()：从查询语句中获取一条查询结果。

4、cursor.fetchall()：获取所有查询到的结果。

5、cursor.fetchmany(size)：根据size获取相应的行数。

6、cursor.mogrify(query, args=None)：返回执行的sql语句，下面是示例：

import pymysql.cursors

# 连接数据库
connect = pymysql.connect(
    host='127.0.0.1',
    user='root',
    password='123',
    db='demo_temp',
    charset='utf8',
    cursorclass=pymysql.cursors.DictCursor
)
with connect.cursor() as cursor:   # 创建游标
    sql = """
        select * from users
        """
    cursor.execute(sql)
    ret_sql = cursor.mogrify(sql)   # 返回执行的sql语句
    cursor.fetchmany(2)             # 提取查询数据
    print(ret_sql)

connect.close()   # 关闭数据库连接

7、cursor.close()：关闭游标，关闭游标后，游标内所有数据将被清空。

参考文档：https://pymysql.readthedocs.io/en/latest/

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。