高并发场景下数据重复插入的问题

高并发场景下，数据库经常会发生数据重复插入的问题，这时候单单在插入前，查询数据库，判断是否存在，再进行插入，往往不能保证数据唯一性。

查询数据库判断是否存在
测试代码： th_insert_test.py 每次插入前，去数据库查询，要插入的 User0-9 是否存在，若不存在则插入，若存在，则返回已经有。

#-*- coding:utf8 -*-

def db_op_thread_func(i, num_of_op):
    r = redis.Redis(host='127.0.0.1', port=6379, db=0)
    # r = redis.Redis(connection_pool=pool)

    conn = MySQLdb.connect(host="redisHost", port=3306, user="root", passwd="pass", db="blog")
    cursor = conn.cursor()

    for j in range(0, int(num_of_op)):
        nickname = 'User' + str(int(i % 10))
        lockkey = "lock"+nickname

        getsql = ("select ID from User  where Username = '%s'") % (nickname)
        cursor.execute(getsql)
        fetchData = cursor.fetchall()
        if not fetchData  : 
            sql = ("insert into User (Username)  values('%s')   ")%(nickname)
            cursor.execute(sql)
            id = int(conn.insert_id())
            print int(id)
            print "thread", i, ":", " num:", j
            conn.commit()
        else:
            print '已经有'

    conn.close()

if __name__ == "__main__":
        args = sys.argv
        num_of_thd = args[1]   ## 线程数
        num_of_op = args[2]    ## 每个线程的op数
        threads = []

        for i in range(0, int(num_of_thd)):
            threads.append(threading.Thread(target=db_op_thread_func, args=(i, num_of_op)))

        for t in threads:
            t.start()

        for t in threads:
            t.join()
、

　　

测试一下，运行 python th_insert_test.py 50 5 
50个线程，每个线程op数为5 

理想的运行结果： User0-9 ，10条数据。 
实际数据库插入运行结果： 
结果1： 
 
结果2： 

可以看到 两次分别产生56 和46 行，这样在并发下是不可行的。

分布式锁方案

基于 redis 的 setnx 来解决这一问题。

 

def db_op_thread_func(i, num_of_op):
    r = redis.Redis(host='redisHost', port=6379, db=0)
    conn = MySQLdb.connect(host="dbHost", port=3306, user="root", passwd="pass", db="blog")
    cursor = conn.cursor()

    for j in range(0, int(num_of_op)):
        nickname = 'User' + str(int(i % 10))
        lockkey = "lock"+nickname

        getsql = ("select ID from User  where Username = '%s'") % (nickname)
        cursor.execute(getsql)
        fetchData = cursor.fetchall()

        reply = r.setnx(lockkey, 1)
        if (reply == True):
            r.expire(lockkey, 30)
            RedisLock =  False
        else:
            RedisLock =  True

        if not fetchData  and RedisLock == False:
            sql = ("insert into User (Username)  values('%s')   ")%(nickname)
            cursor.execute(sql)
            id = int(conn.insert_id())
            print int(id)
            print "thread", i, ":", " num:", j
            conn.commit()
        else:
            print '已经有'
    conn.close()

　　

setnx key value 若 value 存在 则返回 False. 

运行测试： 
两次插入，第一次插入10条，第二次插入0条。 

 

每当插入前设置 UserName 的一个 redis Lock ，expire 设置为30s ，这样就可以利用 setnx 的原子性 来实现分布式锁来保证数据唯一性。

点赞 1