前几天遇到了一个问题,利用opencv程序调取rtsp视频流,因为处理程序要消耗的CPU时间过于长,VideoCapture的read是按帧读取,所以经常导致内存溢出,延时还高得出奇。

所以想到是不是可以利用多进程把读取视频和处理视频分开,这样就可以消除因处理图片所导致的延迟。

逻辑论证在上一篇中有讲解,但是会有程序不好读、不好移植、不好维护的缺点,而且图片的处理算法放到进程内也不好调试。

经过一年多的学习又加上最近看完了《流畅的python》就正好改进一下直接重新包装实现VideoCapture。同时也感谢@qq_39658909的提问

所用库

multiprocessing

gc

opencv-python

abc

实现方法不熟悉抽象基类的话可以直接看总结

将主要的实现逻辑写成一个抽象基类ABVideoCapture,其子类只用关心要做的图像算法,并实现到.process_image(image)这一方法中,就可以定制一个自带算法处理的实时VideoCapture类

ABVideoCapture也可以选择重构.write静态方法以支持从其他的数据源中读取图片。这里边有鸭子类型带来的好处

ABVideoCapture.read_gen()是一个生成器函数,也是整个实例可以快速运行的核心,ABVideoCapture.read()和ABVideoCapture.__iter__()都依赖于它。实例会维护一个由它返回的生成器ABVideoCapture.__read_gen。它可以一个一个的生成经过自定义算法处理过后的缓存栈顶的图片。

抽象基类实现了迭代器协议__iter__和上下文管理器协议__enter__、__exit__。

实现代码import gc

import abc
from multiprocessing import Process, Manager
import cv2
# 定义抽象基类,此类不能直接实例化
# 做好框架
# 其子类只用实现.process_image方法,返回任意图像算法处理后的从缓存栈中读取的图片
class ABVideoCapture(abc.ABC):
def __init__(self, cam, top=100):
self.stack = Manager().list()
self.max_cache = top
self.write_process = Process(target=self.__class__.write, args=(self.stack, cam, top))
self.write_process.start()
self.__read_gen = self.read_gen()
@abc.abstractmethod
def process_image(self, image):
"""

对输入的图片进行处理并返回处理后的图片

"""
def read_gen(self):
while True:
if len(self.stack) != 0:
                img = self.process_image(self.stack.pop())
                yield img
def read(self):
try:
return True, next(self.__read_gen)
except StopIteration:
return False, None
except TypeError:
raise TypeError('{}.read_gen必须为生成器函数'.format(self.__class__.__name__))
def __iter__(self):
yield from self.__read_gen
def release(self):
self.write_process.terminate()
def __del__(self):
self.release()
@staticmethod
def write(stack, cam, top):
"""向共享缓冲栈中写入数据"""
cap = cv2.VideoCapture(cam)
while True:
            _, img = cap.read()
if _:
                stack.append(img)
# 每到一定容量清空一次缓冲栈
# 利用gc库,手动清理内存垃圾,防止内存溢出
if len(stack) >= top:
del stack[:]
gc.collect()
def __enter__(self):
return self
def __exit__(self, exc_type, exc_val, exc_tb):
self.release()
# 继承ABVideoCapture,对缓存栈中的图片不做处理直接返回
class VideoCapture(ABVideoCapture):
def process_image(self, image):
# 这里对图像的处理算法可以随意制定
        return image

opencv处理rtsp流 opencv rtsp cap.read缓存_抽象基类

示例一(经典用法)camera_addr = 0

cap = VideoCapture(camera_addr)
while True:
    _, img = cap.read()
if _:
        cv2.imshow('img', img)
key = cv2.waitKey(1) & 0xFF
if key == ord('q'):
break
cap.release()
cv2.destroyAllWindows()

示例二(上下文+迭代器)camera_addr = 0

with VideoCapture(camera_addr) as cap:
    for img in cap:
        cv2.imshow('img', img)
key = cv2.waitKey(1) & 0xFF
if key == ord('q'):
break
cv2.destroyAllWindows()

opencv处理rtsp流 opencv rtsp cap.read缓存_抽象基类

总结当然,对于用户,只用继承ABVideoCapture然后像代码中那样重写process_image就可以

甚至直接像实例中那样用VideoCapture得到图像再去处理也是可以的

其它抽象基类的实现细节可以完全不用管