目录
业务场景
解决方案一：使用opencv+Gstreamer-rtsp-server完成（推荐）
环境配置
代码
解决方案二：使用ffmpeg+rtsp服务器完成
参考链接如下：
业务场景
使用opencv读取rtsp流的图片帧进行目标检测（画框），并将处理好的图像推到rtsp服务器上。东拼西凑，再加上一点点的学习，终于是能基本完成目标了，泪目！！
解决方案一：使用opencv+Gstreamer-rtsp-server完成（推荐）
环境配置
使用的是Ubuntu18.04+Python3.6+Gstreamer1.0+opencv4.5，具体安装网上全都是，不多说，直接上代码。
代码
代码是直接借鉴的，原网址是https://stackoverflow.com/questions/47396372/write-opencv-frames-into-gstreamer-rtsp-server-pipeline/60580247#60580247%3E（世上还是好人多，拜谢），只是通过自己浅薄的Gstreamer知识加了一点点注释，这段代码给了我很大帮助，最后输出的rtsp地址是rtsp://localhost:8555/test，端口可以自己设置。
我图像处理任务是对rtsp流视频进行目标检测，代码是在RTX2080super跑的，画完框推上来的视频延迟达到了8秒，还是很离谱的，不知道那部分出了问题，未解决。
import cv2
import gi
gi.require_version('Gst', '1.0')
gi.require_version('GstRtspServer', '1.0')
from gi.repository import Gst, GstRtspServer, GObject, GLib
class SensorFactory(GstRtspServer.RTSPMediaFactory):
def __init__(self, **properties):
super(SensorFactory, self).__init__(**properties)
self.cap = cv2.VideoCapture("rtsp://...")
# self.cap = cv2.VideoCapture(0)
self.width = int(self.cap.get(cv2.CAP_PROP_FRAME_WIDTH))
self.height = int(self.cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
self.number_frames = 0
self.fps = int(self.cap.get(cv2.CAP_PROP_FPS)) % 100
self.duration = 1 / self.fps * Gst.SECOND # duration of a frame in nanoseconds
"""
appsrc:使应用程序能够提供缓冲区写入管道;
block: 每块推送buffer块的最大字节;
is-live：当前推送的是否直播数据；
caps：过滤器
rtph264pay:把H264 视频数据编码进RTP包
"""
self.launch_string = 'appsrc name=source is-live=true block=true format=GST_FORMAT_TIME ' \
'caps=video/x-raw,format=BGR,width={},height={},framerate={}/1 ' \
'! videoconvert ! video/x-raw,format=I420 ' \
'! x264enc speed-preset=fast tune=zerolatency threads=4 ' \
'! rtph264pay config-interval=1 name=pay0 pt=96'.format(self.width,
self.height,
self.fps)
def on_need_data(self, src, lenght):
if self.cap.isOpened():
ret, frame = self.cap.read()
if ret:
#TODO 自己发挥,做一些图像识别,画框等任务,
data = frame.tostring()
buf = Gst.Buffer.new_allocate(None, len(data), None)
buf.fill(0, data)
buf.duration = self.duration
timestamp = self.number_frames * self.duration
buf.pts = buf.dts = int(timestamp)
buf.offset = timestamp
self.number_frames += 1
retval = src.emit('push-buffer', buf)
print('pushed buffer, frame {}, duration {} ns, durations {} s'.format(self.number_frames,
self.duration,
self.duration / Gst.SECOND))
if retval != Gst.FlowReturn.OK:
print(retval)
def do_create_element(self, url):
return Gst.parse_launch(self.launch_string)
def do_configure(self, rtsp_media):
self.number_frames = 0
appsrc = rtsp_media.get_element().get_child_by_name('source')
appsrc.connect('need-data', self.on_need_data)
class GstServer(GstRtspServer.RTSPServer):
def __init__(self, **properties):
super(GstServer, self).__init__(**properties)
self.set_service("8555")
self.factory = SensorFactory()
self.factory.set_shared(True)
self.get_mount_points().add_factory("/test", self.factory)
self.attach(None)
if __name__ == "__main__":
GObject.threads_init()
Gst.init(None)
server = GstServer()
loop = GObject.MainLoop()
loop.run()在代码跑通后，通过VLC进行验证，一阵狂喜，但是又出现了新的问题，我想让让多个客户端访问生成的rtsp流，但当我使用多个VLC访问rtsp地址时，出现了错误，这和预想的实现效果不一样，于是又是一通百度，解决方案有，还有github上的大佬给指点的路https://github.com/mad4ms/python-opencv-gstreamer-examples/issues/2，代码基本上都是C/C++完成的，对于我这种只会一丢丢C的战五渣，直接选择放弃 。（希望哪位大佬有空的时候把上面链接的代码改成python，给渣渣们指条道） 。
但是事情还得做，搜索无果后， 只能选择最笨的方式，几路访问就写死几路，把上面的Gstserver类修改一下，以两路为例，生成两个rtsp流地址，使用两个VLC分别访问，代码
class GstServer(GstRtspServer.RTSPServer):
def __init__(self, **properties):
super(GstServer, self).__init__(**properties)
self.set_service("8555")
self.factory = SensorFactory()
self.factory.set_shared(True)
self.get_mount_points().add_factory("/test", self.factory)
###修改
self.factory1 = SensorFactory()
self.factory1.set_shared(True)
self.get_mount_points().add_factory("/test1", self.factory1)
###
self.attach(None)如果读者还有更好的实现方法，请务必在下面评论或者私信我，感激不尽！！！
解决方案二：使用ffmpeg+rtsp服务器完成
环境配置
上面的项目虽然实现了基本功能，但是不完美，于是寻求别的解决方案，偶然间看到一篇博客，地址为，觉得非常有搞头，直接根据上面的链接配置即可，不过在安装ffmpeg时，我没有使用博客的方法，而是直接使用了sudo install ffmpeg命令，实测好使。在安装好x264、ffmpeg、node-rtsp-server环境之后，打开rtsp服务器。
cd node-rtsp-rtmp-server
sudo coffee server.coffee代码实现
运行推流代码，访问rtsp://localhost:80/live/STREAMNAME即可。
import cv2
import gi
import subprocess
class Put_rtsp():
def __init__(self,cap):
self.cap = cv2.VideoCapture(cap)
# self.cap = cv2.VideoCapture("rtsp://192.168.111.131:6666/live")
# self.cap = cv2.VideoCapture(0)
self.width = int(self.cap.get(cv2.CAP_PROP_FRAME_WIDTH))
self.height = int(self.cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
self.number_frames = 0
self.fps = int(self.cap.get(cv2.CAP_PROP_FPS)) % 100
def on_need_data(self):
if self.cap.isOpened():
ret, frame = self.cap.read()
#TODO 图像处理任务
return frame
rtsp_o = "rtsp://...."
rtsp_p = 'rtsp://localhost:80/live/STREAMNAME'
# 读取视频并获取属性
cap = cv2.VideoCapture(rtsp_o)
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
# print(width,height)
fps = int(cap.get(cv2.CAP_PROP_FPS)) % 100
size = (width,height)
sizeStr = str(size[0]) + 'x' + str(size[1])
command = ['ffmpeg',
'-y', '-an',
'-re',
'-f', 'rawvideo',
'-pix_fmt', 'bgr24',
'-s', sizeStr,
'-r', str(fps),
'-i', '-',
'-c:v','libx264',
'-g', '1',
'-maxrate:v', '6M',
'-minrate:v', '2M',
'-bufsize:v', '4M',
'-pix_fmt','yuv420p',
# '-profile:v','high444',
'-preset','fast',#'ultrafast',# 'superfast',
'-tune', 'zerolatency',
# '-b:v', '4M',
'-f', 'rtsp',
rtsp_p]
pipe = subprocess.Popen(command
, shell=False
, stdin=subprocess.PIPE
)
while cap.isOpened():
f = Put_rtsp(rtsp_o)
frame = f.on_need_data()
data = frame.tostring()
pipe.stdin.write(data)
cap.release()
pipe.terminate()项目输出的rtsp流能被多个VLC同时访问，没有处理的原视频直接推效果还可以，但是当我执行画框任务时太卡了，基本上一秒一帧，都成PPT了，还容易掉线，这谁顶得住，太难了！！！如果读者还有更好的实现方法或者改进方案，请务必在下面评论或者私信我，感激不尽！！！
参考链接如下：
方案一参考链接：https://stackoverflow.com/questions/47396372/write-opencv-frames-into-gstreamer-rtsp-server-pipeline/60580247#60580247%3E
方案二参考链接：
