上一节介绍了用ffplay来播放文件(或url),这里有一个概念,如果是播放已经存在的文件,那叫“回放”,也就是Playback(从流媒体的角度也叫点播),如果播放的是正在录制的数据(边录边播),那叫直播。

不管是回放还是直播,都需要有媒体数据,那这个媒体数据是怎么来的呢?从已有的文件编辑而来是一个办法,但更直接更原始的办法是录制。

录制,就是通过硬件设备,把声音或者图像保存到文件(或者推到文件)。

在FFmpeg程序集中,有一个程序叫作ffmpeg(小写),这个程序提供了录制的功能。在上一节小程介绍了ffplay的安装,而实际上ffplay依赖于FFmpeg,所以当ffplay安装后,那FFmpeg程序集也就安装上了,也就是已经可以使用ffmpeg程序。

本文介绍如何通过ffmpeg程序来实现声音、图像以及屏幕的录制。

(一)录制命令

对于图像,可以通过摄像头或者屏幕来录入,而对于声音则通过麦克风来录入。

因为我使用的是mac电脑,所以,有必要先查看一下mac电脑有没有录制的设备,也就是输入设备。

因为查看输入设备需要指定输入设备的格式类型,所以,先查看输入设备的格式类型

ffmpeg -devices

在我的电脑上,有这样的输出:

avfoundation    AVFoundation input device
lavfi           Libavfilter virtual input device
qtkit           QTKit input device

第一个类型,即avfoundation,为本机输入设备的格式类型,有了这个类型,就可以进一步查看输入设备了:

ffmpeg -list_devices true -f avfoundation -i ""

可以看到这样的信息:

[AVFoundation input device @ 0x7f97326002e0] AVFoundation video devices:
[AVFoundation input device @ 0x7f97326002e0] [0] FaceTime HD Camera
[AVFoundation input device @ 0x7f97326002e0] [1] Capture screen 0
[AVFoundation input device @ 0x7f97326002e0] AVFoundation audio devices:
[AVFoundation input device @ 0x7f97326002e0] [0] Built-in Microphone

上面的信息可以知道,视频输入(video devices)有两个设备,设备0为摄像头,设备1为屏幕,而声音输入(audio devices)则只有设备0,也就是麦克风。

在知道设备号之后,就可以启用这个设备来录制,比如只打开摄像头进行录制(按'q'结束录制):

ffmpeg -f avfoundation -framerate 30 -i "0" -s 320x240 -vsync 2 -y cam.mp4

framerate是录制帧率,也就是一秒取多少帧,这些概念以后小程再详细介绍。-i "0"就是0号设备即摄像头,-s指定分辨率,比如可以设置一个在手机上较佳的使用分辨率。最后面的文件名,表示保存数据的文件。

但需要注意,参数并非可以随意改动的,因为参数的值跟输入设备有关,比如我的mac只支持帧率30,而且分辨率也只有几个可以选择,所以,参数不能乱写。如果出错了,那应该根据出错信息作出修正。而且,参数的顺序也不能乱写,否则是可能出错的!

另外,不同的ffmpeg的版本,对参数的要求也不一样,比如ffmpeg3.x需要指定framerate跟分辨率,而ffmpeg2.x则不需要,但出错后都有相应的信息提醒,你可以按指引来修正。

如果想同时录制到声音,那就同时打开摄像头跟麦克风,进行录制:

ffmpeg -f avfoundation -framerate 30 -i "0:0" -s 320x240 -vsync 2 -y cam2.mp4

0:0,前面为图像设备,后面为声音设备。

如果只录制声音,则:

ffmpeg -f avfoundation -i ":0" sound.aac 
或者:
ffmpeg -f avfoundation -i ":0" -acodec libmp3lame sound2.mp3

aac是音频的一种编码格式,我用的FFmpeg3.1.2会编码成aac格式(FFmpeg3.x内置aac编码),当然也可以指定编码成mp3,但要借助libmp3lame这个组件。你可以先忽略这些编码细节,只需要知道有这样一个功能就好。

我在这里给出一个只用摄像头录制的效果,那是小程家里的灯,通过mac电脑录制到的视频:

framebuffer android 录屏 ffmpeg录屏原理_python

如果只想录制屏幕,那只需要把-i "0"换成-i "1",也就是指定从屏幕录制。

现在录制的命令有了,但是,作为一个追求便利的程序员,怎么才能快速而方便地进行启动录制呢?分明,我要再次使用之前介绍过的alfred跟python界面了。

(二)快速启动录制

先来写一个Python的界面,用来设置录制的各个参数,代码如下

from tkinter import *
import tkinter.messagebox as msgbox
import os
import threading

audiovalue = 0
widthvalue = ""
heightvalue = ""
recordsourcevalue = ""

def recordThreadFunc():
    global audiovalue, widthvalue, heightvalue, recordsourcevalue
    parms = recordsourcevalue.get()
    if (audiovalue.get()==1):
        parms = parms + ":0"
    recordtemppath = "'%s'/recordtemp.mp4" % os.getcwd()
    recordpath = "'%s'/record.mp4" % os.getcwd()
    ffstr = "ffmpeg -f avfoundation"
    if (recordsourcevalue.get()=="0"):
        ffstr = ffstr + " -framerate 30"
    ffstr = ffstr + " -i '%s' -s %sx%s -vsync 2 -y %s" % (parms, widthvalue.get(), heightvalue.get(), recordtemppath)
    print(ffstr)
    os.system("touch tempsh.sh")
    with open("tempsh.sh", "w") as f:
        f.write(ffstr)
        f.write("\nffmpeg -i %s -pix_fmt yuv420p -y %s" % (recordtemppath, recordpath))
        f.write("\nrm %s" % recordtemppath)
    os.system("chmod +x tempsh.sh")
    os.system("open -a Terminal.app tempsh.sh")
    print("%d, %s, %s, %s" % (audiovalue.get(), widthvalue.get(), heightvalue.get(), recordsourcevalue.get()))
    os.system("open '%s'" % os.getcwd())
    pass

def recordFunc():
    t1 = threading.Thread(target=recordThreadFunc)
    t1.start()

def main():
    global audiovalue, widthvalue, heightvalue, recordsourcevalue
    window = Tk()
    window.title("录制控制台")
    window.geometry("320x320+100+100")
    audiovalue = IntVar()
    audioCheckBtn = Checkbutton(window, text="录入声音", variable=audiovalue, onvalue=1, offvalue=0)
    audioCheckBtn.place(x=10, y=10)
    label1 = Label(window, text="视频分辨率:")
    label1.place(x=10, y=50)
    widthlabel = Label(window, text="宽:")
    heightlabel = Label(window, text="高:")
    widthvalue = StringVar()
    heightvalue = StringVar()
    widthEntry = Entry(window, textvariable=widthvalue, width=10)
    heightEntry = Entry(window, textvariable=heightvalue, width=10)
    widthlabel.place(x=20, y=70)
    widthEntry.place(x=50, y=70)
    heightlabel.place(x=20, y=100)
    heightEntry.place(x=50, y=100)
    tiplabel = Label(window, text="如:320/1920/1280等")
    tiplabel.place(x=140, y=70)
    tiplabel = Label(window, text="如:240/1080/720等")
    tiplabel.place(x=140, y=100)
    recordsourcevalue = StringVar()
    rsourceRadioBtn1 = Radiobutton(window, text="从摄像头录制", value="0", variable=recordsourcevalue)
    rsourceRadioBtn2 = Radiobutton(window, text="从屏幕录制", value="1", variable=recordsourcevalue)
    rsourceRadioBtn1.place(x=20, y=170)
    rsourceRadioBtn2.place(x=140, y=170)
    tiplabel = Label(window, text="从哪里录制:")
    tiplabel.place(x=10, y=150)
    recordBtn = Button(window, text="开启录制", command=recordFunc)
    recordBtn.place(x=20, y=200)
    window.mainloop()

if __name__ == '__main__':
    main()

代码所在的文件叫main.py,运行这段代码可以看到这样的界面:

framebuffer android 录屏 ffmpeg录屏原理_输入设备_02

在界面上设置好参数,点击“开启录制”就可能看到你的摄像头打开了,但是,每次都要找到这个python脚本来执行是不完美的,所以,alfred出场了。

同样,创建一个script filter:

framebuffer android 录屏 ffmpeg录屏原理_输入设备_03

script的设置如下:

framebuffer android 录屏 ffmpeg录屏原理_输入设备_04

找到这个workflow的目录,增加一个cmd.sh文件,这个文件用来初始化python环境,并执行上面的mian.py文件:

framebuffer android 录屏 ffmpeg录屏原理_数据_05

cmd.sh的内容如下:

cd '/Users/freejet/Library/Application Support/Alfred/Alfred.alfredpreferences/workflows/user.workflow.0490D960-6C02-4F29-8265-51890350F2B4'
source ~/Desktop/pyenv/bin/activate
python3 main.py

再把上面的main.py拷贝到这个目录,大功告成,用alfred来打下“record”,就可以来录制了,效果如下:

framebuffer android 录屏 ffmpeg录屏原理_输入设备_06

gif看不太清楚?没法子,视频转过来又要兼容大小,是这样的啦,这里又不能上传视频。


好了,总结一下,本文主要介绍通过ffmpeg来录制声音或者视频。录制往往只是某件事情的一个环节,比如:在拿视频测试样本时可以自己录制、在直播时需要录制、在截屏时可以用录屏的方式来实现,等等。所以,理解这个环节的一个实现是有价值的。有缘再见,see you.