python里调用第三方程序一般用subprocess模块都可以满足了,但是同程序的交互方面使用subprocess没有到合适的方法,这里使用了一个第三方模块delegator.py。
前言
python里调用第三方程序一般用subprocess模块都可以满足了,但是同程序的交互方面使用subprocess没有到合适的方法,这里使用了一个第三方模块delegator.py。它实际上是对subprocess和pexpect.popen_spawn封装。但其subprocess封方式无法达我的要求(比如无法获取到实时的return_code), 因此主要使用了它里面的与程序交互的部分。其他部分直接使用subprocess
安装delegator.py需要使用以下命令:
pip install
文件头:
#/user/bin/env python3
import delegator
import time
import subprocess
from multiprocessing import Process
import logging
import shlex
subprocess 等待调用
执行命令并等待返回。此种场景推荐使用subprocess.run方法,很全面。
if __name__ == '__main__':
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
datefmt='%a, %d %b %Y %H:%M:%S',
filename='main.log',
filemode='w')
console = logging.StreamHandler()
console.setLevel(logging.DEBUG)
formatter = logging.Formatter('%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s')
console.setFormatter(formatter)
logging.getLogger('').addHandler(console)
#shell命令执行
ls = subprocess.run('ls -lht', stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True, universal_newlines=True, cwd = None, timeout = 5)
logging.info(ls.args)
logging.info(ls.returncode)
logging.info(ls.stdout)
#非shell命令执行
try:
ffprobe = subprocess.run(shlex.split('ffprobe -show_streams -i rtmp://rtmp-push.source.test/live/i3jMugm01'), stdout=subprocess.PIPE, stderr=subprocess.DEVNULL, shell=False, universal_newlines=True, cwd = '/usr/local/bin', timeout = 3)
except Exception as e:
logging.exception(e)
else:
logging.info(ffprobe.args)
logging.info(ffprobe.returncode)
logging.info(ffprobe.stdout)
参数说明
args | 待执行的命令,可以试字符串或者是命令列表。 |
stdin,stdout,stderr | 默认均为None,如果需要与程序进行交互,则需要设置stdin,如需获取输出和错误,则需要设置stdout和stderr。stdout和stderr一般可设置为subprocess.PIPE,文件对象或subprocess.DEVNULL, 另外stderr可设置为subprocess.STDOUT, 表示将错误重定向到stderr制定的管道。 |
shell | subprocess.run里默认为False。设置为True时,可以认为就和在linux控制执行命令一样,支持grep类似操作。此时args参数可以是复杂字符串。设置为False时,如果args命令中是包含参数的,则必须以命令列表方式传入。一般通过shlex.split(string)处理即可。 |
universal_newlines | 设置为True时,stdin,stdout,stderr均已字符串方式读写,否则以字节流方式读写。 |
cwd | 设置程序的执行路径,运行非shell命令时,可以用来制定程序的所在路径。 |
timeout | 命令超时时间,当程序超过制定时间还没有返回时,会抛出超时异常 |
subprocess 非等待调用
执行命令后不等待程序返回。这里使用的是subprocess.Popen对象。这里给出的例子加上了守护程序,适合需要长时间保证程序正常执行的情况。
可以设定检查间隔时间,根据程序的returncode(None表示正常运行,0为正常退出,其他均为非正常结束)判断是否正常执行。下面代码中是只有kill -9或者是程序自己正常退出时才会结束,其他异常退出的情况程序会重新启动(包括kill命令)
同时为了防止无限重启,加入健康检查机制,超过一定次数连续运行失败则停止运行
这里使用多进程方式进行调用,方便按照此方式启动多个程序
#longtime task
def runapp(command, logfile, check_interval=5, health_check=3):
applog= open(logfile, 'w') #使用日志文件记录app输出
app = subprocess.Popen(command, stdout=applog, stderr=subprocess.STDOUT,universal_newlines=True) #错误重新向到输出一并记录
fail_count = 0
while True:
time.sleep(check_interval) #检查间隔
logging.debug("args {}".format(app.args))
logging.debug("pid {}".format(app.pid))
app.poll() #通过poll方法设置程序的returncode,即调用poll方法后获取到的returncode才是实时的
if app.returncode != None:
if app.returncode != 0:
fail_count +=1 #非0表示程序异常退出
if fail_count >= health_check :
logging.debug("health check fail,stop app!")
break
if app.returncode != 0 and app.returncode != -9: #正常结束或是被kill -9方式杀掉后退出,否则重启程序
logging.debug("app restart!")
app.__init__(command, stdout=applog, stderr=subprocess.STDOUT,universal_newlines=True)
else:
logging.debug("app eixt, code {}".format(app.returncode))
break
else:
fail_count = 0
#命令参数处理
command = shlex.split("ffmpeg -i rtmp://rtmp-push.source.test/live/i3jMugm0 -c:v copy -c:a copy -f flv rtmp://rtmp-push.source.test/live/pwtest12345")
#子进程方式
p = Process(target = runapp, args=(command, "ffmpeg.log"))
p.start()
#p.join()
delegator 与程序进行交互(非阻塞)
这里使用vi编辑器作为例子,演示了使用v编辑文件的方式。可应用在类似场景中,但在某些操作上可能需要加些延时才能保证执行的正确性。
需要注意block参数必须设置为False,send方法带上参数withend=False时不发送回车(这里的send方法默认会加上一个回车,因此这里对delegator.py中的send方法进行了修改,兼容不需要发送回车的情况。修改的部分放在最后。)。
另外下面倒数第二条发送的其实是一个ESC字符(chr(27),显示退格符号),但这里显示为空字符了。
#send string
command = ['vi','test.txt']
editer = delegator.run(command, block=False) #注意block参数要设置为False
time.sleep(1) #程序启动后,首次发送信息时,加入一点延迟
editer.send('i', withend=False)
editer.send('12345', withend=False)
editer.send('', withend=False)
time.sleep(1) #程序退出编辑模式进入命令模式时,加入一点延迟
editer.send(':wq!')
editer.kill()
delegator 与程序进行交互(阻塞式)
调用程序的另外一个场景,就是等待程序出现某提示时,再输入信息。下面通过一个延时设置密码的脚本执行进程进程演示。
主要注意expect方法的使用,第一个参数为等待出现的信息,可以使用正则表达式,第二个参数为超时时间,超过时间但没有出现逾期的内容,则会抛出异常
passwd.sh内容:
#!/bin/sh
sleep 3
passwd
设置密码脚本:
command = ['./passwd.sh']
input = delegator.run(command, block=False) #注意block参数要设置为False
try:
input.expect('New password:',timeout=5) #脚本延迟3秒运行passwd命令,这里等待5秒 出现'New password:'
except Exception as e:
logging.exception(e)
else:
input.send("123")
try:
input.expect('Retype password:',timeout=2)
except Exception as e:
logging.exception(e)
else:
input.send("456")
input.kill()
logging.info(input.out)
对delegator.py 的修改部分
def send(self, s, end=os.linesep, signal=False, withend=True):
"""Sends the given string or signal to std_in."""
if self.blocking:
raise RuntimeError("send can only be used on non-blocking commands.")
if not signal:
if self._uses_subprocess:
return self.subprocess.communicate((s + end) if withend else s)
else:
return self.subprocess.send((s + end) if withend else s)
else:
self.subprocess.send_signal(s)