(2)学习目的
在图像算法行业从事4年之久,但是一直缺少安卓端落地部署的经验,故趁此机会跟着大白老师系统的学习了一下基于AidLux部署安防AI方便的一些项目,受益匪浅。
作业题目
1)题目:
在学习了越界识别的功能后,采用人体检测+人体追踪+业务功能的方式实现 人流统计。
(2)实现效果:
在手机端录屏测试的效果如下:
Aidlux+人流统计部署
该视频是对两端视频进行人流检测:
1.对远距离行人的人流检测,使用yolo5x.pt的预训练模型
2.对于近距离行人的人流检测,使用yolo5n.pt的预训练模型
下边是对Vscode界面+边缘端设备(手机)+和Aidlux端的PC端拍摄的视频,如下:
整体设备
(3)代码实现:
# aidlux相关
from itertools import count
from cvs import *
import aidlite_gpu
from utils import detect_postprocess, preprocess_img, draw_detect_res,is_passing_line
import cv2
# bytetrack
from track.tracker.byte_tracker import BYTETracker
from track.utils.visualize import plot_tracking
import requests
import time
# 加载模型
model_path = '/home/lesson5_codes/aidlux/yolov5n_best-fp16.tflite'
in_shape = [1 * 640 * 640 * 3 * 4]
out_shape = [1 * 25200 * 6 * 4]
# 载入模型
aidlite = aidlite_gpu.aidlite()
# 载入yolov5检测模型
aidlite.ANNModel(model_path, in_shape, out_shape, 4, 0)
tracker = BYTETracker(frame_rate=30)
track_id_status = {}
cap = cvs.VideoCapture("/home/lesson5_codes/aidlux/video.mp4")
frame_id = 0
count_person = 0
while True:
frame = cap.read()
if frame is None:
# 5.人流统计+喵提醒
# 填写对应的喵码
print("camera is over!")
id = 't8CiX1G'
# 填写喵提醒中,发送的消息,这里放上前面提到的图片外链
text = "人流统计总数:"+str(count_person)
ts = str(time.time()) # 时间戳
type = 'json' # 返回内容格式
request_url = "http://miaotixing.com/trigger?"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.47'}
result = requests.post(request_url + "id=" + id + "&text=" + text + "&ts=" + ts + "&type=" + type,headers=headers)
break
frame_id += 1
if frame_id % 3 != 0:
continue
# 预处理
# cv2.imwrite("img.jpg", frame)
# print(frame.shape)
# break
img = preprocess_img(frame, target_shape=(640, 640), div_num=255, means=None, stds=None)
# 数据转换:因为setTensor_Fp32()需要的是float32类型的数据,所以送入的input的数据需为float32,大多数的开发者都会忘记将图像的数据类型转换为float32
aidlite.setInput_Float32(img, 640, 640)
# 模型推理API
aidlite.invoke()
# 读取返回的结果
pred = aidlite.getOutput_Float32(0)
# 数据维度转换
pred = pred.reshape(1, 25200, 6)[0]
# 模型推理后处理
pred = detect_postprocess(pred, frame.shape, [640, 640, 3], conf_thres=0.4, iou_thres=0.45)
# 绘制推理结果
res_img = draw_detect_res(frame, pred)
# 目标追踪相关功能
det = []
# Process predictions
for box in pred[0]: # per image
box[2] += box[0]
box[3] += box[1]
det.append(box)
if len(det):
# Rescale boxes from img_size to im0 size
online_targets = tracker.update(det, [frame.shape[0], frame.shape[1]])
online_tlwhs = []
online_ids = []
online_scores = []
# 取出每个目标的追踪信息
for t in online_targets:
# 目标的检测框信息
tlwh = t.tlwh
# 目标的track_id信息
tid = t.track_id
online_tlwhs.append(tlwh)
online_ids.append(tid)
online_scores.append(t.score)
# 针对目标绘制追踪相关信息
res_img = plot_tracking(res_img, online_tlwhs, online_ids, 0,0)
### 人流统计 ###
# 1.绘制人流统计线段
lines = [[186, 249], [1235, 366]]
cv2.line(res_img, (186, 249),(1235, 366),(255, 255, 0), 3)
# 2.计算得到人体下方中心点的位置(人体检测监测点调整)
pt = [tlwh[0]+1/2*tlwh[2],tlwh[1]+tlwh[3]]
# 3. 人体和违规区域的判断(人体状态追踪判断)
track_info = is_passing_line(pt, lines)
if tid not in track_id_status.keys():
track_id_status.update( {tid:[track_info]})
else:
if track_info != track_id_status[tid][-1]:
track_id_status[tid].append(track_info)
# 4. 判断是否有track_id穿过统计线段
# 当某个track_id的状态,上一帧是-1,但是这一帧是1时,说明穿过了
if track_id_status[tid][-1] == 1 and len(track_id_status[tid]) >1:
# 判断上一个状态是否是-1,是否的话说明越界,为了防止继续判别,随机的赋了一个3的值
if track_id_status[tid][-2] == -1:
track_id_status[tid].append(3)
count_person += 1
# cv2.imwrite("overstep.jpg",res_img)
cv2.putText(res_img, "-1 to 1 person_count:"+str(count_person), (50,50), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0,255), 2)
cvs.imshow(res_img)
4 AidLux使用心得
AidLux软件提供了一个可以在安卓手机上开发和部署的环境,并且内置了各种AI案例参考,调用起来非常方便,另外AidLux软件下载非常方便,在各大安卓应用商城中,都可以下载到。我在使用中用VScode远程编写调试代码,工作起来便利快捷。
建议:
手机处于稳定版本进行远程测试时,发现手机后太容易杀掉进程,得重新连接;将手机设置成发布版本就可以解决这个问题,但手机内部含有个人太多信息,我觉得不够安全,这点还需完善。