在本教程中,我们将学习如何使用Python和计算机视觉构建一个人工智能个人教练。该个人教练将能够分析人的运动动作,并实时提供反馈和指导。
这个项目可以帮助那些喜欢在家里健身或需要正确执行运动的人。人工智能个人教练在健康和健身行业有广阔的机会,因为它可以提供个性化的锻炼计划,并帮助教练同时监控多个客户。
教程内容如下:
- 安装所需的库
- 收集训练数据
- 构建姿势估计模型
- 构建个人教练
- 测试个人教练
步骤1:安装所需的库
我们将使用以下库进行此项目:
pip install opencv-python
pip install mediapipe
pip install tensorflow
OpenCV Mediapipe TensorFlow 您可以使用pip来安装这些库,pip是Python的包管理器。在命令提示符或终端中运行以下命令:
步骤2:收集训练数据
为了训练我们的姿势估计模型,我们需要收集训练数据。我们将为不同的练习收集数据,并将它们存储在单独的目录中。对于每个练习,我们将捕获多个不同人员执行该练习的视频。
要捕获视频,我们可以使用OpenCV库。以下代码将打开您的网络摄像头并记录您执行练习的视频。您可以通过按“q”键停止录制。
import cv2
cap = cv2.VideoCapture(0)
fourcc = cv2.VideoWriter_fourcc(*'XVID')
out = cv2.VideoWriter('output.avi', fourcc, 20.0, (640, 480))
while(cap.isOpened()):
ret, frame = cap.read()
if ret==True:
out.write(frame)
cv2.imshow('frame',frame)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
else:
break
cap.release()
out.release()
cv2.destroyAllWindows()
为每个练习重复此过程,并将视频存储在单独的目录中。
步骤3:构建姿势估计模型
为了检测和跟踪视频中人物的身体动作,我们将使用姿势估计模型。我们将使用mediapipe库提供的预训练姿势估计模型。
以下代码将加载姿势估计模型,并对单个帧执行姿势估计。
import cv2
import mediapipe as mp
mp_pose = mp.solutions.pose
pose = mp_pose.Pose()
cap = cv2.VideoCapture(0)
while(cap.isOpened()):
ret, frame = cap.read()
if ret==True:
frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
results = pose.process(frame)
frame = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)
if results.pose_landmarks:
# do something with the landmarks
cv2.imshow('frame',frame)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
else:
break
cap.release()
cv2.destroyAllWindows()
在上面的代码中,我们加载了姿势估计模型并从网络摄像头捕获帧。然后,我们将帧转换为RGB格式并将其传递给姿势估计模型。模型返回身体部位的地标,我们可以使用它们来跟踪人的动作。
步骤4:构建个人教练
现在我们有了姿势估计模型,我们可以构建个人教练。我们将使用姿势地标来确定人是否正确执行练习,并实时提供反馈。
首先,我们需要为每个练习定义正确的姿势。我们可以使用姿势估计模型返回的地标来定义正确的姿势。我们将为每个练习定义每个地标的可接受值范围。
exercises = {
'Squats': {
'nose': (0.4, 0.6),
'left_shoulder': (0.2, 0.4),
'right_shoulder': (0.6, 0.8),
'left_hip': (0.2, 0.4),
'right_hip': (0.6, 0.8),
'left_knee': (0.4, 0.6),
'right_knee': (0.4, 0.6),
'left_ankle': (0.2, 0.4),
'right_ankle': (0.6, 0.8)
},
'Pushups': {
'nose': (0.4, 0.6),
'left_shoulder': (0.2, 0.4),
'right_shoulder': (0.6, 0.8),
'left_elbow': (0.2, 0.4),
'right_elbow': (0.6, 0.8),
'left_wrist': (0.2, 0.4),
'right_wrist': (0.6, 0.8)
}
}
在上面的代码中,我们定义了两个练习——深蹲和俯卧撑的正确姿势。对于每个练习,我们定义了姿势估计模型返回的每个地标的可接受值范围。
接下来,我们需要定义一个函数来检查人是否正确执行练习。我们将检查姿势估计模型返回的地标是否在为该练习定义的可接受值范围内。
def check_exercise(landmarks, exercise):
for landmark, range in exercise.items():
x = landmarks[landmark].x
y = landmarks[landmark].y
if x < range[0] or x > range[1] or y < range[0] or y > range[1]:
return False
return True
在上述代码中,我们定义了一个函数来检查关键点是否在运动的可接受范围内。如果关键点在可接受范围内,则该函数返回True,否则返回False。
现在我们可以实时检查人是否正确执行运动,并且我们可以在视频上绘制线条和圆圈来指示运动的正确姿势。我们也可以在视频上显示文本,以提供有关人的表现的反馈。
def draw_pose(frame, landmarks, exercise):
for landmark, _ in exercise.items():
x = int(landmarks[landmark].x * frame.shape[1])
y = int(landmarks[landmark].y * frame.shape[0])
cv2.circle(frame, (x, y), 5, (0, 255, 0), -1)
cv2.putText(frame, "Correct posture", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2)
cap = cv2.VideoCapture(0)
while(cap.isOpened()):
ret, frame = cap.read()
if ret==True:
frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
results = pose.process(frame)
frame = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)
if results.pose_landmarks:
landmarks = {}
for i, landmark in enumerate(results.pose_landmarks.landmark):
landmarks[f'landmark_{i}'] = landmark
if check_exercise(landmarks, exercises['Squats']):
draw_pose(frame, landmarks, exercises['Squats'])
elif check_exercise(landmarks, exercises['Pushups']):
draw_pose(frame, landmarks, exercises['Pushups'])
else:
cv2.putText(frame, "Incorrect posture", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
cv2.imshow('frame',frame)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
else:
break
cap.release()
cv2.destroyAllWindows()
在上述代码中,我们从网络摄像头中捕获帧并将其传递给姿势估计模型。
然后,我们使用check_exercise()函数检查人是否正确执行Squats或Pushups。如果人正确执行运动,则使用draw_pose()函数在视频上绘制正确的姿势。
如果人没有正确执行运动,则我们在视频上显示指示不正确姿势的消息。
第5步:测试
要测试个人教练,我们可以运行上面的代码块,并在摄像头前进行Squats或Pushups。如果我们正确执行运动,则个人教练将在视频上显示正确的姿势。如果我们执行运动不正确,则个人教练将显示指示不正确姿势的消息。
就这样!在本教程中,我们学习了如何使用Python和计算机视觉构建AI个人教练。我们收集了训练数据,构建了姿势估计模型,并使用姿势估计模型创建了个人教练。我们通过在摄像头前进行Squats和Pushups来测试个人教练。
构建AI个人教练在健康和健身行业中有很大的机会。借助计算机视觉和人工智能,教练可以同时监视多个客户,个人可以获得有关其锻炼计划的个性化反馈。
我们希望本教程为您提供了创建自己的AI个人教练所需的必要知识。记得不断实验和建立基础,以提高您的个人教练的性能和功能。