python机器人抓取识别

文章目录

• 摘要

• 关键词

• 0 引言
• 1 基于深度学习的机器人抓取实验原理
• 2 机器人抓取虚拟仿真实验设计方案

• 2.1 虚拟仿真实验系统总体设计
• 2.2 机器人抓取实验教学过程

• 3 实验教学考核与管理
• 4 结语

摘要

开发了机器人抓取实验教学系统
包括：模块化学习、数据集变动、网络设计与训练、场景搭建和实验验证

关键词

1. 深度学习；
2. 机器人抓取；
3. 虚拟仿真；
4. 实验教学

0 引言

涉及到图像处理、相机标定、卷积神经网络设计与训练、机器人运动学、运动规划与控制等方面知识。

1 基于深度学习的机器人抓取实验原理

传统方法：设计夹持器的抓取位置和抓取姿态
缺点：设计过程非常耗时，对设计者的技术水平依赖高

前人研究：

学者	工作
Yang 等人	利用卷积神经网络学习视频图像中的抓取动作来训练机器人抓取物体
Levine 等人	利用 14 组机器人耗时 2 个月时间采集了 800 000 组机器人抓取数据
Varley 等人	利用卷积神经网络获得了多指灵巧手抓取物体的位置和抓取姿势
YU Q 等人	新型的卷积神经网络结构提取最佳抓取框

前人研究的不足：不能控制手指（采用的是夹具和吸盘）

抓取物体步骤：确定被抓取物体的位置及夹持器的位姿 $\rightarrow$ 移动到抓取目标位置 $\rightarrow$

抓取框定义为：$G=\{ x,y,h,w,\theta \}$

【第一层】用于获得抓取目标的位置，作为抓取框可能的搜索范围。

【第二层】深度信息与抓取框融合处理，剔除不合适的抓取框。

【第三层】优化选择得到最佳的抓取位姿。

网络数据集：康奈尔大学发布的抓取数据集 + 人工额外生成的抓取数据集

网络训练结果：70000次，93.7%准确率

虚拟仿真实验教学意义：服务器成本、投入的训练时间以及机器人成本非常巨大

2 机器人抓取虚拟仿真实验设计方案

2.1 虚拟仿真实验系统总体设计

四个模块：基础知识模块、仿真环境搭建模块（家庭场景、工业场景；30种典型物体；3种夹持器具）、深度学习网络模块（数据集处理和网络训练）和机器人智能抓取模块

2.2 机器人抓取实验教学过程

1. 练习模式：根据这些提示完成理论学习和实验操作；
   增加比实物机器人更丰富的容错机制和恢复功能
2. 考核模式：会出现相应的考核题目，只有完成该步骤对应的考核题目后才能进入下一实验步骤

机器人理论基础、卷积神经网络原理以及机器人抓取原理等基础知识的学习。

可利用界面左侧的控制界面调整机械臂的末端位置和夹持器位置，从而保证能够准确抓取到物体。

在网络设计时，学生可自主设计新的网络结构，设置不同的训练超参数，测试不同网络结构和超参数的检测效果。

3 实验教学考核与管理

自主获得得分

在考核模式中，学生在完成实验且确认无误后即可提交实验报告，实验系统会将实验报告输出成标准格式文件发送给实验教师。

实验平台入口

4 结语