只是学习过程用于笔记记录。用于以后复习
机器人的一些应用
机器视觉
ROS中的图像数据
- 显示图像类型（二维图像）
roslaunch usb_cam usb_cam-test.launch
rostopic info /usb_cam/image_raw
使用rosmsg show sensor_msga/Imags 查看消息类型
- Header ：消息头，包含消息序号，时间戳和绑定坐标系
- height：图像的纵向分辨率
- width：图像的横向分辨率
- encoding：图像的编码格式，包含RGB、YUV等常用格式，不涉及图像压缩码
- is_bigendian：图像数据的大小端存储模式
- step：一行图像数据的字节数量，作为数据步长参数
- data：存储图像数据的数组，大小step×height个字节
- 1080720存储的图像数据的数组，大小为31080*720=2764800 个字节
std_msgs/ Header headerv
unit32 seq //消息序号
time stamp //时间戳
string fame_id //绑定的坐标系，手动设置
uint32 height
uint32 width
string encoding
uint8 is_bigendian
uint32 step
uint8[] data- 压缩数据的格式
rosmsg show sensor_msgs/CompressdImage
std_msgs/Header header
uint32 seq
time stamp
string frame_id
string format //图像压缩的编码格式（jpeg png bmp）
uint8[] data //存储的图像数据数组- 图像类型（三维图像）
显示点云类型：roslaunch freenect_launch freenect.launch
rostopic info /camera/depth_registered/points
- 查看点云消息
> rosmsg show sensor_msgs/PointCloud2
摄像头标定
摄像头为什么要标定
摄像头对光学器件的要求较高，由于摄像头内部与外部的一些原因，生成的物体图像往往会发生崎变，为避免数据源造成的误差，需要针对摄像头的参数进行标定。
- 安装标定功能包
$ sudo apt-get install ros-kinetic-camera-calibration摄像头标定流程
- 启动摄像头
- roslaunch robot_vision usb_cam.launch
- 启动标定包
- rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.024 image:=/usb_cam/image_raw camera:=/usb_cam
size:标定棋盘格的内部角点的个数，这里使用的棋盘一共6行，每行有8个内部角点;
square:这个参数对应每一个棋盘格的边长，单位为米
image和camera：设置摄像头发布的图像话题
- X:标定靶在摄像头视野中的左右移动
Y:标定靶在摄像头视野中的上下移动
Size：标定靶在摄像头视野中前后移动
Skew：标定靶在摄像头视野的倾斜转动
Kinect标定流程
- 启动kinect
- roslaunch robot_vision freenect.launch
- 启动彩色摄像头
rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.024 image:=/camera/rgb/image_raw camera:=/camera/rgb - 标定红外摄像头
- rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.024 image:=/camera/ir/image_raw camera:=/camera/ir
摄像头如何使用标定文件
OpenCV
安装Opencv
sudo apt-get install ros-kinetic-vision-opencv libopencv-dev python-opencv
测试案例
roslaunch robot_vision usb_cam.launch
rosrun robot_vision cv_bridge_test.py
rqt_image_view图像转换
imgmsg_to_cv2():将ROS图像消息装换成OpenCv图像数据
cv2_to_imgmsg():将OpenCV格式的图像数据转换成ROS图像消息
人脸识别
流程
- 启动人脸识别实例
roslaunch robot_vision usb_cam.launch
roslaunch robot_vision face_detector.launch
rqt_image_view
物体跟踪
流程
- 启动物体跟踪实例
roslaunch robot_vision usb_cam.launch
roslaunch robot_vision motion_detector.launch
rqt_image_view
- 初始化部分：完成ROS节点、图像、识别参数的设置
- 图像处理：将图像转换成OpenCV格式完成图像预处理之后开始针对两帧图像进行比较。基于图像差异识别到运动的物体，最后标识识别结果并发布
二维码识别
- 安装二维码识别功能
sudo apt-get install ros-kinetic-ar-track-alvar
- 创建二维码
rosrun ar_track_alvar createMarker
rosrun ar_track_alvar createMarker 0
- 启动
roslaunch robot_vision freenect.launch
roslaunch robot_vision ar_track_kinect.launch
物体识别与机器学习
Object Recognition Kitchen（ORK）框架
TensorFlow Object Detection API
机器语音
- 流程
- 常用功能包
- pocketsphinx：集成CMU Sphinx和Festival开源项目中的代码，实现语言识别的功能
- audio-common：提供了文本转语音（Text-to-speech）的功能实现完成机器人说话
- AIML：人工智能标记语言，Aritificial Intelligence Markup Language，是一种创建自然语言软件代理的XML语言
- 参考书：《ROS ROBOTICS PROJECTS》
科大讯飞SDK
- 下载SDK
- 使用SDK ：将libmsc.so 拷贝到系统目录下 sudo cp libmsc.so /usr/lib/libmsc.so
- 注意：SDK带有ID号，每个人每次下载后的ID都不相同，更换SDK之后要修改代码中的APPID
编译注意
语音合成
- main函数声明了一个订阅voiceWords话题的subscriber，接受输入的语音字符串
- 回调函数voiceWordsCallback中使用SDK接口将字符串转换成中文语音
在编译功能包出现alsa/
语言助手
扩展阅读
SLAM导航
机器人必备条件
- 硬件要求
- 深度信息
- 里程计信息
- 仿真环境
ROS SLAM功能包应用的方法
- gmapping功能包
- 基于激光雷达
- Rao-Blackwellized粒子波算法
- 二维栅格地图
- 需要机器人提供里程计信息
- OpenSlam开源算法
- 输出地图话题：nav_msgs/OccupancyGrid
- 论文参考：http://openslam.org/gmapping.html
- 保存地图：rosrun map_server map_saver -f cloister_gmapping
- hector_slam
- 基于激光雷达
- 高斯牛顿方法
- 二位栅格地图
- 不需要里程计数据
- 输出地图话题：nav_msgs/OccupancyGrid
- 安装：sudo apt-get install ros-kinetic-hector-slam
- cartographer
- 2016年google开源
- 基于图网络的优化方法
- 二维或三维条件下的定位及建图功能
- 设计目的是在计算资源有限的情况下，实时获取相对高精度的2D地图
- 主要基于激光雷达
- 支持更多传感器和机器人平台
- 配置cartographer
- ORB_SLAM
ROS 中的导航框架
ROS自主导航
