本次课程作业要求输入一张篮球比赛的图片,识别运动员的动作,并作出标。其实实战营第一课的进阶作业就编译了一个目标检测APP。我用那个小程序识别了一张小猫对着手枪举起俩前爪的图片。结果小猫识别对了,手枪被识别成了吹风机。我觉得视频目标检测非常神奇,因为一张图片上可能有很多东西,它是怎么会把目标认出来呢?今天的模型更强悍,不但要识别对象,还要识别出动作。听了老师的讲解,我终于知道了检测模型底层是怎么运作的——原来在识别之前需要一个标注的过程,由人框出目标,并给目标赋予属性。这个过程目前还没办法依靠机器自动完成。标注完成之后才会进入到训练和推理等后续环节。

课程回看:https://www.bilibili.com/video/BV1PT4y1c7gp

作业过程

有了前两节课的作业经历,ModelArts的操作套路已经很熟悉,加上老师提供的作业指南(附后)说明很详细,完成本次课程的作业并不困难。而且今天ModelArts公测环境非常给力,提交之后几乎不需要排队,几分钟就输出结果,所以用小半天的时间就完成了作业。

目标检测算法面试常见问题 目标检测实战_图像分类

  • 体验作业:输入图片,利用已经训练好的模型进行动作检测。
  • 进阶作业:将输入视频分解为帧图像,再把帧图像重组为输出视频。

进阶作业稍微复杂一些。首先是视频获取的问题。本次课与以前课程不太一样的地方,就是需要自己找数据了。我感觉网上找的比赛视频片段都不够清晰。最后选择了一段央视网体育频道的一场比赛录像,用EVCapture录制了20秒左右的片段,保存成1280*720的MP4文件。其次是作业指南中的视频转换参考脚本提示了关键步骤,需要补全代码才能完全从视频到图片的转换。我没用过opencv,因而用jupyter notebook(附后)分步执行,能够观察每一步执行结果,出了什么错能立马就知道。我感觉这些工具对于完成作业非常有帮助。

前课笔记:

MindSpore21天实战营手记(一):基于MindSpore Lite开发端侧AI图像分类应用

MindSpore21天实战营手记(二) :基于Bert进行中文新闻分类

MindSpore21天实战营手记(三) :基于ResNet50的毒蘑菇识别模型