教你开发图像识别垃圾分类app

朋友们，如需转载请标明出处​

 

随着6月结束，7月开始，最近上海最火的话题是垃圾分类无疑了。。上海人民是每天早晚俩小时定时定点扔垃圾。

干湿垃圾要分开，把湿垃圾从垃圾袋里倒进桶里，再把垃圾袋扔进干垃圾桶 😂

龙虾🦞壳是干垃圾，龙虾🦞肉是湿垃圾，请你分开扔，谢谢😂

猪🐷能吃的是湿垃圾，不能吃的是干垃圾，吃了会死的是有毒垃圾，卖了能买猪🐷的是可回收垃圾

 

 

 

看完是不是要崩溃了？！别担心，本人周末花一下午精心制作的看图识垃圾app，主要依赖 tensorflow coco-ssd 来识别照片中的多物体，然后找了个不知名的api，返回垃圾的分类。例如：

 

 

 

制作过程简述

首先，网上已经有很多可以输入文字查询垃圾分类的网站了，我灵光一闪：要是可以直接通过图像垃圾分类岂不更好。然后找到了tensorflow.js 的官方指南：

<!-- Load TensorFlow.js. This is required to use coco-ssd model. -->
<script src="https://cdn.jsdelivr.net/npm/@tensorflow/tfjs"> </script>
<!-- Load the coco-ssd model. -->
<script src="https://cdn.jsdelivr.net/npm/@tensorflow-models/coco-ssd"> </script>
<img id="img" src="cat.jpg"/>
<script>
  // Notice there is no 'import' statement. 'cocoSsd' and 'tf' is
  // available on the index-page because of the script tag above.

  const img = document.getElementById('img');

  // Load the model. 在浏览器里fetch和加载模型到内存可能要花1分钟以上
  cocoSsd.load().then(model => {
    // detect objects in the image.
    model.detect(img).then(predictions => {
      console.log('Predictions: ', predictions);
    });
  });
</script>

复制代码

可见，Google tensorflow 已经把常用的机器学习模型做到开箱即用的水平，非常方便。当然，这个多物体检测的函数返回的是个数组，包含了对象在图中的bbox，而且里面的分类标签都是英文的：

[{
  bbox: [x, y, width, height],
  class: "person",
  score: 0.8380282521247864
}, {
  bbox: [x, y, width, height],
  class: "kite",
  score: 0.74644153267145157
}]
复制代码

那么问题来了：网上的垃圾分类api 都是要求输入中文的！！我第一时间想到了 Bing Translate API 把英文翻译成中文再去查询分类。所以又去申请了个Azure 的免费账号，还好我有master card，付了一美金才搞定。具体的可以参考最后的官方文档链接

经过一顿折腾，终于搞定，就是识别率很低。毕竟没有专门训练垃圾分类的模型，只是用现成的物体检测模型。

所以有很多搞笑的结果 ：