一、问题与解决方案

通过多元分类算法进行手写数字识别,手写数字的图片分辨率为8*8的灰度图片、已经预先进行过处理,读取了各像素点的灰度值,并进行了标记。

机器学习框架ML.NET学习笔记【4】多元分类之手写数字识别_特征值

其中第0列是序号(不参与运算)、1-64列是像素值、65列是结果。

我们以64位像素值为特征进行多元分类,算法采用SDCA最大熵分类算法。

二、源码

 先贴出全部代码:

机器学习框架ML.NET学习笔记【4】多元分类之手写数字识别_数据处理_02

机器学习框架ML.NET学习笔记【4】多元分类之手写数字识别_机器学习_03

机器学习框架ML.NET学习笔记【4】多元分类之手写数字识别_.net_04

三、分析

 整体流程和二元分类没有什么区别,下面解释一下有差异的两个地方。

 1、加载数据


机器学习框架ML.NET学习笔记【4】多元分类之手写数字识别_.net_05


  这次我们不是通过实体对象来加载数据,而是通过列信息来进行加载,其中PixelValues是特征值,Number是标签值。

2、训练通道

 

机器学习框架ML.NET学习笔记【4】多元分类之手写数字识别_数据处理_06

 首先通过MapValueToKey方法将Number值转换为Key类型,多元分类算法要求标签值必须是这种类型(类似枚举类型,二元分类要求标签为BOOL类型)。关于这个转换的原因及编码方式,下面详细介绍。

四、键值类型编码与独热编码

 MapValueToKey功能是将(字符串)值类型转换为KeyTpye类型。

有时候某些输入字段用来表示类型(类别特征),但本身并没有特别的含义,比如编号、电话号码、行政区域名称或编码等,这里需要把这些类型转换为1到一个整数如1-300来进行重新编号。

举个简单的例子,我们进行图片识别的时候,目标结果可能是“猫咪”、“小狗”、“人物”这些分类,需要把这些分类转换为1、2、3这样的整数。但本文的标签值本身就是1、2、3,为什么还要转换呢?因为我们这里的一二三其实不是数学意义上的数字,而是一种标志,可以理解为壹、贰、叁,所以要进行编码。

 MapKeyToValue和MapValueToKey相反,它把将键类型转换回其原始值(字符串)。就是说标签是文本格式,在运算前已经被转换为数字枚举类型了,此时预测结果为数字,通过MapKeyToValue将其结果转换为对应文本。

MapValueToKey一般是对标签值进行编码,一般不用于特征值,如果是特征值为字符串类型的,建议采用独热编码。独热编码即 One-Hot 编码,又称一位有效编码,其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候,其中只有一位有效。例如:

自然状态码为:0,1,2,3,4,5
独热编码为:000001,000010,000100,001000,010000,100000

怎么理解这个事情呢?举个例子,假如我们要进行人的身材的分析,但我们希望加入地域特征,比如:“黑龙江”、“山东”、“湖南”、“广东”这种特征,但这种字符串机器学习是不认识的,必须转换为浮点数,刚才提到MapKeyToValue可以把字符串转换为数字,为什么这里要采用独热编码呢?简单来说,假设把地域名称转换为1到10几个数字,在欧氏几何中1到3的欧拉距离和1到9的欧拉距离是不等的,但经过独热编码后,任意两点间的欧拉距离都是相等的,而我们这里的地域特征仅仅是想表达分类关系,彼此之间没有其他逻辑关系,所以应该采用独热编码。
机器学习框架ML.NET学习笔记【4】多元分类之手写数字识别_数据处理_07

五、进度调试

一般机器算法的数据拟合过程时间都比较长,有时程序跑了两个小时还没结束,也不知道还需要多长时间,着实让人着急,所以及时了解学习进度,是很有必要的。

由于机器学习算法一般都有“递归直到收敛”这种操作,所以我们是没有办法预先知道最终运算次数的,能做到的只能打印一些过程信息,看到程序在动,心里也有点底,当系统跑过一次之后,基本就大致知道需要多少次拟合了,后面再调试就可以大致了解进度了。补充一句,可不可以在测试阶段先减少样本数据进行快速调试,调试通过后再切换到全样本进行训练?其实不行,有时候样本数量小,可能会引起指标震荡,时间反而长了。

之前在Githube上看到有人通过MLContext.LOG事件来打印调试信息,我试了一下,发现没法控制筛选内容,不太方便,后来想到一个方法,就是新增一个自定义数据处理通道,这个通道不做具体事情,就打印调试信息。

类定义:


机器学习框架ML.NET学习笔记【4】多元分类之手写数字识别_特征值_08


 使用方法:

机器学习框架ML.NET学习笔记【4】多元分类之手写数字识别_特征值_09

 通过CustomMapping加载我们自定义的数据处理通道,由于数据集是懒加载(Lazy)的,所以必须把我们自定义数据处理通道的输出加入为特征值,才能参与运算,然后算法在操作每一条数据时都会调用到CustomAction方法,这样就可以打印进度信息了。为了不影响运算结果,我们把这个数据处理通道的输出值固定为1.0f 。