onehot编码 python onehot编码例子

转载

lanhy 2024-01-10 12:01:47

文章标签 onehot编码 python 机器学习 One_Hot编码独热编码一位有效编码 文章分类 Python 后端开发

1.One-Hot编码

One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。
One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。

2.One_Hot的产生

在机器学习算法中，我们经常会遇到分类特征，例如：人的性别有男女，祖国有中国，美国，法国等。
这些特征值并不是连续的，而是离散的，无序的。通常我们需要对其进行特征数字化。

那什么是特征数字化呢？例子如下：

性别特征：["男"，"女"]
祖国特征：["中国"，"美国，"法国"]
运动特征：["足球"，"篮球"，"羽毛球"，"乒乓球"]

假如某个样本（某个人），他的特征是这样的["男","中国","乒乓球"]，我们可以用 [0,0,4] 来表示，但是这样的特征处理并不能直接放入机器学习算法中。因为类别之间是无序的（运动数据就是任意排序的）。

3.One_Hot应用实例:

性别特征：["男","女"]，按照N位状态寄存器来对N个状态进行编码的原理，咱们处理后应该是这样的（这里只有两个特征，所以N=2）：

男 => 10

女 => 01

祖国特征：["中国"，"美国，"法国"]（这里N=3）：

中国 => 100

美国 => 010

法国 => 001

运动特征：["足球"，"篮球"，"羽毛球"，"乒乓球"]（这里N=4）：

足球 => 1000

篮球 => 0100

羽毛球 => 0010

乒乓球 => 0001

所以，当一个样本为["男","中国","乒乓球"]的时候，完整的特征数字化的结果为：

[1，0，1，0，0，0，0，0，1]

下图可能会更好理解：

onehot编码 python onehot编码例子_一位有效编码

4.One_Hot在Python中的应用

3.1 pandas自带的get_dummies()【适合含有字符串类型的数据】

好处： * 1.本身就是 pandas 的模块，所以对 DataFrame 类型兼容很好.
* 2.无论你的列是字符型还是数字型都可以进行二值编码.
* 3.能根据用户指定，自动生成二值编码后的变量名.

问题：get_dummies 没有sklearn 的 transformer方法，所以一旦测试集中出现了训练集未曾出现过的特征取值，简单地对测试集、训练集都用 get_dummies 方法将导致数据错误。也无法像 sklearn 的transformer一样可以输入到pipeline中进行流程化地机器学习过程。

3.2 sklearn的OneHotEncoder()【适合只含数值型的数据】

通过 OneHotEncoder() 自带的 feature_indices_ 可以知道哪几列对应哪个原来的特征

使用 numpy.hstack() 将多次结果拼接起来得到变换后的结果

问题：不能直接编码字符串类型数据（LabelEncoder() + OneHotEncoder() 可实现，但需数据格式转换）

from sklearn import preprocessing

enc = preprocessing.OneHotEncoder()
enc.fit([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]])  # 4个数据，3种特征

array = enc.transform([[0, 1, 3]]).toarray()  #新数组做测试

print(array)
# [[ 1  0  0  1  0  0  0  0  1]]