Scikit-learn——Naive Bayes

原创

月来客栈 2022-02-22 13:50:52 博主文章分类：sklearn框架 ©著作权

文章标签 朴素贝叶斯 bayes sklearn-教程先验概率属性表 文章分类 代码人生

©著作权归作者所有：来自51CTO博客作者月来客栈的原创作品，请联系作者获取转载授权，否则将追究法律责任

本文主要介绍sklearn中关于朴素贝叶斯模型的用法,其中主要包含以下两类模型:

离散型:所有维度的特征都是离散型的随机变量
连续型:所有维度的特征都是连续型的随机变量

1.sklearn.naive_bayes.MultinomialNB

多项式朴素贝叶斯(Multinomial Naive Bayes),即所有特征都是离散型的随机变量(例如在做文本分类时所使用的词向量就是离散型的).在sklearn中,这个方法的名称为MultinaomialNB.其相关信息如下:

参数表	含义
alpha	平滑项;浮点型,默认值为1,即拉普拉斯平滑
fit_prior	是否学习先验概率;布尔型,默认值为True.若为false,将使用均匀分布作为先验概率
class_prior	指定先验概率;默认为不指定

注:在sklearn中,计算先验概率时并没有加入平滑项

属性表	含义
class_log_prior_	先验概率取自然对数
class_count_	每个类别中各有多少实例数

方法表	含义
fix(X,y)	拟合
get_params()	获取参数表中的参数
predict(X)	返回预测出的结果
predict_proba(X)	返回预测出的概率值
score(X,y)	返回准确率

示例

import textProcess as tp
from sklearn.naive_bayes import MultinomialNB
from sklearn.cross_validation import train_test_split
from sklearn.metrics import classification_report
import numpy as np

data,target= tp.preProcessing()
X_train,X_test,y_train,y_test = train_test_split(data,target,test_size=0.30)
mnb = MultinomialNB()
mnb.fit(X_train,y_train)
y_pre = mnb.predict((X_test))
# print y_pre
# print y_test
print 'class count',mnb.class_count_
print 'The accuracy of Naive Bayes Classifier is',mnb.score(X_test,y_test)
print classification_report(y_test,y_pre)

源码

2.sklearn.naive_bayes.GaussianNB

处理离散型随机变量有一个最直观的方法:使用小区间切割,直接使其离散化.由于这种方法较难控制小区间的大小,而且对训练集质量的要求较高;所以采用第二种方法:假设该变量服从高斯分布(正太分布),在利用极大似然估计来计算变量的条件密度.

该方法没有参数,方法表同上

属性表	含义
class_prior_	先验概率
class_count_	每个类别中各有多少实例数
theta_	高斯分布参数
sigma_	高斯分布参数

示例

import textProcess as tp
from sklearn.naive_bayes import MultinomialNB
from sklearn.naive_bayes import GaussianNB
from sklearn.cross_validation import train_test_split
from sklearn.metrics import classification_report
import numpy as np



data,target= tp.preProcessing()
X_train,X_test,y_train,y_test = train_test_split(data,target,test_size=0.30)

mnb = MultinomialNB()
mnb.fit(X_train,y_train)
print 'The accuracy of Naive Bayes Classifier is',mnb.score(X_test,y_test)

gnb = GaussianNB()
gnb.fit(X_train,y_train)
print 'The accuracy of Naive Bayes Classifier is',gnb.score(X_test,y_test)

>>
>>
The accuracy of Naive Bayes Classifier is 1.0
The accuracy of Naive Bayes Classifier is 1.0