看了不少有关逻辑回归的文章，感觉讲的对新手不是很友好。
所以冒昧写一篇，权当抛砖引玉。本人精力能力有限，个人理解可能与正确情况存在偏差，欢迎大家指正。
在写具体的逻辑回归之前，先想说下分类的基本思路与步骤
1.分类的基本思路与步骤
- 我们需要一个基本模型。给这个基本模型输入一系列样本的数据，依据这个模型的输出来判断这个样本属于哪一类。
- 假定右边的那个y=x就是我们的基本模型，我们在分类的时候，可以规定当输出值，也就是y的值，大于0时(y轴右半边)，可以将这个输入对应的样本分为正类；当y小于0时，将它分为负类
- 对待不同的问题，这个模型需要不同的优化调整，以达到分类相应问题的能力。
比如一个样本有两个属性值，分别为1，-1。权重分别为2，1。样本为负类。我们计算的时候，发现21-11=1，在y轴右边，应该分类为正类。是错误分类，所以我们可以调整权重为1，2或者改变模型为y=x-2。 - 为了优化这个模型，我们需要寻找一个优化函数，就是代价函数，需要依据这个函数，来优化我们的模型。
比如我们需要让属于一个类的点之间的距离小等等
在对模型进行优化调整的时候，一般是从两个方面入手。
- 调整函数参数，达到调整函数模型的目的
- 调整样本属性数据的权重，达到目的
绝大多数情况下，我们是选择后者来进行调整模型
2.逻辑回归
逻辑回归中，它也确定了一个基本函数模型，叫做逻辑回归模型。表达式如下
它的函数图像是这样的：
对于逻辑回归的介绍，可以从两个角度来思考。
从对数几率的角度理解，下回再说
1、从概率的角度来考虑
1）当我们进行分类问题的时候，如果有一只猫，我们需要去判断它的性别。我们用一个函数去检测它，发现计算出来它属于公猫的概率大于0.5。我们是不是有一定理由去相信它是一直公猫。
现在，我们回头看下逻辑回归函数，我们发现这个函数的取值在0到1之间，符合概率中的0到1取值。
当有个样本需要我们进行分类的时候，只要将这个样本的属性，带入到这个函数中，计算出来的结果，大于0.5，它就属于A类，小于0.5，它就属于B类。
从这个角度理解，这个函数就是一个简单的决策函数，一个输出概率的函数，我们依据输出的概率进行分类。
2）那接下来，我们需要确定上述逻辑回归函数的输入。
我们将输入表示成样本属性与权重的乘积和。
上述逻辑回归函数的输入表示为z，若我们将样本的属性值表示为x1,x2。则z=w1x1+w2x2+b。
大致来看，模型基本算搭建好了。如果我们有样本，将样本的属性值，通过权重作用后，输入到逻辑回归函数中，然后依据逻辑回归函数的输出值，进行分类，最后与样本的实际类别进行比较，再通过调整权重或者模型，直到得到比较满意的结果
这样看，逻辑回归函数，只是计算属性的输出值，根据输出值来判断类型而已。
3）但，仿佛没有这么简单。一群蛋疼的人，又开始捣鼓起来。
我们不根据输出值与0.5的关系来进行判断，那样大材小用了。输出值明明可以当作概率的。
比如
样本 | 属性值1 | 属性值2 | 实际类别 |
A | x1=5 | x2=9 | 正/y=1 |
B | x1=3 | x2=2 | 负/y=0 |
假如我们规定，属于正类的概率表示为p，p为上面的g(z)，z=w1x1+w2x2+b。
则负类的概率为1-p，1-p为上面的1-g(z)，z=w1y1+w2y2+b。
注意，这里有个逻辑。我们写A样本概率的时候，如果知道它是正类，它是不是利用g(z)求解出的结果是最大的。若A是负类，那我们用g(z)求解出来的数值也许为0.3，也就是说，如果我们用1-g(z)这个来求解A的负类概率的话，是为0.7
也就是说，如果所有样本都能正确分类，正类的用p计算，负类的用1-p计算，这样各自都可以得到最大的结果。那我们可以构造一个函数，它表示每个样本被分类后的概率乘积，我们的目的，是为了让这个函数最大，也就达到样本被正确分类。
所以我们需要一个表达式来表达，每一个样本被分类的概率
我们来看下这个表达式的巧妙之处。
当一个样本A被分类成正类别的时候，y=1，P=p；若A真为正类别，那这个P是最大的。
当一个样本B被分类成负类别的时候，y=0，P=1-p；若B真为负类别，那这个P也是最大的。若有n个样本，如果都被正确分类，各自最大，则他们的概率乘积也是最大的。也就是求下面函数的最大值
接下来，就是对这个进行运算，取对数，将乘积变成相加。为了计算这个的最大值，可以加一个负号，变为计算它的最小值。
直接搬运其他人内容，下图中，h(x)为上式的p，L为上式的F。
总结下，将逻辑回归的输出值当作概率，若样本被正确分类，利用正类利用p，负类利用1-p所计算的概率都是最大的，所以若所有样本都被正确分类，则每个样本概率的乘积也是最大的。可以利用数学方法，加负号，将求解最大值运算转换为求解最小值运算。
