一、总结
一句话总结：
回归算法：线性回归是一种基本的回归算法，当给出相应的训练集后，通过线性回归来寻找合适参数θ（向量）使得Hypothesis函数的Cost function最小。
分类算法：逻辑回归是一个分类算法，逻辑回归的Hypothesis和线性回归非常相似，唯一的区别在于外层的sigmoid function
sigmoid：简单来说，当参数大于0时，则函数值趋近于1，而当参数值小于0时，函数值趋近于0。因此逻辑回归的Hypothesis可以解释为样本x属于正类型的概率。当θx>0后，概率趋近于1，反之则趋近于0。
1、回归和分类？
分类模型是将回归模型的输出离散化：回归模型和分类模型本质一样，分类模型是将回归模型的输出离散化
2、线性回归和逻辑回归的回归函数以及代价函数？
线性回归回归函数：$$h_{\theta}(x)={\Theta}^TX$$
线性回归代价函数：$$J(\theta)=\frac{1}{2m}\sum\limits_{i=0}^{m}(h_{\theta}(x^i)-y^i)^2$$
逻辑回归回归函数：$$h_\theta(x)=\frac{1}{1+e^{-{\Theta}X}}$$
逻辑回归代价函数：$$J(\theta)=-y^i{\times}logh_{\theta}(x^i)+(1-y^i){\times}log(1-h_{\theta}(x^i))$$
二、线性回归 逻辑回归 分类问题的区别
线性回归
回归函数： $$h_{\theta}(x)={\Theta}^TX$$
代价函数：$$J(\theta)=\frac{1}{2m}\sum\limits_{i=0}^{m}(h_{\theta}(x^i)-y^i)^2$$
逻辑回归
回归函数：$$h_\theta(x)=\frac{1}{1+e^{-{\Theta}X}}$$
代价函数：$$J(\theta)=-y^i{\times}logh_{\theta}(x^i)+(1-y^i){\times}log(1-h_{\theta}(x^i))$$
区别
逻辑回归和线性回归的区别在于输出结果通过了sigmiod函数使得其取值范围在(0，1)上。
回归和分类
回归模型和分类模型本质一样，分类模型是将回归模型的输出离散化
三、线型回归、逻辑回归和神经网络的区别
转自或参考：线型回归、逻辑回归和神经网络的区别
https://www.jianshu.com/p/4cd238493cbd
一、线型回归（Linear regression）
二、梯度下降（Gradient descent)
三、逻辑回归（Logistic regression）
逻辑回归是一个分类算法，逻辑回归的Hypothesis和线性回归非常相似：
四、Bias、Variance
五、Regularization
总结：线型回归和逻辑回归都是适合线型可分的情况
六、神经网络
实际上，可以将Logistic Regression看做是仅含有一层神经元的单层的神经网络。一般用于二分类网络，线性可分的情况，是一个线性模型，激活函数为Sigmoid，logistic regression的一个优点是logistic cost function 是一个凸函数，可以求得全局最小值，可以用极大似然估计求解。
神经网络是一个对于处理复杂的非线性模型很优秀的算法。
神经元：
代表一个神经元
神经网络：
就是一组神经元连接在一起的集合。神经网络的第一层是输入层，值为xi，最后一层是输出层，如果作为分类算法训练则有多少个类别就应该有多少个对应的输出单元，对应的输出单元被激活代表着分类的结果。隐藏层可以有多层，每层可以有多个单元，规模越大训练的模型越复杂。而对于隐藏层中的每个单元本身都是一个逻辑回归的过程，也就是说每个隐藏单元都训练出了一个比前一层更加复杂的特征，这样一层接一层我们就可以训练出越来越复杂的特征，直到得到结果。
