先来2个博客镇博：
1、线性模型和非线性模型的区别，以及激活函数的作用：
这篇博客说的是：
a、线性模型可以是用曲线拟合样本，但是分类的决策边界一定是直线的。
b.、区分是否为线性模型，主要是看一个乘法式子中自变量x前的系数w,如果w只影响一个x，那么此模型为线性模型。
对于b有疑问：
疑问1、
y=θ1*x^2+θ2*x+2是线性还是非线性？可以看出来，对于参数θ，模型是线性的，但是对于输入x是非线性的。
如果从分类的决策边界是否是直线来判断，则y=θ1*x^2+θ2*x+2是非线性的，因为它的判决边界是曲线，但是从2的观点来看：符合
Response = constant + parameter * predictior1 + ... + parameter * predictior2就是线性模型，则又与“y=θ1*x^2+θ2*x+2”是非线性的说法有冲突，有冲突的原因是到底x^2与x的关系，或许没有冲突，因为y=θ1*x^2+θ2*x+2可以化简为y=θ1*（x+（θ2/(2*θ1)））^2-a的形式，则x即受θ1影响，也受θ2影响，则就没有冲突了。
疑问2、
如果模型改为：y=θ1*x+θ2*（2*x），这个模型是线性的还是非线性的？
我的理解：
这个模型依然是线性的，虽然自变量x与θ1和θ2都有关系，但是整理之后：y=（θ1+2*θ2）*x，可以看出来θ1和θ2是线性关系，那为什么疑问1里确实非线性关系呢？是因为疑问1里：θ1和θ2不是线性关系。
疑问3、
这个模型：
，是线性还是非线性？
我的理解：
这个模型依然是线性的，可以把x_2^2看成一个变量x_3，那么w1影响x1，w2影响x3，该模型反映在坐标轴上就是3维的，判决边界是平面，模型的样子可以脑补。
2、线性模型和非线性模型的区别：
这篇博客说的是：
判断模型是不是线性模型，就是根据参数与自变量的关系。
对1、2观点的反对声音：
对1、2观点支持的声音：
https://statisticsbyjim.com/regression/difference-between-linear-nonlinear-regression-models/
我支持1、2.
复述：
线性和非线性，在于参数θ，而不是在于自变量。
线性只有一种表达方式，除此之外都是非线性：
a、有个常量
b、每个θ对应一个自变量。
不满足线性的表达方式的都是非线性。
线性用等式来表述的例子：
，其中x_2即使变为x_1，该式子也是线性的。
稍加灵活点，就是非线性的，所以非线性的表示很多，所以非线性的表达能力强，例如：
Power:
Weibull growth:
Fourier:
一些疑问：
1、神经网络，如果没有激活函数的存在，那么它是非线性的吗？
问题来源：
比如“但是神经网络，每个神经元如果都是线性神经元，那么最终网络可以表示成f(x) = W3(W2(W1x)))这种模式，这样的神经网络是非线性的？？？”
我的思考：
之前做深度学习相关时候，认为神经网络是因为加了非线性变换（激活函数）之后，才能处理非线性问题。
现在看来不全是，神经网络的非线性处理能力部分来自于层的叠加，但是这种能力相当有限，其实是多个线性模型的组合，：
比如：f(x) = W3(W2(W1x))) ，x受w1,w2，w3的影响，但是w1,w2，w3之间是线性关系，本质上还是线性模型，但是它就像是用多个直线去拟合曲线，比如w1*x会得到对f(x)的一个拟合，但是外层的w2会对上个拟合结果进行调整：w2*（w1*x），该调整还是线性的，然后最外层的w3也会对上一个拟合结果进行调整：w3*（w2*（w1*x）），该调整还是线性的，如果参数是无穷多的话，那么可以对w1*x这个直线进行无数次调整，使其拟合目标数据。
问题是：不可能有无数个参数，所以需要激活函数：
详细解释：
由于简单的叠加层，并不能处理非线性问题，所以需要加入激活函数，当加入激活函数之后，自变量与因变量之间的关系不再是比例关系，也就是非线性关系，那么随自变量的变换，因变量不再是等比例的变化，反映在曲线拟合上就是更加具有弹性（可弯曲性），也就是更能拟合复杂的曲线。可以参考sigmoid函数的曲线。
总结：
1、判断一个模型是线性的，根据是：
影响一个自变量的参数（可能是多个）之间是不是线性关系。
2、线性模型的决策边界不能仅仅是（或者称作）直线，应该称作超平面（直线也是超平面的一个特例）），可以参考svm中的分离超平面。
欢迎探讨。
