激活函数其中一个重要的作用是加入非线性因素的，解决线性模型所不能解决的问题。 这个解释理解激活函数作用，看这篇文章就够了！这篇文章已经解释的比较清楚。 下面从另一个角度来解释一下激活函数的作用，特征的充分组合。
首先我们看一个简单的感知机如下：
其中x1,x2输入均为特征的输入
激活函数采取sigmoid函数,公式表达如下：
此时，我们可能看不出什么不同，但是根据泰勒展开，
我们能够看到，将x3代码到激活函数的时候，其实激活函数的e^x泰勒展开后，有平方项，有立方项，有更高的项，这些自动能够把输入特征进行两两组合，进行三三组合或者其它的组合。
比如其中的平方项体现了将特征进行两两组合：
这就把原来需要领域知识的专家对特征进行组合的情况，在激活函数运算后，其实也能够起到类似特征组合的作用。
（只要激活函数中有能够泰勒展开的函数，就可能起到特征组合的作用）
这也许能给我们一些思考。
致谢：张梅山老师
推荐阅读：
这样的秘籍也许能帮你通关最近火爆的谷歌“猜画小歌”？ 我就不信看完这篇你还搞不懂信息熵 通俗易懂讲解感知机（三）--收敛性证明与对偶形式以及python代码讲解
