1. 异或门

仅当x1或x2中的一方为 1时，才会输出1。

  • 实际上，用前面介绍的感知机是无法实现这个异或门的。
  • 为什么用感知 机可以实现与门、或门，却无法实现异或门呢？下面我们尝试通过画图来思考其中的原因。
  • 将或门的动作形象化。或门的情况下，当权重参数(b, w1,w2) = (−0.5, 1.0, 1.0) 时可以满足真值表条件。此时，感知机可用下图表示。

dnn 多层感知机_异或门

  • 图中，○表示0，△表示1；
  • 可以看出，只有在(x1,x 2) = (0, 0)时输出0，而在 (x1,x2) 为 (0,1)、(1,0)、(1,1)时输出1。
  • 如果想制作或门，用直线把图中的○和△分开就可以了。实际上，上面那条直线就将这4个点正确地分开了。

那么，换成异或门的话会如何呢？能否像或门那样，用一条直线作出分割下图中的○和△的空间呢

dnn 多层感知机_神经网络_02

很明显， 用一条直线是无法将○和△分开的。

2. 线性和非线性

虽然上面第二个图无法用直线将○和△分开，但可以用曲线，如图：

dnn 多层感知机_感知机_03


感知机的局限性就在于它只能表示由一条直线分割的空间

由这样的曲线分割而成的空间称为 非线性空间，由直线分割而成的空间称为线性空间。

3. 多层感知机

感知机不能表示异或门让人深感遗憾，但也无需悲观。实际上，感知机 的绝妙之处在于它可以“叠加层“

  • 异或门可通过组合我们前面做好的与门、与非门、或门进行配置得到。

dnn 多层感知机_dnn 多层感知机_04

异或门的真值表：

0

0

1

0

0

1

0

1

1

1

0

1

1

1

1

1

1

0

1

0

4. 异或门的实现

使用之前定义的 AND函数、NAND函数、OR函数，可以像下面这样（轻松地）实现。

def XOR(x1, x2):   
    s1 = NAND(x1, x2) 
    s2 = OR(x1, x2)  
    y = AND(s1, s2)    
    return y

#预期结果：
XOR(0, 0) # 输出0 
XOR(1, 0) # 输出1 
XOR(0, 1) # 输出1 
XOR(1, 1) # 输出0

异或门是一种多层结构的神经网络。这里，将最左边的 一列称为第0层，中间的一列称为第1层，最右边的一列称为第2层，共3层

dnn 多层感知机_dnn 多层感知机_10

图2-13 所示的感知机与前面介绍的与门、或门的感知机形状不 同。

实际上，与门、或门是单层感知机，而异或门是2层感知机（不过，有的文献认为图2-13的感知机是由3层构成的，故也称为3层感知机）。叠加了多层的感知机也称为多层感知机