神经网络 南洋理工 神经网络专业

以下内容是我听吴恩达深度学习微专业第一课做的学习笔记，主要是按自己的理解回答一些问题，并非全部出自课程内容。

1. 什么是神经网络？

神经网络是诸多机器学习方法中的一种，受人类大脑工作方式的启发而发明的。人类大脑的一个神经元通过多个树突来接收来自不同神经元的信号，接着细胞核处理信号，然后通过同一个轴突输出信号，很多的神经元通过连接组成人类的大脑。在神经网络中，类比于单个神经元的是所谓的“操作”，它可以接收来自其他操作的输出，处理这些信息，并输出唯一的一个结果。很多的“操作”按照一定的方式组装形成神经网络。

2. 什么是深度学习？

深度学习是神经网络算法的一种，这里的“深度”指的是神经网络的层数较多，一般至少要包含1个隐含层。

3. 深度学习为什么会在火起来？

最主要的原因是深度学习的特性，在小数据量下，深度学习的优势不是很明显，而随着供给给深度学习算法的数据越来越多，其优势越发明显。而近来在三个方面的进展，可以总结为“ABC”，使得其优势发挥出来。这里的A就是指算法的进步，B指的是大数据，C指的是计算力。在算法方面，包括更好更深的网络架构，比如VGG16，ResNet等，更好的激活函数，比如线性整流函数Relu的使用，更多的正则化方法，比如随机失活Dropout等。在大数据方面，互联网和手机的普及，使得可用的数据急剧增大。在计算力方面，基于摩尔定律的CPU算力增长和GPU的广泛使用，使得计算力大幅增长。正是在这样的背景下，深度学习才能这么火。

4. 什么是监督学习？

监督学习是指从有标记的数据集中学习输入和输出之间关系的一类机器学习算法。

5. 什么是逻辑回归？

逻辑回归又叫二分类算法，是指输出只有0和1两种结果的算法。

6. 逻辑回归的数学表达式推导？