第一章,课程概述
本课程将讲述人工神经网络和很多神经网络级联形成的深度网络的基本原理,和基于神经网络的各种算法和编程实例。本章概述讲述了什么是人工神经网络、神经网络与深度学习应用、神经网络与深度学习发展。
神经网络:神经网络(Neural Network)最早由心理学家和神经学家开创,旨在寻求开发和检验神经的计算模拟。它是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能模拟生物神经系统对真实世界物体所作出的交互反应。今天的“神经网络”已是一个相当大的、多学科交叉的学科领域。神经网络可以用于分类(预测给定元组的类标号)和数值预测(预测连续值输出)等。
深度学习是机器学习领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标—人工智能。 深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。
1.什么是人工智能
2.机器学习与神经网络历史
2.人工智能的发展与应用
第二章,线性分类与感知机
1.线性回归: 是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。我们可以用一条曲线去尽量准的拟合这些数据,然后如果有新的输入过来,我们可以在将曲线上这个点对应的值返回。如下所示:
线性回归要素:
通过损失函数的最小值,进而求解线性回归的最优参数,即最优超平面,如下所示:
2.线性分类:透过特征的线性组合来做出分类决定,以达到此种目的。简言之,样本通过直线(或超平面)可分,如下:
线性分类器的输入是样本的特征向量;其输出是样本属于哪一类,如果是二分类问题则为0或1,或者是属于某类的概率,即0-1之间的数。同时,线性分类与线性回归存在一定差别:首先,输出意义不同:分类是属于某类的概率<->回归是回归具体值;其次是参数意义不同:分类是最佳分类直线<->回归是最佳拟合直线;最后是维度不同:一个是一维的回归,一个是二维的分类。
因为我们最终需要概率,结果在0-1之间,因此需要对值做一个变换,如下所示:
3.神经元模型:神经网络中最基本的成分是神经元(Neuron)模型。生物神经网络中的每个神经元彼此互连,当它“兴奋”时,就会向相连的神经元发送化学物质,从而改变这些神经元内的电位。如果某神经元的电位超过一个阈值,它就会被激活,即“兴奋”起来,向其他神经元发送化学物质 。神经元模型如图:
使用作用函数当作每一个神经元对个输入的作用。
各个神经元的连接权重通过每种训练规则进行更改,如下所示:
以上是第一周学习内容,包括神经网络的定义,发展与应用;还包括机器学习中基本的线性回归和发类算法;最后介绍了神经网络的基本单元-神经元模型的原理,构成,激励算法和权重更新方法。