大家好，今天我们学习【马上学tensorflow 2.0】之 深度学习的工作原理。
我们 马上学三点 ：
- 权重：神经网络是由其权重来参数化
- 损失函数：衡量网络输出结果的质量
- 优化器：将损失值作为反馈信号来调节权重
大家可以点击下面的“ 了解更多 ”，或搜索“ 马上学123 ”，在线观看PPT讲义。
权重：神经网络是由其权重来参数化
- 机器学习是将输入映射到目标， 比如图像映射到标签“猫”。 这一过程是通过观察许多输入和目标的示例来完成的。
- 深度神经网络通过一系列简单的数据变换(层) 来实现这种输入到目标的映射， 而这些数据变换都是通过观察示例学习到的。
下面来具体看一下这种学习过程是如何发生的： 神经网络中每层对输入数据 所做的具体操作保存在该层的权重(weight)中， 其本质是一串数字。 用术语来说，每层实现的变换由其权重来参数化。
权重有时也被称为该层的参数， 在这种语境下， 学习的意思是为神经网络的所有层找到一组权重值， 使得该网络能够将每个示例输入与其目标正确地一一对应。
但重点来了： 一个深度神经网络可能包含数千万个参数， 找到所有参数的正确取值可能是一项非常艰巨的任务， 特别是考虑到修改某个参数值将会影响其他所有参数的行为。
损失函数：衡量网络输出结果的质量
想要控制神经网络的输出， 就需要能够衡量该输出与预期值之间的距离， 这是神经网络损失函数(loss)的任务， 该函数也叫目标函数。
损失函数的输入是网络预测值与真实目标值， 然后计算一个距离值， 衡量该网络在这个示例上的效果好坏。
优化器：将损失值作为反馈信号来调节权重
深度学习的基本技巧是 利用这个距离值作为反馈信号来对权重值进行微调， 以降低当前示例对应的损失值。 这种调节由**优化器(optimizer)**来完成。
它实现了所谓的反向传播算法， 这是深度学习的核心算法。 我们后面会详细地解释反向传播的工作原理。
一开始对神经网络的权重随机赋值， 因此网络只是实现了一系列随机变换。 其输出结果自然也和理想值相去甚远，相应地，损失值也很高。
但随着网络处理的示例越来越多， 权重值也在向正确的方向逐步微调， 损失值也逐渐降低。 这就是训练循环(training loop)， 将这种循环重复足够多的次数(通常对数千个示例进行数十次迭代)， 得到的权重值可以使损失函数最小。
具有最小损失的网络， 其输出值与目标值尽可能地接近， 这就是训练好的网络。
一旦具有足够大的规模，将会产生魔法般的效果。
总结
- 学习是指找到一组模型参数， 使得在给定的训练数据样本和对应目标值上的损失函数最小化。
- 损失是在训练过程中需要最小化的量，
- 优化器是使用损失梯度更新参数的具体方式
这里讲了三点，关键词有哪几个？
问题：训练循环是什么样的？
欢迎回复评论!
马上学123，很简单！
