改良网络的方法：
1.更改损失函数：将均方差损失函数MSELoss() 更改为 BCEloss。更改后测试数据集的性能分（准确率）从87%提高到91%。但下降速度较MSELoss慢，且噪声更大。
2.更改激活函数：S型激活函数的缺点是：在输入值变大时，梯度会变得非常小甚至消失。这意味着，在训练神经网络时，如果发生这种饱和，我们无法通过梯度来更新链接权重。
可选用直线作为激活函数，直线的固定梯度是永远不会消失的
3.改良反向传播梯度更新网络权重的方法。
随机梯度下降的缺点之一是，它会陷入损失函数的局部最小值（local minima）
另一个缺点是，它对所有可学习的参数都使用单一的学习率。
最常见的代替优化器是Adam,它直接解决了以上两个缺点。首先，它利用动量（momentum）的概念，减少陷入局部最小值的可能性。同时，它对每个可学习参数使用单独的学习率，这些学习率随着每个参数在训练期间的变化而改变.
4.假设我们用一个被训练用于生成图像的神经网络，取代之前只能用于生成低质量图像的组件。我们称它为生成器（G ）.同时，我们把分类器称为鉴别器（D）。
鉴别器的作用是把真实的图像和生成的图像区分开。如果生成器表现不佳，区分工作很容易通过。如果训练生成器，它的表现会越来越好，并且生成越来越逼真的图像。
如何训练生成器。训练的关键在于，我们希望奖励哪些行为，惩罚哪些行为。这也正是损失函数的作业。
如果图像通过了鉴别器的检验，我们就奖励生成器。
如果伪造的图像被识破，我们惩罚生成器。
下面的三步训练循环是实现这一目标的一种方法。
第1步——向鉴别器展示一个真实的数据样本，告诉它该样本的分类应该是1.我们再用损失来更新鉴别器。
第2步——训练鉴别器。向鉴别器显示一个生成器的输出，告诉它该样本的分类应该是0。我们只用损失来更新鉴别器。在这一步我们不要更新生成器。因为我们不希望它因为被鉴别器识破而受到奖励。在编写GAN的代码时，我们要考虑如何防止更新通过计算图回到生成器。
第3步——训练生成器。向鉴别器显示一个生成器的输出，告诉生成器结果应该是1.我们只用结果的损失来更新生成器，而不更新鉴别器。因为我们不希望因为错误分类而奖励鉴别器。
我们希望生成器和鉴别器是共同学习的，而不是一方快，或者是一方慢。
标准的GAN训练循环有3个步骤。
（1）用真实的训练数据集训练鉴别器；
（2）用生成的数据训练鉴别器；
（3）训练生成器生成数据，并使鉴别器以为它是真实数据。
