原创 LeoLRH 光城 2018-11-15
生成式对抗网络初期知识——Gan（一）【今日知图】
括号切换
% 括号匹配及切换
0.说在前面1.生成式对抗网络前奏2.基本思想3.生成模型与判别模型4.生成式对抗网络5.基本原理
0.说在前面
今天迎来了我公众号第一篇投稿方，也就是大家所看到的的本篇文章，下面是作者介绍！
川大本科软件工程刘瑞航，LeoLRH，研究方向，遥感图像相关融合，现在的目的就是尽量保研，Never to be the low, fight for the best!
本篇所有归属权为该作者所有！下面一起来看优秀本科生对生成对抗网络的认识！
1.生成式对抗网络前奏
是近些年来最火的无监督学习方法之一，模型由 Goodfellow 等人在 2014 年首次提出，将博弈论中非零和博弈思想与生成模型结合在一起，巧妙避开了传统生成模型中概率密度估计困难等问题，是生成模型达到良好的效果。
2.基本思想
囚徒困境
1950 年，由就职于兰德公司的梅里尔 · 弗勒德和梅尔文 · 德雷希尔拟定出相关困境的理论，后来由顾问艾伯特 · 塔克以囚徒方式阐述，并命名为 “囚徒困境”。经典的囚徒困境如下：
警方逮捕甲、乙两名嫌疑犯，但没有足够证据指控二人有罪。于是警方分开囚禁嫌疑犯，分别和二人见面，并向双方提供以下相同的选择：
若一人认罪并作证检控对方（相关术语称 “背叛” 对方），而对方保持沉默，此人将即时获释，沉默者将判监 10 年。
若二人都保持沉默（相关术语称互相 “合作”），则二人同样判监半年。
若二人都互相检举（互相 “背叛”），则二人同样判监 5 年。
纳什均衡与帕累托最优
如同博弈论的其他例证（详细了解统计学习），囚徒困境假定每个参与者（即 “囚徒”）都是利己的，即都寻求最大自身利益，而不关心另一参与者的利益。那么囚徒到底应该选择哪一项策略，才能将自己个人的刑期缩至最短？两名囚徒由于隔绝监禁，并不知道对方选择；而即使他们能交谈，还是未必能够尽信对方不会反口。就个人的理性选择而言，检举背叛对方所得刑期，总比沉默要来得低。试设想困境中两名理性囚徒会如何作出选择：
若对方沉默、我背叛会让我获释，所以会选择背叛。
若对方背叛指控我，我也要指控对方才能得到较低的刑期，所以也是会选择背叛。
二人面对的情况一样，所以二人的理性思考都会得出相同的结论——选择背叛。
背叛是两种策略之中的支配性策略。因此，这场博弈中唯一可能达到的纳什均衡，就是双方参与者都背叛对方，结果二人同样服刑 5 年。 这场博弈的纳什均衡。
而这显然不是顾及团体利益的帕累托最优解决方案。以全体利益而言，如果两个参与者都合作保持沉默，两人都只会被判刑半年，总体利益更高，结果也比两人背叛对方、判刑 5 年的情况较佳。但根据以上假设，二人均为理性的个人，且只追求自己个人利益。均衡状况会是两个囚徒都选择背叛，结果二人判监均比合作为高，总体利益较合作为低。这就是 “困境” 所在。
这个例子有效地证明了：非零和博弈中，帕累托最优和纳什均衡是互相冲突的。
这个例子转换成机器学习而言，就是：
生成模型与判别模型
3.生成模型与判别模型
机器学习的任务就是学习一个模型，应用这个模型，对给定的输入预测相应的输出。这个模型的一般形式为决策函数 Y=f(x)，或者条件概率分布：Y=argmaxP(Y|X)。
机器学习方法又可以分为生成方法和判别方法，所利用的的模型分别称为生成模型（Generative Model）和判别模型（Discriminative Model）。
判别方法由数据直接学习决策函数 f(X)，或者条件概率分布 P(Y|X) 作为预测模型，即判别模型。
生成方法由数据学习联合分布 P(X,Y)，然后求出条件概率分布 P(Y|X) 做预测的模型，即为生成模型，具体公式如下：P(Y|X)=P(X,Y)/P(X)（朴素贝叶斯公式）
相比于判别方法，生成模型更关注数据之间的内在联系，需要学习联合分布；而判别模型更关注于给定输入 X，模型应该预测怎么样的输出 Y。由生成模型可以推导出判别模型，反之则不能。
4.生成式对抗网络
什么是对抗生成网络？用 Ian Goodfellow 自己的话来说：
生成对抗网络是一种生成模型（Generative Model），其背后基本思想就是从训练库里获取很多训练样本，从而学习这些训练案例生成的概率分布。而实现的方法，是让两个网络相互竞争，‘玩一个游戏’。其中一个叫做生成器网络（ Generator Network），它不断捕捉训练库里真实图片的概率分布，将输入的随机噪声（Random Noise）转变成新的样本（也就是假数据）。另一个叫做判别器网络（Discriminator Network），它可以同时观察真实和假造的数据，判断这个数据到底是不是真的。”
5.基本原理
生成对抗网络是一个强大的基于博弈论的生成模型学习框架。该模型由 GoodFellow 在 2014 年首次提出，结合了生成模型和对抗学习思想。生成对抗网络的目的是训练一个生成模型 G，给定随机噪声向量 noise，生成符合真实数据分布的样本。 G 训练信号来自于判别器 D(x)。 D(x) 的学习目标目是准确区分输入样本的来源（真实数据或生成数据）， 而生成器 D 的学习目标是生成尽可能真实的数据，使得判别器 G 认为生成数据是真实的。整个模型使用梯度下降法进行训练，生成器和判别器可以根据特定的任务选择具体的模型，包括但不限于全连接神经网络（FCN）、卷积神经网络（CNN）、回归神经网络（RNN）、长短期记忆模型（LSTM）等。
