DETERMINISTIC VARIATIONAL INFERENCE FOR ROBUST BAYESIAN NEURAL NETWORKS
https://openreview.net/group?id=ICLR.cc/2019/Conference
贝叶斯网络 在只有有限数据训练时 很不错，为了用深度学习解决 概率推理，variational Bayes 的理论基础，应用性 和计算效率 都不错，然而为什么 variational Bayes 在真正给BNNs应用 很有限呢？我们提出 神经网络的variational inference 是不稳固的，即 需要仔细的初始化和调整初始变量（先验） 以及控制 Monte Carlo gradient估计的方差 才能成功的实现它，
我们提供两个创新 来让VB成为一个BNN的鲁棒的推理工具，1）我们介绍一个新颖的 确定性方法来近似 神经网络的动量，即消除梯度方差， 2）我们介绍一个 给参数的层级先验信息 及一个新颖的 经验贝叶斯方法过程 来自动选择 先验的方差，
结合这两个创新，方法非常有效和鲁棒，在 异方差回归 应用上有很好的预测效果。
贝叶斯方法结合深度学习（BNNs）对于在 小数据集 上的 减少过拟合 和 正则化 很有帮助，但是有两个缺陷：Monte Carlo方法受到方差不好控制的影响，以及 选择先验信息很难，先验信息很难转化为神经网络参数，即需要很好的初始化才能实际应用。
本文提出，1）为解决Monte Carlo variational inference（MCVI）的高方差，我们提出新颖的 确定性的估计近似 来 降低方差为零， 2）我们推导出一个鲁棒的 经验贝叶斯Empirical Bayes (EB) 和 引入层级 来选择先验信息。
