文章与视频资源多平台更新

微信公众号|知乎|B站|头条：AI研习图书馆

深度学习、大数据、IT编程知识与资源分享，欢迎关注，共同进步~

1. 引言

“鲁棒”的英文是robustness，中文译为强健，稳健，所以说算法的鲁棒性直白点说就是健壮的、稳健的算法。

在深度学习领域，总是看到“算法的鲁棒性”这类字眼，比如这句–L1范数比L2范数鲁棒。

2. 鲁棒性

Huber从稳健统计的角度系统地给出了鲁棒性3个层面的概念：

  1. 一是模型具有较高的精度或有效性，这也是对于机器学习中所有学习模型的基本要求；
  2. 二是对于模型假设出现的较小偏差，只能对算法性能产生较小的影响；
    主要是：噪声（noise）
  3. 三是对于模型假设出现的较大偏差，不可对算法性能产生“灾难性”的影响。
    主要是：离群点（outlier）

3. 稳定性与鲁棒性区别

这里用一个形象生动的网络例子来阐述稳定性与鲁棒性区别，单身的研究学者如有不适，请点赞或留言发泄~

正说着话，我忽然见到一位非常漂亮且可爱的女生与他们在一起，灵机一动，就转身对着漂亮女生，给出了如下的解释。

  • （1）稳定性：他是你的男朋友。那么，如果他对周围晃来晃去的其他年轻漂亮女孩子虽然也动了点心，但把持的住，依然很喜欢你，我们说他对你的感情是稳定的。
  • （2）鲁棒性：也称为是强壮性、或者稳健性。当他的地位变了，升迁了，发达了，抑或变得与以前大不一样的时候，他依然还是稳定的：依然很喜欢你，且对周边年轻漂亮的女孩子把持的住。我们说他对你的感情就是鲁棒的（Robust）。
  • （3）非脆弱性：前面说的都是假定你是坚定的、把感情作为矢志不渝的，他的反应。现在，再来一点更厉害的：当你变老了，不再漂亮了，或者遇到不幸的创伤，疾病而变得……总之情况很糟，或者他发现了你过去可能遭遇到的一段不愉快的历史等等。甚至更极端地，当你自己有点变心、花心、甚至犯了点错误的时候，他若依然是稳定的：依然很喜欢你，且对周边年轻漂亮的女孩子把持的住。我们说他对你的感情就是非脆弱的的。

参考文献：

[1] Huber P J. Robust Statistics[J]. 1981. Wiley, New York.

[2] Hampel F R, Ronchetti E M, Rousseeuw P J, et al. Robust statistics: the approach based on influence functions[J]. 1986. Wiley, New York.