在本节提到线性模，我第一反应是我学过的线性代数。曾经学过的简单的数学概念如线性方程被演化成了复杂而强大的工具，用于解决现实世界中的预测问题。这里不仅解释了线性模型的基础原理，还探讨了如何通过添加非线性组件如ReLU函数或Sigmoid函数，将模型提升到一个新的层次。

线性模型的局限性

线性模型它假设输入变量与输出之间存在直接的线性关系。然而，实际数据往往更加复杂，具有周期性、非线性等特性。在实际应用中，线性模型往往无法取得令人满意的预测效果，需要更复杂的模型。

分段线性曲线的引入

为了解决线性模型的局限性，这里引入了分段线性曲线的概念，展示了如何通过叠加多个Hard Sigmoid函数来近似任意复杂的曲线。这让我联想到泰勒公式和无穷级数的有关知识，因为有相似之处，都是利用多个简单函数来拟合复杂的曲线。同时这里提到的ReLU函数和Sigmoid函数作为激活函数的应用，进一步打开了我对非线性建模的理解。这些函数允许模型捕捉更复杂的模式，从而提高了预测能力。特别是，当我们将这些非线性组件嵌入到多层神经网络中时，模型变得极其强大，能够在诸如图像识别等任务上实现惊人的性能。书中列举的AlexNet、VGG、GoogleNet以及ResNet的发展历程，展示了深度学习技术在过去十年间是如何迅速发展的。

深度学习优势

到这里可以总结一下深度学习核心思想分解和组合。即将复杂的函数分解成多个简单的函数，并通过组合这些简单的函数来逼近复杂的函数。这种方法可以有效地提高模型的灵活性，可以自动学习数据的特征，无需人工设计特征工程。因此大规模处理数据并提取出有用的信息，应用于各种不同的任务，例如图像识别、语音识别、自然语言处理等

深度学习遇到的挑战

  • 需要大量的训练数据才能取得良好的效果。
  • 可解释性较差，难以理解模型的内部机制。
  • 模型的训练过程需要大量的计算资源。