目录
- 第一章 引言
- 1.1 本书面向的读者
- 1.2 深度学习的历史趋势
第一章 引言
人工智能的真正挑战：解决那些对人来说很容易执行、但很难形式化描述的任务（如：识别人们所说的话、识别图像中的脸）
解决方案：
- 让计算机从经 验中学习，并根据层次化的概念体系来理解世界
- 让计算机从经验获取知识，可以避免由人类来给计算 机形式化地指定它需要的所有知识
一个人的日常生活需要关于世界的巨量知识。很多这方面的知识是主观的、直观的，因此很难通过形式化的方式表达清楚。
机器学习算法的性能在很大程度上依赖于给定数据的表示（representation）。
表示的选择会对机器学习算法的性能产生巨大的影响。
许多人工智能任务的解决方式：
- 提取一个合适的特征集
- 将这些特征提供给简单的机器学习算法
对于更多的任务来说，我们很难知道应该提取哪些特征。
解决：使用机器学习来发掘表示本身（表示学习（representation learning））
设计特征 / 设计用于学习特征的算法：分离出能解释观察数据的变差因素（factors of variation）
情景 | 变差因素 |
分析语音记录 | 说话者的年龄、性别、口音、正在说的词语 |
分析汽车图像 | 汽车的位置、颜色；太阳的角度、亮度 |
深度学习：让计算机通过较简单概念构建复杂的概念
多层感知机（multilayer perceptron, MLP）：个将一组输入值映射到输出值的数学函数（该函数由许多较简单的函数复合而成）
解释深度学习：
- 学习数据的正确表示
- 深度促使计算机学习一个多步骤的计算机程序
度量模型深度的方式：
- 基于评估架构所需执行的顺序指令的数目：将流程图中的最长路径视为模型的深度
- 在深度概率模型中使用的方法：将描述概念彼此如何关联的图的深度视为模型深度
架构的深度不存在单一的正确值。
深度学习：
- 一种特定类型的机器学习
- 一种能够使计算机系统从经验和数据中得到提高的技术 具有强大的能力和灵活性
- 将大千世界表示为嵌套的层次概念体系（由较简单概念间的联系定义复杂概念、从一般抽象概括到高级抽象表示）
1.1 本书面向的读者
本书受众：
- 学习机器学习的大学生（本科或研究生），包括那些已经开始职业生涯的深度学习和人工智能研究者
- 没有机器学习或统计背景但希望能快速地掌握这方面知识并在他们的产品或平台中使用深度学习的软件工程师
本书的三个部分：
- 第一部分：介绍基本的数学工具和机器学习的概念
- 第二部分：介绍最成熟的深度学习算法，这些技术基本上已经得到解决
- 第三部分：讨论某些具有展望性的想法，它们被广泛地认为是深度学习未来的研究重点
1.2 深度学习的历史趋势
深度学习的几个关键趋势：
- 深度学习有着悠久而丰富的历史，但随着许多不同哲学观点的渐渐消逝，与之对应的名称也渐渐尘封
- 随着可用的训练数据量不断增加，深度学习变得更加有用
- 随着时间的推移，针对深度学习的计算机软硬件基础设施都有所改善，深度学习模型的规模也随之增长
- 随着时间的推移，深度学习已经解决日益复杂的应用，并且精度不断提高
1.2.1 神经网络的众多名称和命运变迁
一般来说，迄今为止深度学习已经经历了三次发展浪潮：
- 20世纪40年代到60年代，深度学习的雏形出现在控制论（cybernetics）中
- 20世纪80年代到90年代，深度学习表现为联结主义（connectionism）
- 直到2006年，才真正以深度学习之名复兴
大家不应该认为深度学习在尝试模拟大脑。
现代深度学习从许多领域获取灵感，特别是应用数学的基本内容，如线性代数、概率论、信息论和数值优化。
计算神经科学：了解大脑是如何在算法层面上工作
对比：
- 深度学习领域：主要关注如何构建计算机系统，从而成功解决需要智能才能解决的任务
- 计算神经科学领域：主要关注构建大脑如何真实工作的、比较精确的模型
联结主义的中心思想：当网络将大量简单的计算单元连接在一起时可以实现 智能行为
分布式表示（distributed representation）的思想：系统的每一个输入都应该由多个特征表示，并且每一个特征都应该参与到多个可能输入的表示
分布式表示的概念是本书的核心。
1.2.2 与日俱增的数据量
我们应特别侧重于如何通过无监督或半监督学习充分利用大量的未标注样本。
1.2.3 与日俱增的模型规模
1.2.5 与日俱增的精度、复杂度和对现实世界的冲击
强化学习（reinforcement learning）：一个自主的智能体必须在没有人类操作者指导的情况下，通过试错来学习执行任务
近年来，得益于更强大的计算机、更大的数据集和能够训练更深网络的技术，深度学习的普及性和实用性都有了极大的发展。
