机器学习（周志华） 读书笔记

序言

从主流为符号机器学习发展到主流为统计机器学习，反映了机器学习从纯粹的理论研究和模型研究发展到以解决现实生活中实际问题为目的的应用研究。

问题一：现阶段，统计机器学习相对符号机器学习占据优势地位，未来的发展方向是怎样的？

有三种答案：一是符号机器学习会退出历史舞台，二是单纯的统计机器学习已经走到了尽头，未来应该和知识的利用相结合，这是一种螺旋式的上升，进入更高级的形式。三是符号机器学习还有翻身的机会。会转向对更加基本的认知科学研究，把统计技术和认知科学结合起来。

问题二：由于统计机器学习算法是基于样本数据独立同分布的假设使得其应用遇到了障碍，那么“独立同分布”条件对于机器学习来讲真的有必要吗？

无独立同分布条件下的机器学习也许只是一个难题，而不是一个不可解决的问题，或许迁移学习可能解决。尽管现阶段的迁移学习也要求迁移双方具备“独立同分布”的条件，但是不同分布之间的迁移学习也许迟早会出现。

问题三：深度学习真的代表机器学习的新方向吗？

深度学习在理论和技术方面并没有很大的创新，只不过是由于硬件技术的革命，使得人们可以采用比过去复杂度更高的算法，从而得到比原来更精细的结果。虽然深度学习正在打压机器学习，但是并没有达到统计学习打压符号学习的强度。原因有：一是深度学习理论创新不足，二是应用范围有限，三是统计学习仍然在机器学习中被普遍的采用。

数学与机器学习

机器学习出现以来，从符号方法到统计方法的演变，用到的数学主要是概率统计，但是难道只有统计方法适合在机器学习上吗？ 例如微分几何在流行学习上的应用，微分方程在归纳学习上的应用，但是和统计学习相比，这些只能算是配角。
符号机器学习时代主要以离散方法处理问题，统计机器学习时代主要以连续方法处理问题，这两种方法之间应该没有鸿沟。流行学习中的李群、李代数方法的引入给我们以很好的启示。从微分流型到李群，再从李群到李代数，就是一个沟通连续和离散的过程。然而现有的方法在数学上并不完美。