2015-09-09 今天买的凸优化刚到。从今天开始学习一些基础的概念。不知道2年的时间能不能学会并且解决实际的问题。

 

线性函数需要严格满足等式,而凸函数仅仅需要在a和b取特定值得情况下满足不等式。因此线性规划问题也是凸优化问题,可以将凸优化看成是线性规划的扩展。

机器学习之凸优化基础一_干货

 

1.放射集

定义:过集合C内任意两点的直线均在集合C内,则称集合C为仿射集。

例子:直线、平面、超平面

2.仿射包

定义:包含集合C的最小仿射集。

机器学习之凸优化基础一_干货_02

仿射维数:仿射包的维数。

三角形的仿射维数为2.

线段的仿射维数为1.

球的仿射维数为3.

3.凸集

定义:集合C内任意两点间的线段均在集合C内,则称集合C为凸集。

机器学习之凸优化基础一_干货_03

机器学习之凸优化基础一_干货_04

 

机器学习之凸优化基础一_干货_05

 

4.仿射集和凸集的关系

因仿射集的条件比凸集的条件强,所以,仿射集必然是凸集。

5.凸包:

包含集合C的最下凸集叫做集合C的凸包

机器学习之凸优化基础一_干货_06

6.锥(Cones)

机器学习之凸优化基础一_干货_07

锥的举例:过原点的射线、射线族、角

 

机器学习之凸优化基础一_干货_08

 

7.锥包

机器学习之凸优化基础一_干货_09

8.超平面和半空间

超平面:hyperplane

机器学习之凸优化基础一_干货_10

机器学习之凸优化基础一_干货_11

 

半空间halfspace:

机器学习之凸优化基础一_干货_12

机器学习之凸优化基础一_干货_13

9.欧式球和椭球

欧式球:

机器学习之凸优化基础一_干货_14

椭球:

机器学习之凸优化基础一_干货_15

10.范数球和范数锥(欧式空间的推广)

范数:

机器学习之凸优化基础一_干货_16

范数球:

机器学习之凸优化基础一_干货_17

范数锥:

机器学习之凸优化基础一_干货_18

 

11. 多面体

机器学习之凸优化基础一_干货_19

 

机器学习之凸优化基础一_干货_20

 

12.保持凸性的运算

集合的交运算

仿射变换:f= Ax+b

机器学习之凸优化基础一_干货_21

透视函数变换

线性分式函数变换

机器学习之凸优化基础一_干货_22

 

 

机器学习之凸优化基础一_干货_23

 

机器学习之凸优化基础一_干货_24

机器学习之凸优化基础一_干货_25

13.分隔超平面

机器学习之凸优化基础一_干货_26

机器学习之凸优化基础一_干货_27

支撑向量机用到了分隔超平面

机器学习之凸优化基础一_干货_28

机器学习之凸优化基础一_干货_29

14.支撑超平面(切面)

机器学习之凸优化基础一_干货_30

机器学习之凸优化基础一_干货_31

15.凸函数

机器学习之凸优化基础一_干货_32

机器学习之凸优化基础一_干货_33

倒三角就是指的高维的求导。读作nabla

二阶可微

机器学习之凸优化基础一_干货_34

凸函数举例

机器学习之凸优化基础一_干货_35

16. 凸函数与凸集

机器学习之凸优化基础一_干货_36

 

 

17. Jensen不等式:若f 是凸函数。其实就是凸函数的定义

 

机器学习之凸优化基础一_干货_37

机器学习之凸优化基础一_干货_38

 

18.保持函数凸性的算子

机器学习之凸优化基础一_干货_39

19.凸函数的逐点最大值

机器学习之凸优化基础一_干货_40

机器学习之凸优化基础一_干货_41

 

 

 

 

凹函数

机器学习之凸优化基础一_干货_42

岁月里,寒暑交替。人世间,北来南往。铭心的,云烟的。都付往事,不念,不问。