ICA是一种用于在统计数据中寻找隐藏的因素或者成分的方法。ICA是一种广泛用于盲缘分离的(BBS)方法,用于揭示随机变量或者信号中隐藏的信息。ICA被用于从混合信号中提取独立的信号信息。ICA在20世纪80年代提出来,但是知道90年代中后期才开始逐渐流行起来。
ICA的起源可以来源于一个鸡尾酒会问题,我们假设三个观测点x1,x2,x3,放在房间里同时检测三个人说话,另三个人的原始信号为s1,s2,s3,则求解的过程可以如下图所示:

独立成分分析 python 独立成分分析应用_独立成分分析 python

定义

假设n个随机变量x1,x2,….xn,由n个随机变量s1,s2,…sn组成,并且这n个随机变量是相互独立的,可以用下面的公示表达:

独立成分分析 python 独立成分分析应用_独立成分分析 python_02


为了表达的方便,我们可以用向量的形式来表达:

x = As

这个只不过是ICA最基本的定义,在很多实际问题中,应该包含了噪声。但是为了简化问题,我们这里忽略了噪声。因为如果模型中包含噪音,处理起来将会十分困难,而且大多数不包含噪音的模型已经能够解决很多问题,所以这里我们就将噪声先忽略。

ICA的限制条件

  • 独立成分应该是相互之间独立的。这是ICA成立的基本原则,同时,基本上可以说只需要这个原则我们就可以估计这个模型。
  • 独立成分必须是非高斯分布的。高斯分布的高阶累计量是0,但是高阶信息对于ICA的模型的估计却是十分必要的。
  • 为了简化,我们假设未知的混合矩阵A是一个方阵。

白化

白化是一种比不相关性要稍微强一些的性质。对一个零均值的随即向量y进行白化处理,就是让它的组成成分不相关,并且让变量的方差相等。也就是说,变量y的协方差矩阵是单位矩阵:

独立成分分析 python 独立成分分析应用_方向向量_03

为什么独立成分是非高斯的

ICA最基本的限制条件就是独立成分必须是非高斯分布的,这或许也是ICA早期没有流行起来的原因。我们假设变量x1和x2是高斯分布的,不相关的,且方差相等:

独立成分分析 python 独立成分分析应用_方差_04


下面的图表示联合概率分布,可以看出,我们无法判断任何关于变量x1和x2的方向信息,这就是为什么混合矩阵A不能被估计出来的原因:

独立成分分析 python 独立成分分析应用_概率分布_05

峭度

在这我们讲述一个利用峭度来进行ICA模型估计的方法,ICA的估计方法很多,这只是最基础的一个方法。

对于变量y峭度可以由下面的公式定义:

独立成分分析 python 独立成分分析应用_方向向量_06


峭度是可正可负的,高斯分布变量的峭度是0,这也是为什么独立成分必须是非高斯分布的原因之一。峭度为负的变量分布称为次高斯分布,峭度为正的变量的分布则为超高斯分布,下图分别是拉普拉斯分布(超高斯分布)和均匀分布(次高斯分布):

独立成分分析 python 独立成分分析应用_概率分布_07

基于峭度的梯度算法

我们经常利用峭度的绝对值或者平方来进行求解:

独立成分分析 python 独立成分分析应用_概率分布_08


我们通过优化这个目标函数来估计ICA模型,z表示白化后的观察数据x。

实际上,我们是使峭度极大化。我们会从某个方向向量w开始,然后计算在什么方向峭度的增长最快,我们则将方向向量w向这个方向移动。

峭度绝对值的梯度可以如下计算:

独立成分分析 python 独立成分分析应用_方向向量_09


下面是一个快速不动点算法基于峭度计算的流程图:

独立成分分析 python 独立成分分析应用_独立成分分析 python_10

## ICA估计的主要方法 ##
  • 通过极大化非高斯性来估计
  • 通过极大似然性来估计
  • 通过极小互信息来估计
  • 通过张量的方法来估计
  • 通过非线性分解和非线性PCA来估计
    这里,我们只是讲了其中的一个基础方法之一,并不就是最好的方法。

ICA算法的思想可以用下面的公式来描述:
ICA method = objective funtion + optimization algorithm

引用

[1]Hyvärinen A, Karhunen J, Oja E. Independent component analysis[M]. John Wiley & Sons, 2004.
[2]Hyvärinen A, Oja E. Independent component analysis: algorithms and applications[J]. Neural networks, 2000, 13(4): 411-430.
[3]Hyvärinen A, Oja E. A fast fixed-point algorithm for independent component analysis[J]. Neural computation, 1997, 9(7): 1483-1492.
[4]王刚. 基于最大非高斯估计的独立分量分析理论研究 [D][D]. 国防科学技术大学, 2005.