雅格布森通信模型:
通信六要素
- 发送者(信息源)
- 信道
- 接收者
- 信息
- 上下文
- 编码
HMM:隐马尔可夫模型
s是可见的 - 信源
o是不可见的(输出) - 信宿
通信就是要根据观测到的o恢复出s
对于翻译问题,汉译英:英语是s,汉语是o,根据s推断o
TF-IDF
TF:词频
IDF:逆文本频率指数
IDF就是关键词的权重,越能表示一个文档主题的词,其权重越高
最大熵原则
以条件随机场为例,希望找到一个符合所有边缘分布的概率分布函数。
根据最大熵原则:希望找到一个符合所有边缘分布并使熵达到最大的模型,数学上可以证明,这个模型就是指数函数。
最大熵模型、逻辑回归模型都是指数模型,训练方法类似:EM算法(通用迭代算法GIS、改进的迭代算法IIS)
最大熵模型的数学推导(参考[2])
对于给定的训练数据集T={(x1,y1),(x2,y2),(x3,y3)...(xn,yn)}以及特征函数fi(x,y),i=1,2,3...n,最大熵模型的学习等价于约束的最优化问题:
引入朗格朗日算子W,定义拉格朗日函数L(P,w)
最优化的原始问题:
对偶问题是:
由于L(P,W)是P的凸函数,原始问题的解与对偶问题的解是等价的。这里通过求对偶问题的解来求原始问题的解。
第一步求解内部极小化问题,记为:
通过微分求导,得出P的解是:
第二步求外部的极大化问题:
最后的解记为:
第三步可以证明对偶函数的极大化等价于第一步求解出的P的极大似然估计,所以将最大熵模型写成更一般的形式.
对EM算法的理解
类比K-Means算法:
HMM和CRF的区别
上述模型参数众多,因此只能找出其中一些边缘分布,例如P(x_1), P(x_2, y_3)等,再根据最大熵原则找到一个满足所有边缘分布并且使熵最大的模型。
这个模型就是指数函数
计算复杂度
P问题:
非多项式问题:
在非多项式问题中,有一类称之为非确定的多项式问题(NP问题)
P不等于NP
如果一个问题,能在多项式复杂度的时间内证实一个答案正确与否,则称为NP问题(无论当前是否有多项式复杂度算法)
NPC:NP-complete问题,所有NP问题都可以在多项式时间内规约到NPC问题,如果NPC问题找到了多项式算法,则NP=P
计算复杂度至少是NPC甚至是更大的问题,称之为NP-Hard问题
篱笆网络(lattice)和维特比算法
SVD的物理含义
矩阵A:用来表示文章和词的关联性,A的一行对应一篇文章,A的一列对应一个词
A中元素为去加权词频(例如TF-IDF)