1.熵的定义:

熵是物体在一个一定的宏观状态下所有微观状态的总和。
来自于热力学第二定律,“熵增定律”。事物从有序趋向无序时,熵增加。例如:雪更易融化成为水,而水确很难反过来形成雪。
熵增,主要针对的宏观上的统计规律,而对于微观状态这种现象的出现完全由概率决定。在微观虽然熵减的概率较小,但是也是有可能发生的。

2.模糊熵:

定义:模糊不确定性的度量
模糊集:描述无法确定是否属于给定集合的集合类。出现在命题不明确的状况,元素无法被明确界定,例如:“我好胖”和“我不胖”之间的区分是不明确的。
模糊集的隶属函数:定义了模糊集的隶属度规则。
隶属度:元素属于模糊集的程度,0~1之间,越靠近1,隶属度越大。
模糊变量:具有不确定性的模糊集的变量。

3.一般熵:

在上一个文章中介绍了图像熵,图像熵的公式就是一般熵的公式。

多尺度NLP_基础知识

4.模糊度

描述模糊集的模糊程度。

普通集不模糊,因此模糊度为0

任意x∈X,若A(x)=0.5,【这里的A(x)表示x属于模糊集A的程度,这里0.5,就是也属于也不属于,因此是最难判断的】,这里A的模糊度为1,因此A的模糊性大。

A的模糊度可以用d(A)来表示。

多尺度NLP_熵的定义_02


多尺度NLP_熵的定义_03


多尺度NLP_模糊熵_04


图片来自百度文库

https://wenku.baidu.com/view/acb754583d1ec5da50e2524de518964bcf84d29a.html

这里的不管u∈U,还是x∈X,都是一个道理。这里可以看出,隶属函数就是一个曲线,通过该曲线可以求得元素x属于模糊集A的程度,该程度就叫做隶属度A(x)。

5.模糊变量

用来描述模糊时间或模糊约束的变量。若为可能空间到实直线上的函数,则成为可能空间上的模糊变量。(这里可以理解为,从可能空间映射到其他确定空间上的映射中,使用的变量即为模糊变量。)

6.模糊熵:

熵的概念比较宽泛,衡量一段信息或者一个系统的不确定性。
模糊熵表示一个模糊集的模糊性程度。