深度学习作信道估计

4.1概述

香农信息论只研究广义信道

信道的作用：

（1）在信息系统中，信道只要用于传输与存储信息

（2）在通信系统中信道主要用于传输信息

研究信道的目的：

（1）可靠性：充分利用信道容量，使传输的信息量尽可能大

（2）可靠性：通过合适的信道编码降低信息传输的误码率

4.2信道与信道传输的信息测度

信道传输信息量的度量

• 理论上：互信息，即一个信道符号平均携带的信息量，bit/符号
• 实际上：信道传输信息的速率表示传输的信息量，bit/s
  实际信道传输信息的速率决定于：
  （1）信源输出信号的统计特性
  （2）信道自身的特性
  （3）载荷信息的信号形式
  （4）波特率

信道传输信息能力的度量

• 理论上：只考虑信道符号携带的信息量，只与物理信道特性及信源输出信号的统计特性有关，与载荷信息的信号形式无关，bit/符号
• 实际上： 常常结合载荷信息的信号形式，将信息量归一化到单位时间秒上，bit/s

信道传输信息有效性的度量

• 理论上：用信道实际传输速率与信道传输能力之比来度量
• 实际上：信道传输的有效性常常用频谱利用率来衡量

信道传输信息可靠性的度量

• 理论上：用接受误码率来度量
• 实际上：常常用功率利用率来衡量

---

4.3信道容量

信道的任务：有效可靠的传输信源的信息

离散信道及其信道容量

如果信源熵为H(X)，希望在信道输出端接收的信息量就是H(X)，由于干扰的存在，一般只能接收到I(X;Y)。

输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息性质决定的：I(X;Y)≤H(X)信道的信息传输率：R=I(X;Y)

信道容量C：在信道中最大的信息传输率 bit/（信道码元）符号

信道容量是：

• 完全描述信道特性的参量
• 信道能够传送的最大的信息量
• 信道传输信息的能力的度量

二进制无损信道的信道容量为1bit/符号

准对称的离散无记忆信道

定理：对于准对称的离散无记忆信道，当信道输入为等概分布时达到信道容量

连续信道及其信道容量

连续信道特点

• 时间离散，幅度连续
• 每个时刻是取值连续的单个随机变量

仅研究典型的无记忆加性噪声信道的信道容量

加性信道

信道的转移概率分布函数就是N的分布函数

如果XYN中有两个是高斯分布，另一个也是高斯分布

无记忆加性噪声信道的信道容量费用函数

无记忆加性高斯噪声信道的信道容量费用函数

.>

无记忆加性噪声信道对高斯分布的输入信号的影响

• 高斯分布作为信道输入信号的概率密度分布时，有利于信息传输
• 高斯分布作为加性信道噪声概率密度分布时，不利于信息传输

一般无记忆加性信道的信道容量费用函数

一般无记忆加性噪声信道的信道容量费用函数只能给出上下界

波形信道及其信道容量

波形信道特点：

• 时间连续，幅度连续
• 一族时间样本函数，每个样本函数都是时间，幅度取值连续的

仅研究限频/限时的加性高斯白噪声（AWGN）信道

限时——频谱无限

限频——时间无限

关于香农公式的说明

• 条件是加性高斯白噪声信道下
• 给出的是S（输入）,N（噪声）,W（限频）与信道容量的关系
• 没有给出S,N,W与差错概率的关系，即：并未体现S,N,W与传输可靠性的关系

4.4信道传输有效性

信道冗余度

• 对于无噪，无损信道，若信息传输率=$R_{max}=logr=C$则效率最高
  无失真信源编码定律又称为无噪信道编码定理：若信道的信息传输率不大于信道容量，总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大信息传输率C传输信息
• 对于有噪信道，为了提高抗干扰能力，一般要使得$R<C$
• 此时信道传输效率



• 通过增加冗余度实现传输的可靠性的映射：匹配信道有噪特性：信道编码

4.5信道传输可靠性

错误概率 与 信道特性和译码规则 有关

在输入和信道特性给定的条件下，差错概率将取决于接受矢量空间按什么样的划分准则进行划分——译码器的姨妈准则

误码率：$P_E=$发出X的概率${*}$译码错误的概率

选择好的译码准则可以降低错误概率

主要的译码准则

• 最小错误概率准则（最大后验概率准则）
• 最大似然译码准则
• 最小距离译码准则

最小错误概率准则（最大后验概率准则）

它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道错误概率就能最小
译码函数$F(b_j)=a^*$（$a^*\isin{A},b_j\isin{B}$）,且满足$P(a^*|b_j){\geqslant}P（a_i|b_j)$ ($a_i\isin{A},a_i\mathrlap{\,/}{=}a^*$)(写法一)
一般信道的传递概率：$P(b_j|a_i)$
输入符号的先验概率：$P(a_i)$
$\frac{P(b_j|a^*)P(a^*)}{P(b_j)}{\geqslant}\frac{P(b_j|a_i)P(a_i)}{P(b_j)}$ $a_i{\isin}A,a_i{\mathrlap{\,/}{=}}a^*$(写法二)
一般$P(b_j){\mathrlap{\,/}{=}}0,b_j{\isin}B$,所以，最大后验概率准则就可以表示为选择译码函数$F(b_j)=a^*$ ($a^*\isin{A},b_j\isin{B}$)，满足$P(b_j|a^*)P(a^*){\geqslant}P(b_j|a_i)P(a_i)$ ( $a_i{\isin}A,a_i{\mathrlap{\,/}{=}}a^*$) (写法三)
若输入符号的先验概率P(a_i)均相等，则可以写成选择译码函数$F(b_j)=a^*$ 并满足$P(b_j|a^*) {\geqslant}P(b_j|a_i)$(写法四)

最大似然译码准则

最小距离译码准则

三种译码准则的关系
输入等概时：最大后验概率译码准则=最大似然译码准则
在BSC中：最小距离译码准则=最大似然译码准则

无论什么译码规则，对减少误码率的作用有限
误码率受信道特性的影响严重
信道疑义度H(X/Y)给定了译码错误概率的下限

香农认为：选择合适的编码方法，可以即使错误概率降低，又使码率保持较大。适当的编码方式就是适应信道特性的方法，即：信道编码

4.6信道编码定理

信道编码定理的指导意义：

• 通过编码可以实现有噪信道上可靠的信息传输
• 有噪信道可靠传输的信息率的上界时是信道容量C
• 在码长及发送信息速率一定时，可以通过增加信道容量，使错误概率减小
• 在信道容量及信息速率一定时，可以通过增加码长使错误概率下降
• 
  

4.7信道编码概述

信道编码：从消息到信道波形或矢量的映射，希望通信系统与信道统计特性相匹配的编码

复接，代数编码，调制，成形滤波，扩频，上下变频等都属于广义的信道编码范畴

信道编码的作用：在资源，可靠性和有效性（传信量）之间选择一个好的工作点（有时还要考虑延时）

资源：提供信息传输所付出的代价（频率，时间，空间，功率等，但不包括实现复杂度）

一个好的编码就是要充分利用资源，可靠的传递尽可能多的信息

差错控制代码：提高可靠性的数字信道编码

4.8信道编码方法实例

基础知识

GF(2)基本运算

最小距离与检纠能力

汉明距离

汉明距离：在(n,k)线性码中，两个码字$U,V$之间对应码元位上符号取值不同的个数，称为$U,V$之间的汉明距离

线型分分组码的一个码字对应于n维线性空间中的一点，码字间的距离即为空间中两对应点的距离

最小距离

一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检，纠错能力越强

检错能力

如果一个线性码能检查出长度$\leqslant{e}$个码元的人格错误图样，称码的检错能力为$e$

纠错能力

如果线性码能纠正长度$\leqslant{t}$个码元的任意错误图样，称码的纠错能力为$t$

分组码

编码就是给已知信息码组按预定规则添加校验码元，以构成码字

通常，在k个信息码元之后附加r（r=n-k）个校验码，使每个校验元是其中某些信息元的模2和

一致校验方程

一致校验矩阵

生成矩阵

分组码1——汉明码

线性分组码的一个重要子类

第一个具有系统的编译码方法的纠错编码

是纠一个错误的完备码

分组码2——循环码

线性分组码的一个重要子类
具有优良的代数结构，可用简单的反馈移位寄存器实现编码和伴随式计算，并可使用多种简单而有效的译码方法
是研究最深入，理论最成熟，应用最广泛的一类线性分组码
目前被广泛应用于众多通信系统的CRC（循环冗余度校验）码就是一个循环码

卷积码

交织码

级联码

4.9信道编码理论与实际应用的差距