《信息论与编码》课程笔记（一）——信息的基本概念 - 知乎《信息论与编码》课程笔记（二）——自信息量的相关概念 - 知乎《信息论与编码》课程笔记（三）——信息熵、条件熵、联合熵的概念、关系、性质 - 知乎
原创
2022-06-10 08:35:37
458阅读
目录
前言：
第1部分 信息论研究对象与研究方法
第2部分 信息论主要研究的内容
第3部分 香农对信息的定义
第4部分 香农的大师风范
前言：
为什么要学这门课？
信息论为通信系统进行了建模
信息论为物理层编码进行了建模
第1部分 信息论研究对象与研究方法
备注：
收到信息的过程就是消除不确定的过程，
收到信息的过程就是不确定性逐步转为确定性的过程。
备注：
原创
2021-07-26 11:15:47
723阅读
前言：什么是熵
熵的概念是由德国物理学家克劳修斯于1865年所提出。最初是用来描述“能量退化”的物质状态参数之一，在热力学中有广泛的应用。但那时熵仅仅是一个可以通过热量改变来测定的物理量，其本质仍没有很好的解释，直到统计物理、信息论等一系列科学理论发展，熵的本质才逐渐被解释清楚，即，熵的本质是一个系统“内在的混乱程度”。
它在控制论、概率论、数论、天体物理、生命科学等领域都有重要
原创
2021-07-26 11:16:07
880阅读
香农：#include <stdio.h>#include <iostream>#include <string.h>#include <algorithm>#include <bitset>#include <math.h>#include <ctype.h>#include <time.h>#inc
原创
2023-03-03 13:47:06
127阅读
流水账流水账这篇什么都不是 第一部分————笔记 基础 对应的是 这里的韦恩图是信息量(可能出现负数)，而不是事件的逻辑交并！ X-Y 条件信息 Y-X 条件信息 $X\and Y $ 互信息 \(X\or Y\) 联合信息 X和Y两事件独立，则韦恩图不交 X为方片概率，Y为红色概率，\(H(X)=
原创
2021-06-06 09:17:29
3106阅读
一、应用背景在信道编码研究的初期，人们探索、研究出各种各样的编码构造方法，其中包括卷积码。早在1955年，P.Elias首先提出了卷积码。但是它又经历了十几年的研究以后，才开始具备应用价值。在这十几年期间，J.M.Wozencraft提出了适合大编码约束度的卷积码的序列译码，J.L.Massey提出了实现简单的门限译码，A.J.Viterbi提出了适合小编码约束度的卷积码Viterbi算法。20年
原创
2023-05-03 21:10:02
131阅读
第1部分 离散无记忆信源的数学模型
备注：投掷硬币本质上就是二进制信源系统，因此二进制信源实际是指有一连串的二进制比特组成，每个比特出现0和1，是一种不确定性的概率，如果是确定性的二进制比特，就不需要通信来进行传输了。正是因为0和1是不确定性的，才需要发送方发送，接收方接收。
第2部分 离散无记忆信源的测度
备注：所谓信源的测度，就是每个符号携带多少的信
原创
2021-07-26 11:15:19
1138阅读
目录
前言：
第1部分 等码长信源编码
第2部分 不等码长信源编码
第3部分 Huffman编码
第4部分 算法编码
第5部分 LZ编码
前言：
定义：信源编码的目的是用特定的符号不是信源的信息。
目的：无论是等长编码还是不等长符号编码，编码的目的的选择最短的平均符号数来完成对信息的编码。
优化标准：平均的符号数越少，编码越优。
基本思想：出现概率大的信息，使用符号数少的编码，概率小的信息，
原创
2021-07-26 11:14:24
539阅读
点赞
第1部分 信道编码的基本概念
思考：如果收到的数据不可靠，那接收端怎么才能判断收到的数据是0还是1呢？
这就需要信道编码，确保接收方收到的数据确实是发送方发送的数据，而不是受干扰后的数据！
备注：
人在进行解码时候，能够根据上下文猜测传输过程中的出错的信息，甚至能够根据上下文进行恢复，这实际上是卷积码的基本思想，只不过卷积码只能根据前后几个bit进行纠错，不能根据全文进行
原创
2021-07-26 11:13:58
1938阅读
自信息信息量如何考察或计算信源输出的消息(或者符号)的信息量?信源的信息实质:不确定性（信源输出的是消息，消息的内涵是信息。信源输出一个符号，我们认为发生一个事件）。数学上我们用概率（或概率密度）来表征事件不确定性的大小。1.信息量的大小与不确定性的消除多少有关;收到某消息获得的信息量=不确定性的减少量=(收到该消息前关于某事件发生的不确定性)-(收到此消息后关于某事件发生的不确定性)2.信道无噪
推荐
原创
2022-09-30 16:05:21
4774阅读
点赞
1. 数据压缩
假设任何文件都可以被压缩到 n 个二进制位（bit），那么其最多可以表示 2n 个不同的压缩结果。也即，如果存在 2n+1 个文件，根据鸽笼原理，必然至少有两个文件得到同一压缩效果。这就意味着，这两个文件不可能都无损地还原。
因此，可以得出一个相对抽象的结论，并非所有文件都可以被压缩到 n 个bit 位以内。
数据压缩的原理，压缩原理其实很简单，本质上，所谓压缩，就是找出文件
转载
2016-11-10 10:48:00
349阅读
2评论
1. 数据压缩
假设任何文件都可以被压缩到 n 个二进制位（bit），那么其最多可以表示 2n 个不同的压缩结果。也即，如果存在 2n+1 个文件，根据鸽笼原理，必然至少有两个文件得到同一压缩效果。这就意味着，这两个文件不可能都无损地还原。
因此，可以得出一个相对抽象的结论，并非所有文件都可以被压缩到 n 个bit 位以内。
数据压缩的原理，压缩原理其实很简单，本质上，所谓压缩，就是找出文件
转载
2016-11-10 10:48:00
108阅读
2评论
随参信道的传输特性主要依赖于传输媒质特性，以电离层反射信道、对流层散射信道为主要代表。 随参信道是一种信道传输特性随时间随机快速变化的信道， 包括陆地移动信道，短波电离层反射信道、超短波微波对流层散射信道、超短波视距绕射信道。随参信道的传输媒介具有以下三个特点：对信号的衰耗（衰减）随时间而变；传输的时延随时间而变；会产生多径传播的效果。多径传播 ：指由发射点出发的电波可能经过多条路径到达接收点。每
推荐
原创
2022-11-29 09:25:09
2861阅读
点赞
目录
第1部分 信道的数学模型与分类
第2部分 信道与信道容量
第3部分 离散无记忆信道的信道容量
第4部分 组合信道的信道容量
第5部分 时间离散的连续信道的信道容量
第6部分 波形信道的信道容量
附录：
第1部分 信道的数学模型与分类
备注：
信息论的传输规律是指：
（1）关系1：输出与输入的数值的对应关系（转换特性）
（2）关系2：输出与输入的数字对应关系的概率（统计特性）
原创
2021-07-26 11:14:46
2996阅读
恒参信道 ：信道特性不随时间变化或者变化很缓慢，信道特性主要由传输媒介所决定，如传输媒介基本不随时间变化，则它构成的信道属于恒参信道。若信道的冲激响应为 ℎ(?)，信道输入为 ?(?)，则信道的输出为,其中?(?)为加性高斯白噪声，双边功率谱密度为W/Hz。无失真信道满足的条件设信道输入信号为?(?)，输出信号为 ?(?)，信道传输函数为 ?(?) 。若满足：则称信道为理想的无失真信道。若信道无失
原创
精选
2022-11-28 09:12:54
501阅读
python实现标准化互信息：https://blog.csdn.net/m0_37876745/article/details/112061449python实现有向信息python实现KL散度python实现InfoNCEpython实现信息熵python实现。。。以上敬请期待
原创
2021-06-29 10:52:01
395阅读
A mathematical theory of communication Audio学习: https://www.youtube.com/watch?v=S
原创
2022-10-20 11:29:41
268阅读
摘 要信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法，来研究信息的传输、提取和处理系统的一门学科。而编码技术研究的主要内容是如何既可靠又有效地传输信息。1948年香农在《贝尔系统技术杂志》上发表了《通信的数学理论》。次年，他又发表了另一篇著作《
原创
2022-11-16 23:48:25
158阅读
信道是任何一种通信系统中必不可少的组成部分。任何一个通信系统都可以视为由发送，信道与接收三部分组成。信道通常指以传输媒介为基础的信号通道。信号在信道中传输，可能遇到的影响主要有信道加性噪声 、 信号幅度衰减和相位失真 、 信道特性的非线性 、带宽限制和多径失真等。实际通信系统中，通过调整通信系统参数可以减小信道对信号失真的影响，但由于传输媒介的物理特性和实际通信系统中所采用的电子元器件的限制，使系
原创
精选
2022-11-25 14:43:19
542阅读
点赞
广义信道的数学模型连续信道模型 和 离散信道模型连续信道的数学模型广义信道中的调制信道属于连续信道。我们所关心的是信号经过信道所得到的输出信号，信道内部的变化过程并不重要。可以用描述一定输入、输出关系的方框来表示。连续信道具有以下一些特征：可以有一对或者多对输入端和输出端；大多数信道都为线性，也就是满足线性叠加原理；信号通过此类信道具有固定或者时变延迟，以及固定或时变的损耗和衰落；信道中不可避免的
原创
精选
2022-11-26 09:29:46
382阅读
