《信息论与编码》课程笔记（一）——信息的基本概念 - 知乎《信息论与编码》课程笔记（二）——自信息量的相关概念 - 知乎《信息论与编码》课程笔记（三）——信息熵、条件熵、联合熵的概念、关系、性质 - 知乎
原创
2022-06-10 08:35:37
458阅读
自信息信息量如何考察或计算信源输出的消息(或者符号)的信息量?信源的信息实质:不确定性（信源输出的是消息，消息的内涵是信息。信源输出一个符号，我们认为发生一个事件）。数学上我们用概率（或概率密度）来表征事件不确定性的大小。1.信息量的大小与不确定性的消除多少有关;收到某消息获得的信息量=不确定性的减少量=(收到该消息前关于某事件发生的不确定性)-(收到此消息后关于某事件发生的不确定性)2.信道无噪
推荐
原创
2022-09-30 16:05:21
4774阅读
点赞
这里有信息论与编码的相关资料，欢迎大家过来看看！信息论与编码清华大学出版社曹雪红 张宗橙 编著
转载
精选
2007-12-15 15:14:02
856阅读
1评论
香农：#include <stdio.h>#include <iostream>#include <string.h>#include <algorithm>#include <bitset>#include <math.h>#include <ctype.h>#include <time.h>#inc
原创
2023-03-03 13:47:06
127阅读
流水账流水账这篇什么都不是 第一部分————笔记 基础 对应的是 这里的韦恩图是信息量(可能出现负数)，而不是事件的逻辑交并！ X-Y 条件信息 Y-X 条件信息 $X\and Y $ 互信息 \(X\or Y\) 联合信息 X和Y两事件独立，则韦恩图不交 X为方片概率，Y为红色概率，\(H(X)=
原创
2021-06-06 09:17:29
3106阅读
一、应用背景在信道编码研究的初期，人们探索、研究出各种各样的编码构造方法，其中包括卷积码。早在1955年，P.Elias首先提出了卷积码。但是它又经历了十几年的研究以后，才开始具备应用价值。在这十几年期间，J.M.Wozencraft提出了适合大编码约束度的卷积码的序列译码，J.L.Massey提出了实现简单的门限译码，A.J.Viterbi提出了适合小编码约束度的卷积码Viterbi算法。20年
原创
2023-05-03 21:10:02
131阅读
前言：什么是熵
熵的概念是由德国物理学家克劳修斯于1865年所提出。最初是用来描述“能量退化”的物质状态参数之一，在热力学中有广泛的应用。但那时熵仅仅是一个可以通过热量改变来测定的物理量，其本质仍没有很好的解释，直到统计物理、信息论等一系列科学理论发展，熵的本质才逐渐被解释清楚，即，熵的本质是一个系统“内在的混乱程度”。
它在控制论、概率论、数论、天体物理、生命科学等领域都有重要
原创
2021-07-26 11:16:07
880阅读
信道编码在通信系统中的位置和作用信道编码的基本分类分组码和卷积码（依据构造，编译码过程，性能指标）。三种主要的信道编译码原理线性分组码循环码卷积码了解其他类型的信道编码以及相关编码界限信道编码的性能分析信道编码的发展与应用信道编码的基本概念实际信道中传输数字信号时，由于信道传输特性的不理想及加性噪声的影响，我们接收到的数字信号不可避免地会发生错误。合理设计基带信号， 选择调制解调方式等可以使误比特
原创
精选
2022-11-18 14:41:43
882阅读
目录
前言：
第1部分 等码长信源编码
第2部分 不等码长信源编码
第3部分 Huffman编码
第4部分 算法编码
第5部分 LZ编码
前言：
定义：信源编码的目的是用特定的符号不是信源的信息。
目的：无论是等长编码还是不等长符号编码，编码的目的的选择最短的平均符号数来完成对信息的编码。
优化标准：平均的符号数越少，编码越优。
基本思想：出现概率大的信息，使用符号数少的编码，概率小的信息，
原创
2021-07-26 11:14:24
539阅读
点赞
在当今信息化的时代，市场竞争首先是信息资源的竞争。为了适应市场环境的需要，快速、准确、动态地了解和管理生产过程中的的运作状况，进一步提高企业管理水平和工作效率，提升企业的综合实力，企业信息化建设是一条必由之路和有效途径。
实施企业信息化建设，一个必要的前提和首要的任务就是对企业管理信息进行分类与编码，它将直接关系到企业信息系统平台的运行质量和管理工作的状态与
转载
精选
2010-03-17 12:21:59
2169阅读
导读信息学能够有助于孩子未来工作发展，提升孩子的综合能力。上一节课，我们讲解了进制的基本概念，这节课我们深入讲解进制的转换讲解编码相关知识。这节课，我们来更加深入地讲解进制的相关内容。1 常用进制在C++中我们最常用的进制主要有：二进制八进制十进制十六进制上一节课我们主要讲了进制的一些基本知识，这一节课，我们来了解一下进制的转化和运算。2 十进制与其他进制的转换有些孩子之前已经有学过十进制和其他进
原创
2022-11-14 23:33:32
541阅读
1 进制进阶上节课我们讲了进阶的基本内容。信息学集训 | 03 位运算与进制初步这节课，我们来更加深入地讲解进制的相关内容。1 常用进制在C++中我们最常用的进制主要有：二进制八进制十进制十六进制上一节课我们主要讲了进制的一些基本知识，这一节课，我们来了解一下进制的转化和运算。2 十进制与其他进制的转换有些孩子之前已经有学过十进制和其他进制的转换了。十进制和其他进制之间的转换是比较简单的。1、X进
转载
2021-04-17 13:43:54
298阅读
目录
前言：
第1部分 信息论研究对象与研究方法
第2部分 信息论主要研究的内容
第3部分 香农对信息的定义
第4部分 香农的大师风范
前言：
为什么要学这门课？
信息论为通信系统进行了建模
信息论为物理层编码进行了建模
第1部分 信息论研究对象与研究方法
备注：
收到信息的过程就是消除不确定的过程，
收到信息的过程就是不确定性逐步转为确定性的过程。
备注：
原创
2021-07-26 11:15:47
723阅读
随参信道的传输特性主要依赖于传输媒质特性，以电离层反射信道、对流层散射信道为主要代表。 随参信道是一种信道传输特性随时间随机快速变化的信道， 包括陆地移动信道，短波电离层反射信道、超短波微波对流层散射信道、超短波视距绕射信道。随参信道的传输媒介具有以下三个特点：对信号的衰耗（衰减）随时间而变；传输的时延随时间而变；会产生多径传播的效果。多径传播 ：指由发射点出发的电波可能经过多条路径到达接收点。每
推荐
原创
2022-11-29 09:25:09
2861阅读
点赞
在当今信息化的时代，市场竞争首先是信息资源的竞争。为了适应市场环境的需要，快速、准确、动态地了解和管理生产过程中的的运作状况，进一步提高企业管理水平和工作效率，提升企业的综合实力，企业信息化建设是一条必由之路和有效途径。
实施企业信息化建设，一个必要的前提和首要的任务就是对企业管理信息进行分类与编码，它将直接关系到企业信息系统平台的运行质量和管理工作的状态与
转载
精选
2010-04-30 07:29:53
2386阅读
恒参信道 ：信道特性不随时间变化或者变化很缓慢，信道特性主要由传输媒介所决定，如传输媒介基本不随时间变化，则它构成的信道属于恒参信道。若信道的冲激响应为 ℎ(?)，信道输入为 ?(?)，则信道的输出为,其中?(?)为加性高斯白噪声，双边功率谱密度为W/Hz。无失真信道满足的条件设信道输入信号为?(?)，输出信号为 ?(?)，信道传输函数为 ?(?) 。若满足：则称信道为理想的无失真信道。若信道无失
原创
精选
2022-11-28 09:12:54
501阅读
第1部分 离散无记忆信源的数学模型
备注：投掷硬币本质上就是二进制信源系统，因此二进制信源实际是指有一连串的二进制比特组成，每个比特出现0和1，是一种不确定性的概率，如果是确定性的二进制比特，就不需要通信来进行传输了。正是因为0和1是不确定性的，才需要发送方发送，接收方接收。
第2部分 离散无记忆信源的测度
备注：所谓信源的测度，就是每个符号携带多少的信
原创
2021-07-26 11:15:19
1138阅读
作为一名程序员，肯定有被乱码困扰的时候，真到了百思不得其解的时候，就会觉得：英文程序员真幸福。但其实只要明白编码之间的转换规律，其实乱码还是很好解决的。我们都知道字符串在保存和传输的时候需要先经过编码成二进制，到达目的地后再进行解码。所以乱码的本质就是：读取二进制的时候采用的编码和最初将字符转换成二进制时的编码不一致。 ps：编码有动词含义
原创
2017-01-07 15:15:32
2605阅读
昨天在查看NHibernate一个帮助文档中，涉及到通过嵌入式读取配置文件消除对应用程序中对
原创
2023-04-11 08:52:01
316阅读
DBPL编码与曼彻斯特编码 DBPL编码 摘自论文 [1]黄小东,习友宝,古天祥.基于FPGA和PLL的DBPL信号解码系统的设计[J].电子世界,2012(16):114. DBPL码，即差分双相调制(Differential Bi-Phase-Level)码，是绝对双相码经过差分变换相对于非归零 ...
转载
2021-10-22 13:27:00
657阅读
2评论
