这里有信息论与编码的相关资料，欢迎大家过来看看！信息论与编码清华大学出版社曹雪红 张宗橙 编著
转载
精选
2007-12-15 15:14:02
856阅读
1评论
前言：什么是熵
熵的概念是由德国物理学家克劳修斯于1865年所提出。最初是用来描述“能量退化”的物质状态参数之一，在热力学中有广泛的应用。但那时熵仅仅是一个可以通过热量改变来测定的物理量，其本质仍没有很好的解释，直到统计物理、信息论等一系列科学理论发展，熵的本质才逐渐被解释清楚，即，熵的本质是一个系统“内在的混乱程度”。
它在控制论、概率论、数论、天体物理、生命科学等领域都有重要
原创
2021-07-26 11:16:07
880阅读
目录
前言：
第1部分 信息论研究对象与研究方法
第2部分 信息论主要研究的内容
第3部分 香农对信息的定义
第4部分 香农的大师风范
前言：
为什么要学这门课？
信息论为通信系统进行了建模
信息论为物理层编码进行了建模
第1部分 信息论研究对象与研究方法
备注：
收到信息的过程就是消除不确定的过程，
收到信息的过程就是不确定性逐步转为确定性的过程。
备注：
原创
2021-07-26 11:15:47
723阅读
第1部分 离散无记忆信源的数学模型
备注：投掷硬币本质上就是二进制信源系统，因此二进制信源实际是指有一连串的二进制比特组成，每个比特出现0和1，是一种不确定性的概率，如果是确定性的二进制比特，就不需要通信来进行传输了。正是因为0和1是不确定性的，才需要发送方发送，接收方接收。
第2部分 离散无记忆信源的测度
备注：所谓信源的测度，就是每个符号携带多少的信
原创
2021-07-26 11:15:19
1138阅读
目录
前言：
第1部分 等码长信源编码
第2部分 不等码长信源编码
第3部分 Huffman编码
第4部分 算法编码
第5部分 LZ编码
前言：
定义：信源编码的目的是用特定的符号不是信源的信息。
目的：无论是等长编码还是不等长符号编码，编码的目的的选择最短的平均符号数来完成对信息的编码。
优化标准：平均的符号数越少，编码越优。
基本思想：出现概率大的信息，使用符号数少的编码，概率小的信息，
原创
2021-07-26 11:14:24
539阅读
点赞
第1部分 信道编码的基本概念
思考：如果收到的数据不可靠，那接收端怎么才能判断收到的数据是0还是1呢？
这就需要信道编码，确保接收方收到的数据确实是发送方发送的数据，而不是受干扰后的数据！
备注：
人在进行解码时候，能够根据上下文猜测传输过程中的出错的信息，甚至能够根据上下文进行恢复，这实际上是卷积码的基本思想，只不过卷积码只能根据前后几个bit进行纠错，不能根据全文进行
原创
2021-07-26 11:13:58
1938阅读
目录
第1部分 信道的数学模型与分类
第2部分 信道与信道容量
第3部分 离散无记忆信道的信道容量
第4部分 组合信道的信道容量
第5部分 时间离散的连续信道的信道容量
第6部分 波形信道的信道容量
附录：
第1部分 信道的数学模型与分类
备注：
信息论的传输规律是指：
（1）关系1：输出与输入的数值的对应关系（转换特性）
（2）关系2：输出与输入的数字对应关系的概率（统计特性）
原创
2021-07-26 11:14:46
2996阅读
说到木桶理论，可谓众所周知:一个由许多块长短不同的木板箍成的木桶，决定其容水量大小的并非是其中最长的那块木板或全部木板长度的平均值，而是取决于其中最短的那块木板。要想提高木桶整体效应，不是增加最长的那块木板的长度，而是要下功夫补齐最短的那块木板的长度。这个理论由谁提出，目前已经无从考究了，但是这个理论的应用范围却是十分广泛，从经济学、企业管理到人力资源到个人发展。
转载
精选
2008-04-06 22:48:05
606阅读
1.1 定义预测编码是数据压缩理论的一个重要分支。根据离散信号之间存在一定相关性特点，利用前面的一个或多个信号对下一个信号进行预测，然后对实际值和预值的差（预测误差）进行编码。如果预测比较准确，那么误差信号就会很小，就可以用较少的码位进行编码，以达到数据压缩的目的。第n个符号Xn的熵满足： n越大考虑更多元素之间的依赖关系时，熵值进一步降低，得到的熵越接近于实际信源所含的实际熵
转载
2024-01-26 09:30:14
146阅读
文章预览：一. 基本概念 1、字符集 2、编码字符集 3、字符编码方式 4、编码字符集与编码方式间对应关系二. 字符集与编码 1、ASCII字符集&编码 2、GBXXXX字符集&编码 3、UCS字符...
原创
2023-12-22 20:55:41
333阅读
第三章计算机信息检索,第二节计算机信息检索基本原理及检索技术,一、计算机信息检索原理,计算机将输入机检系统的用户提问标识(检索词)与已存储在系统中数据库内的文献特征标识(标引词)进行机械性匹配比较，凡符合给定的比较原则和逻辑运算条件即为命中信息。检索提问字符串匹配数据库中特征标识字符串。,二、计算机信息检索技术,计算机检索时采用的相关技术，主要有布尔检索、词位检索、截词检索、限制检索。,布尔检索,
转载
2024-05-07 11:20:14
89阅读
《信息论与编码》课程笔记（一）——信息的基本概念 - 知乎《信息论与编码》课程笔记（二）——自信息量的相关概念 - 知乎《信息论与编码》课程笔记（三）——信息熵、条件熵、联合熵的概念、关系、性质 - 知乎
原创
2022-06-10 08:35:37
458阅读
自信息信息量如何考察或计算信源输出的消息(或者符号)的信息量?信源的信息实质:不确定性（信源输出的是消息，消息的内涵是信息。信源输出一个符号，我们认为发生一个事件）。数学上我们用概率（或概率密度）来表征事件不确定性的大小。1.信息量的大小与不确定性的消除多少有关;收到某消息获得的信息量=不确定性的减少量=(收到该消息前关于某事件发生的不确定性)-(收到此消息后关于某事件发生的不确定性)2.信道无噪
推荐
原创
2022-09-30 16:05:21
4774阅读
点赞
信息系统与信息管理在软考中的应用与价值
随着信息技术的迅猛发展和广泛应用，信息系统与信息管理在企业和组织中的作用越来越重要。作为一名软考从业者，了解和掌握信息系统与信息管理的基本理论和方法，对于提高软考通过率、提升个人技能价值具有十分重要的意义。本文将结合信息系统与信息管理的相关理论，探讨其在软考中的应用与价值。
一、信息系统与信息管理概述
信息系统是一个集合了硬件、软件、数据、人员和过程等
原创
2023-11-10 19:01:01
122阅读
香农：#include <stdio.h>#include <iostream>#include <string.h>#include <algorithm>#include <bitset>#include <math.h>#include <ctype.h>#include <time.h>#inc
原创
2023-03-03 13:47:06
127阅读
流水账流水账这篇什么都不是 第一部分————笔记 基础 对应的是 这里的韦恩图是信息量(可能出现负数)，而不是事件的逻辑交并！ X-Y 条件信息 Y-X 条件信息 $X\and Y $ 互信息 \(X\or Y\) 联合信息 X和Y两事件独立，则韦恩图不交 X为方片概率，Y为红色概率，\(H(X)=
原创
2021-06-06 09:17:29
3106阅读
一、应用背景在信道编码研究的初期，人们探索、研究出各种各样的编码构造方法，其中包括卷积码。早在1955年，P.Elias首先提出了卷积码。但是它又经历了十几年的研究以后，才开始具备应用价值。在这十几年期间，J.M.Wozencraft提出了适合大编码约束度的卷积码的序列译码，J.L.Massey提出了实现简单的门限译码，A.J.Viterbi提出了适合小编码约束度的卷积码Viterbi算法。20年
原创
2023-05-03 21:10:02
131阅读
信息系统与管理论文：软考视角的探讨
摘要
随着信息技术的飞速发展，信息系统与管理在各行各业中的应用越来越广泛，对于信息系统与管理的研究和探讨也变得越来越重要。而软考作为国内权威的计算机技术与软件专业技术资格（水平）考试，对于评估和提升信息系统管理人员的技术水平和能力具有重要意义。本文将从软考的角度出发，对信息系统与管理的相关论文进行探讨。
关键词：信息系统与管理、软考、技术水平、能力评估
原创
2023-11-09 13:24:08
110阅读
1、信道编码如何编，才能检错或者纠错？信道编码与运送玻璃杯的过程类似，运送玻璃杯时，为了保证运送途中不出现打烂玻璃杯的情况，通常会用一些泡沫或者海绵等将玻璃杯包装起来。信道编码中，由发送端的信道编码器在信息码元序列中增加一些监督码元。这些监督码元和信息码之间有一定的关系，使接收端可以利用这种关系由信道译码器来发现或纠正可能存在的错码。这个就是差错控制编码。2、信道编码会不会使信道传输能力下降呢？我...
原创
2022-04-14 14:22:45
409阅读
1、信道编码如何编，才能检错或者纠错？信道编码与运送玻璃杯的过程类似，运送玻璃杯时，为了保证运送途中不出现打烂玻璃杯的情况，通常会用一些泡沫或者海绵等将玻璃杯包装起来。信道编码中，由发送端的信道编码器在信息码元序列中增加一些监督码元。这些监督码元和信息码之间有一定的关系，使接收端可以利用这种关系由信道译码器来发现或纠正可能存在的错码。这个就是差错控制编码。2、信道编码会不会使信道传输能力下降呢？我...
原创
2021-08-20 11:26:21
235阅读
