python实现标准化互信息:https://blog.csdn.net/m0_37876745/article/details/112061449python实现有向信息python实现KL散度python实现InfoNCEpython实现信息熵python实现。。。以上敬请期待
原创 2021-06-29 10:52:01
313阅读
香农信息熵用H表示,计算公式如下:所谓信息熵就是所有概率乘以概率对数的和的相反数,单位是比特。对于随机变量而言,其取值是不确定的。在做随机试验之前,我们只了解各取值的概率分布,而做完随机试验后,我们就确切地知道了取值,不确定性完全消失。这样,通过随机试验我们获得了信息,且该信息的数量恰好等于随机变量的熵。在这个意义上,我们可以把熵作为信息的量度。在随机事件中,结果(排列组合)越多,熵越大;结果(排
转载 2021-03-13 22:16:03
820阅读
定义一个事件 $X=x$ 的 自信息 为 $$ I(x) = \log P(x) $$ 信息熵 简称 熵 , 是表示随机变量不确定性的度量. 定义为 $$ H(X) = \mathbb{E}_{X \sim P}[I(x)] = \mathbb{E}_{X \sim P} [\log P(x)] $
原创 2022-08-18 17:50:37
53阅读
本专栏针包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:​​information-theory​​】,需要的朋友们自取。或者关注公众号【AIShareLab】,回复 信息论 也可获取。一、信息的基本概念什么是信息(information)信息:一个既复杂又抽象的概念。广义: 消息、情报、知识技术术语: 计算机处理(通信传输)的对象
原创 精选 2023-02-13 18:07:11
319阅读
1948年,美国数学家克劳德·香农发表论文《通信的数学理论》(A Mathematical Theory of Communication),奠定了信息论的基础。今天,信息论在信号处理、数据压缩、自然语言等许多领域,起着关键作用。虽然,它的数学形式很复杂,但是核心思想非常简单,只需要中学数学就能理解。本文使用一个最简单的例子,帮助大家理解信息论。一、词汇的编码小张是我的好朋友,最近去了美国。我们保
1. 数据压缩 假设任何文件都可以被压缩到 n 个二进制位(bit),那么其最多可以表示 2n 个不同的压缩结果。也即,如果存在 2n+1 个文件,根据鸽笼原理,必然至少有两个文件得到同一压缩效果。这就意味着,这两个文件不可能都无损地还原。 因此,可以得出一个相对抽象的结论,并非所有文件都可以被压缩到 n 个bit 位以内。 数据压缩的原理,压缩原理其实很简单,本质上,所谓压缩,就是找出文件
1. 前言 熵的概念最早起源于物理学,用于度量一个热力学系统的无序程度。 在信息论里则叫信息量,即熵是对不确定性的度量。从控制的角度来看,应叫不确定性。信息论的创始人香农在其著作《通信的数学理论》中
转载 2016-04-30 12:35:00
209阅读
2评论
​​《信息论与编码》课程笔记(一)——信息的基本概念 - 知乎​​​​《信息论与编码》课程笔记(二)——自信息量的相关概念 - 知乎​​​​《信息论与编码》课程笔记(三)——信息熵、条件熵、联合熵的概念、关系、性质 - 知乎​​
原创 2022-06-10 08:35:37
372阅读
1. 数据压缩 假设任何文件都可以被压缩到 n 个二进制位(bit),那么其最多可以表示 2n 个不同的压缩结果。也即,如果存在 2n+1 个文件,根据鸽笼原理,必然至少有两个文件得到同一压缩效果。这就意味着,这两个文件不可能都无损地还原。 因此,可以得出一个相对抽象的结论,并非所有文件都可以被压缩到 n 个bit 位以内。 数据压缩的原理,压缩原理其实很简单,本质上,所谓压缩,就是找出文件
转载 2016-11-10 10:48:00
300阅读
2评论
  推荐Google中国科学家写的一个系列《数学之美》,很不错,很通俗易懂。与我讲的信息科学基础课程关系很密切,可以作为课外阅读材料,帮助大家理解信息论的作用。   文章目录如下: 1. 统计语言模型 2. 谈谈中文分词 3. 隐含马尔可夫模型在语言处理中的应用 4. 怎样度量信息 5. 简单之美:布尔代数和搜索引擎的索引 6. 图论和网络爬虫 (Web Crawlers) 7. 信息论
原创 2008-05-26 08:41:06
870阅读
# 信息论学习python实现指南 作为一名经验丰富的开发者,你将帮助一位刚入行的小白,教会他如何使用Python实现信息论学习。下面是整个过程的步骤: ## 步骤概览 | 步骤 | 描述 | | --- | --- | | 1 | 学习信息论基础知识 | | 2 | 安装Python | | 3 | 导入必要的库 | | 4 | 读取数据集 | | 5 | 数据预处理 | | 6 | 计算
原创 5月前
39阅读
随机变量的自信息随机变量,测度,概率
原创 2021-06-29 14:18:02
248阅读
数字化大行其道以来,百分之九十的设备是智能设备,百分之九十九的设备是数字化的,所谓的数字化就是它们处理数字信息,这个过程仅仅在于处理过程而不包括最开始的输入和最终的输出,因为数字信息只是被离散化的集成电路识别并且这些电路可以对数字信息进行更简易的处理,但是我们人类却很难识别数字信息,我们人类要么识别自然事物,比如山水,要么识别抽象符号,比如文字。前面说过,所谓数字信息其实就是自然事物的编码,这个编
原创 2010-02-09 21:29:00
358阅读
一、应用背景在信道编码研究的初期,人们探索、研究出各种各样的编码构造方法,其中包括卷积码。早在1955年,P.Elias首先提出了卷积码。但是它又经历了十几年的研究以后,才开始具备应用价值。在这十几年期间,J.M.Wozencraft提出了适合大编码约束度的卷积码的序列译码,J.L.Massey提出了实现简单的门限译码,A.J.Viterbi提出了适合小编码约束度的卷积码Viterbi算法。20年
原创 9月前
76阅读
香农:#include <stdio.h>#include <iostream>#include <string.h>#include <algorithm>#include <bitset>#include <math.h>#include <ctype.h>#include <time.h>#inc
原创 2023-03-03 13:47:06
97阅读
与传统信息论的区别 1,由于海量用户,假设 R1=R2=...=R_K(没有多边形图) 2,由于小包,考虑n的二阶近似 3,联合错误概率 → 每用户平均错误概率 4,H 假设同分布 (无大尺度差异) 5,很多考虑CommonCodebook(Unsourced Transmission),而不是In ...
转载 2021-10-31 08:21:00
281阅读
2评论
流水账流水账这篇什么都不是 第一部分————笔记 基础 对应的是 这里的韦恩图是信息量(可能出现负数),而不是事件的逻辑交并! X-Y 条件信息 Y-X 条件信息 $X\and Y $ 互信息 \(X\or Y\) 联合信息 X和Y两事件独立,则韦恩图不交 X为方片概率,Y为红色概率,\(H(X)=
原创 2021-06-06 09:17:29
3023阅读
看到文章的标题,肯定有人想说“诶?小夕你不是做人工智能吗?怎么又捣鼓起通信里面的信息论了?”小夕肯定会很开心的揪住你,然后说“哈哈哈~发现一只外行!”学过机器学习的喵喵肯定知道很多决策树...
转载 2023-03-13 16:02:36
56阅读
  • 1
  • 2
  • 3
  • 4
  • 5