python实现标准化互信息：https://blog.csdn.net/m0_37876745/article/details/112061449python实现有向信息python实现KL散度python实现InfoNCEpython实现信息熵python实现。。。以上敬请期待
原创
2021-06-29 10:52:01
395阅读
A mathematical theory of communication Audio学习: https://www.youtube.com/watch?v=S
原创
2022-10-20 11:29:41
268阅读
# 信息论学习python实现指南
作为一名经验丰富的开发者，你将帮助一位刚入行的小白，教会他如何使用Python实现信息论学习。下面是整个过程的步骤：
## 步骤概览
| 步骤 | 描述 |
| --- | --- |
| 1 | 学习信息论基础知识 |
| 2 | 安装Python |
| 3 | 导入必要的库 |
| 4 | 读取数据集 |
| 5 | 数据预处理 |
| 6 | 计算
原创
2023-09-01 04:52:16
99阅读
1948年，美国数学家克劳德·香农发表论文《通信的数学理论》（A Mathematical Theory of Communication），奠定了信息论的基础。今天，信息论在信号处理、数据压缩、自然语言等许多领域，起着关键作用。虽然，它的数学形式很复杂，但是核心思想非常简单，只需要中学数学就能理解。本文使用一个最简单的例子，帮助大家理解信息论。一、词汇的编码小张是我的好朋友，最近去了美国。我们保
转载
2023-10-25 16:09:08
66阅读
香农信息熵用H表示，计算公式如下：所谓信息熵就是所有概率乘以概率对数的和的相反数，单位是比特。对于随机变量而言，其取值是不确定的。在做随机试验之前，我们只了解各取值的概率分布，而做完随机试验后，我们就确切地知道了取值，不确定性完全消失。这样，通过随机试验我们获得了信息，且该信息的数量恰好等于随机变量的熵。在这个意义上，我们可以把熵作为信息的量度。在随机事件中，结果（排列组合）越多，熵越大；结果（排
转载
2021-03-13 22:16:03
951阅读
定义一个事件 $X=x$ 的 自信息 为 $$ I(x) = \log P(x) $$ 信息熵 简称 熵 , 是表示随机变量不确定性的度量. 定义为 $$ H(X) = \mathbb{E}_{X \sim P}[I(x)] = \mathbb{E}_{X \sim P} [\log P(x)] $
原创
2021-08-27 09:51:19
143阅读
原创
2022-08-18 17:50:37
71阅读
本专栏针包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，需要的朋友们自取。或者关注公众号【AIShareLab】，回复 信息论 也可获取。一、信息的基本概念什么是信息（information)信息:一个既复杂又抽象的概念。广义: 消息、情报、知识技术术语: 计算机处理(通信传输)的对象
原创
精选
2023-02-13 18:07:11
390阅读
[Frontmatter](如果你只想要问题，请跳过这个)：我目前正在使用Shannon-Weaver Mutual Information和normalized redundancy来测量由功能组织的离散和连续特征值袋之间的信息屏蔽程度。使用这种方法，我的目标是构造一个看起来非常类似于ID3的算法，而不是使用Shannon entropy，该算法将寻求(作为循环约束)来最大化或最小化单个特征和特
转载
2023-11-29 16:45:27
78阅读
1. 数据压缩
假设任何文件都可以被压缩到 n 个二进制位（bit），那么其最多可以表示 2n 个不同的压缩结果。也即，如果存在 2n+1 个文件，根据鸽笼原理，必然至少有两个文件得到同一压缩效果。这就意味着，这两个文件不可能都无损地还原。
因此，可以得出一个相对抽象的结论，并非所有文件都可以被压缩到 n 个bit 位以内。
数据压缩的原理，压缩原理其实很简单，本质上，所谓压缩，就是找出文件
转载
2016-11-10 10:48:00
349阅读
2评论
1. 前言 熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。 在信息论里则叫信息量,即熵是对不确定性的度量。从控制论的角度来看，应叫不确定性。信息论的创始人香农在其著作《通信的数学理论》中
转载
2016-04-30 12:35:00
266阅读
2评论
《信息论与编码》课程笔记（一）——信息的基本概念 - 知乎《信息论与编码》课程笔记（二）——自信息量的相关概念 - 知乎《信息论与编码》课程笔记（三）——信息熵、条件熵、联合熵的概念、关系、性质 - 知乎
原创
2022-06-10 08:35:37
458阅读
1. 数据压缩
假设任何文件都可以被压缩到 n 个二进制位（bit），那么其最多可以表示 2n 个不同的压缩结果。也即，如果存在 2n+1 个文件，根据鸽笼原理，必然至少有两个文件得到同一压缩效果。这就意味着，这两个文件不可能都无损地还原。
因此，可以得出一个相对抽象的结论，并非所有文件都可以被压缩到 n 个bit 位以内。
数据压缩的原理，压缩原理其实很简单，本质上，所谓压缩，就是找出文件
转载
2016-11-10 10:48:00
108阅读
2评论
推荐Google中国科学家写的一个系列《数学之美》，很不错，很通俗易懂。与我讲的信息科学基础课程关系很密切，可以作为课外阅读材料，帮助大家理解信息论的作用。 文章目录如下： 1. 统计语言模型 2. 谈谈中文分词 3. 隐含马尔可夫模型在语言处理中的应用 4. 怎样度量信息 5. 简单之美：布尔代数和搜索引擎的索引 6. 图论和网络爬虫 (Web Crawlers) 7. 信息论在
原创
2008-05-26 08:41:06
940阅读
深度学习信息论是一个综合性的研究领域，涉及深度学习的算法、模型及其在信息处理中的应用。随着数据量的激增和智能应用场景的丰富，如何有效应用深度学习技术来提取、处理和利用信息，已成为重要的研究课题。在此博文中，我将详细记录解决“深度学习信息论”问题的过程，分为环境配置、编译过程、参数调优、定制开发、性能对比及安全加固等六个部分。
### 环境配置
为确保深度学习信息论研究的顺利进行，首先需要配置合适
在信息论中，我们经常会遇到一些基本概念，如联合熵、条件熵、交叉熵和KL散度等。以下是一些Python代码示例，用于计算这些概念¹。# -*-coding:utf-8-*-
# Author: WSKH
import numpy as np
# 计算交叉熵
def cross(M,N):
return -np.sum(M*np.log(N)+(1-M)*np.log(1-N))
M =
原创
2023-12-25 13:42:14
141阅读
# 信息论学习ITL的Python
## 1. 介绍
信息论是研究信息传输和处理的一门学科，它主要关注如何量化和传输信息。信息论的核心概念是熵（entropy），它用来衡量信息的不确定性和随机性。信息熵越高，信息越不确定和随机。
信息论语言（Information Theory Language，简称ITL）是一种用于描述和分析信息论模型的工具。在ITL中，我们可以定义和计算熵、条件熵、相对熵
原创
2023-08-29 07:52:19
98阅读
与传统信息论的区别 1，由于海量用户，假设 R1=R2=...=R_K（没有多边形图） 2，由于小包，考虑n的二阶近似 3，联合错误概率 → 每用户平均错误概率 4，H 假设同分布 （无大尺度差异） 5，很多考虑CommonCodebook（Unsourced Transmission），而不是In ...
转载
2021-10-31 08:21:00
397阅读
2评论
香农：#include <stdio.h>#include <iostream>#include <string.h>#include <algorithm>#include <bitset>#include <math.h>#include <ctype.h>#include <time.h>#inc
原创
2023-03-03 13:47:06
127阅读
流水账流水账这篇什么都不是 第一部分————笔记 基础 对应的是 这里的韦恩图是信息量(可能出现负数)，而不是事件的逻辑交并！ X-Y 条件信息 Y-X 条件信息 $X\and Y $ 互信息 \(X\or Y\) 联合信息 X和Y两事件独立，则韦恩图不交 X为方片概率，Y为红色概率，\(H(X)=
原创
2021-06-06 09:17:29
3106阅读
