rxroom 配合rxjava rxcode

本篇是学习编码理论时写的杂记，内容可能枯燥。

二维码笔记系列(原文地址)：

• 『二维码学习笔记(一) | 二维码概述』
• 『二维码学习笔记(二) | 数据分析与数据编码』
• 『二维码学习笔记(三) | 纠错编码』
• 『二维码学习笔记(四) | 信息构建与模块放置』
• 『二维码学习笔记(五) | 数据掩码与版本信息』

唠唠闲话

二维码是一种存储二进制数据的矩阵条码，其使用 RS(Reed-Solomon) 编码进行纠错。RS 码是一种线性码(Linear code)，其在现实生活中应用广泛，且存在高效的编解码算法。

本篇介绍编码原理，纠错算法以及拓展知识，跳转目录：

• 分组码
• 线性码
• 信息率

---

分组码

本节介绍分组码的定义例子，以及汉明距离等重要概念。

概述

在信息传输中，因传输通道噪音的干扰，接收端收到的信息与发送端发出的信息可能有误差。纠错码的引入，通过增加额外数据位，使传输的数据抵抗干扰的能力更加鲁棒(robust)。

在编码理论中，分组码(block code)是一大类重要的纠错码，它以块的形式对数据进行编码。分组码的抽象定义在概念上很有用，因为它允许编码理论家、数学家和计算机科学家以统一的方式研究所有分组码的局限性。这种局限性通常对编码界限进行研究，研究其与分组码不同参数的联系，例如信息率与检测纠正错误能力。

定义及例子

纠错码用于在受信道噪声影响的不可靠通信信道上可靠地传输数字数据。当发送者想要使用分组码传输长数据流时，发送者将流分成一些固定大小的片段，每个这样的片段称为消息(message)。分组码过程中，将每 message 单独编码成块(block)。然后，发送者将所有 block 传输给接收者，接收者又可以使用某种解码机制（希望）从可能损坏的接收 block 中恢复原始消息。整体传输的性能和成功取决于信道和分组码的参数。

定义，记号和例子：

1. 设 $\Sigma$ 为长度为 $q$ 的字符集，记 $\Sigma^n$
2. 将子集 $C\subseteq\Sigma^n$ 称为块长(block length)为 $n$ 的分组码(注：编码=嵌入映射=子集)
3. $C$ 的消息长度或维数定义为 $k=log_q(|C|)$（形式定义，可能非整数）
4. 编码 $C$ 的编码率或信息率(code rate/information rate) 定义为
   $R=\frac{k}{n}=\frac{log_q(|C|)}{n}$
   注：$R$
5. $C$ 的元素 $x$ 称为码字(codeword)
6. 设分组码 $C$ 的距离为 $d$，将 $C$ 简称为 $(n, k, d)_{\Sigma}$，距离的定义在下边给出
7. 分组码可以看成嵌入映射 $C\hookrightarrow\Sigma^n$，映射左侧为原始信息，右侧为加密后的信息
8. 例1：$\{hi,\ am,\ ok\}$ 是以 $\Sigma=\{a,\dots,z\}$ 为字符集的，块长为 2， 维数为 $log_{26}3$
9. 例2：$\{(1,1,1), (0,0,0)\}$ 是以 $\Sigma=\{0,1\}$ 为字符集的，块长 3 ，维数 1 的分组码，写成映射形式
   $\begin{align*} \Sigma^1&\rightarrow\Sigma^3\\ 0&\rightarrow(0, 0, 0)\\ 1&\rightarrow(1, 1, 1) \end{align*}$
10. 用大空间 $\Sigma^3$ 表示小空间 $\Sigma^1$

• 察觉错误(detect error)：用 $(0,0,0)$ 传输信息 0 时，若发生了至多 2 个错误，比如
  $(0,0,0)\rightarrow(0,1,1)$
  接收端收到 $(0,1,1)\notin\Sigma^3$
• 填补缺失(correct erasure)：用 $(0,0,0)$ 传输信息 0 时，若丢失了至多 2 个位置的数据（且丢失位置已知），比如
  $(0,0,0)\rightarrow(*,0,*)$
  接收端通过余下数据仍能还原初始数据
• 纠错能力(correct error)：假设传输 $(0,0,0)$ 时，有至多 1 个位置的数据错误，比如
  $(0,0,0)\rightarrow(0,1,0)$
  由于错误位置至多一个，初始数据只可能是 $(0,0,0)$

11. 显然，编码的纠错能力是有上限的，假设数据 $(0,0,0)$ 传送时发生 2 个位置的错误，比如变成 $(0,1,1)$，接收端并不能确定原数据是 $(0,0,0)$ 还是 $(1,1,1)$。类似地，检测错误和填补缺失的能力也是有限的，假设传送时发生 3 个位置的错误，这种错误显然不能被检测出来。

汉明距离

汉明距离衡量编码处理错误能力的关键指标，下边给出具体定义，总不妨设字符集 $\Sigma$

1. 设码字 $c=(c_1,\cdots,c_n)\in\Sigma^n$，定义权重(weight) $wt(c) = \#\{i|c_i\neq 0\}$ 为 $c$
2. 对 $c,c$，定义 $c$ 和 $c$ 的汉明距离(Hamming distance) 为
   $\Delta(c,c$
   注：容易验证 $\Sigma^n$ 关于 $\Delta$
3. 编码 $C$ 的（最小）距离定义为
   $\delta(C) = \min\{\Delta(c,c$
   注：距离 $d=\delta(C)$ 描述了码字 $c$ 转变为另一码字 $c$ 的最少修改数
4. （定理）容易证明，分组码 $(n,k,d)_{\Sigma}$

• 编码 $C$ 能检测至多 $e\leq d-1$
• 编码 $C$ 能填补至多 $e\leq d-1$
• 编码 $C$ 能纠正至多 $e\leq \lfloor\frac{d-1}{2}\rfloor$ 个错误，即 $2e\leq d-1$

6. 用图像理解第三条性质：根据定义，以码字为圆心，半径 $e\leq \lfloor\frac{d-1}{2}\rfloor$ 的“小球”互不相交，当错误数目 $e\leq \lfloor\frac{d-1}{2}\rfloor$ 时，错误数据仍在小球范围内，因此能被纠正

衡量指标

编码在设计上有几个重要目标，或者说衡量指标：

• 处理错误的能力，比如检测错误，纠正错误
• 尽量小的冗余信息(minimize overhead)
• 计算效率，比如编码，解码和纠错等操作的执行效率

在分组码 $(n,k,d)_{\Sigma}$ 中，错误处理能力用距离 $d$ 或相对距离 $d$ 描述，冗余信息用编码率/信息率 $R$

一般地，编码距离 $d$ 越大，错误处理能力越强，但相应地，冗余信息将越多，这导致了信息率 $R$ 的减小。因此，协调错误处理能力 $d$ 与信息率 $R$

尽管如此，有不少研究在某些方面给出了解答，例如下边要介绍的汉明界。

有时也用相对距离 $d$

汉明界

在编码理论领域，汉明界(Hamming Bound) 是对分组码参数的限制，它对编码空间的利用率提出了重要限制。汉明界也被称为球包装界或体积界，这可以从推导过程看出来。

1. 设 $x\in\Sigma^n$，如下定义 $B_{\Sigma^n}(x, e)$ ，并称为 $x$ 的以 $e$ 为半径的 Hamming Ball。
   $B_{\Sigma^n}(x, e) = \{y\in\Sigma^n\ |\ \Delta(x,y)\leq e\}$
2. 将汉明球 $B_{\Sigma^n}(x, e)$ 包含的 $\Sigma^n$ 元素个数称为球的体积(Volume) ，记为
   $Vol_q(e,n)=|B_{\Sigma^n}(x, e)|,\ where\ q=|\Sigma|$
   由于对称性，球体积与 $x$ 的选取无关，因而体积定义中不含参数 $x$
3. 推导易得下边公式
   $Vol_q(e,n) = \sum_{i=0}^e\begin{pmatrix}n\\ i\end{pmatrix}(q-1)^i$
   其中加项 $\begin{pmatrix}n\\ i\end{pmatrix}(q-1)^i$ 代表与 $x$ 的汉明距离为 $i$ 的 $\Sigma^n$。换言之，这些元素可通过 $x$
4. 设 $d$ 为 $C$ 的距离，同前边示意图易知，汉明球 $B_{\Sigma^n}(x,\lfloor\frac{d-1}{2}\rfloor),x\in C$ 之间两两不交，继而有
   $|C|\cdot Vol_q(\lfloor\frac{d-1}{2}\rfloor,n) \leq |\Sigma^n| \leq q^n$
   取等当且仅当这些汉明球覆盖了整个空间；整理可得
   $\begin{align*} &\log_q(|C|) + \log_q(Vol_q(\lfloor\frac{d-1}{2}\rfloor,n))\leq n\\ \Rightarrow &\ k+\log_q(Vol_q(\lfloor\frac{d-1}{2}\rfloor,n))\leq n\\ \Rightarrow &\ \frac{k}{n}+\frac{\log_q(Vol_q(\lfloor\frac{d-1}{2}\rfloor,n))}{n}\leq 1\\ \Rightarrow &\ R \leq 1-\frac{\log_q(Vol_q(\lfloor\frac{d-1}{2}\rfloor,n))}{n} \end{align*}$
   上式表明，当编码块长 $n$，字符集长 $q$ 以及编码距离 $d$ 确定时，信息率 $R$ 存在不等式右侧给出的上界，这一上界便称为汉明界
5. 汉明界在某些角度上回答了编码距离与信息率的关系，假设编码块长 $n$ 和字符集 $\Sigma$ 确定，汉明界表明：当编码距离 $d$ 确定时，信息率 $R$ 不会超过某个数值。而取到边界当且仅当所构造编码的半径为 $\lfloor\frac{d-1}{2}\rfloor$ 的汉明球覆盖了整个空间。达到汉明界的编码被称为完美编码(perfect code) 或汉明码(Hamming code)
6. 举个例子，考虑二进制字符集 $\Sigma=\{0,1\}$，设编码的块长为 $n=7$，距离为 $d=3$，维数为 $k$，计算汉明界
   $\begin{align*} R = \frac{k}{n}&\leq 1-\frac{\log_q(Vol_q(\lfloor\frac{d-1}{2}\rfloor,n))}{n}\\ &= 1-\frac{\log_2(Vol_2(1,7))}{7},\ Vol_2(1,7) = 1+7\\ &= 1-\frac{\log_2(8)}{7} = \frac{4}{7} \end{align*}$
   根据汉明界，编码维数 $k\leq 4$，如下编码可以取到等号
   $\begin{align*} C:\Sigma^4&\rightarrow \Sigma^7\\ \begin{pmatrix}x_1\\ x_2\\ x_3\\ x_4\end{pmatrix}& \mapsto\begin{pmatrix} 1& & & \\ & 1& & \\ & &1 & \\ & & &1 \\ 0& 1& 1 &1 \\ 1& 0 &1 &1 \\ 1& 1 & 0 &1 \\ \end{pmatrix} \begin{pmatrix}x_1\\ x_2\\ x_3\\ x_4\end{pmatrix} = \begin{pmatrix}x_1\\ x_2\\ x_3\\ x_4\\ x_2+x_3+x_4 \\ x_1+x_3+x_4 \\ x_1+x_2+x_4\end{pmatrix} \end{align*}$

例中，编码用线性变换定义，这种编码方式称为线性码，Reed Solomon 编码便是一类特殊的线性码。

---

线性码

线性码是一种纠错码，任何码字的线性组合也是一个码字。线性码传统上分为分组码和卷积码，以下仅讨论分组码。

下设 $\mathbb{F} = \mathbb{F}_q$ 为 $q$

基本概念

1. （定义） 编码空间 $\mathbb{F}^n$ 的真子空间 $C=\mathbb{F}^k$ 称为 $\mathbb{F}$ 上的维数为 $k$，块长为 $n$ 的线性码(Linear Code)。将矩阵 $G\in\mathbb{F}^{n\times k}$ 称为 $C$ 的生成元矩阵(Generator Matrix)，若
   $C=column\ span(G)=\{G\cdot x\ |\ x\in\mathbb{F}^k\}$
   借助生成矩阵 $G$，线性码 $C$ 可写为映射形式
   $\begin{align*} C:\mathbb{F}^k&\rightarrow\mathbb{F}^n\\ X&\mapsto GX,\ where\ X=\begin{pmatrix} x_1\\ x_2\\\vdots\\ x_k \end{pmatrix} \end{align*}$
2. 生成元矩阵不唯一：任意可逆矩阵左乘生成元矩阵，仍得到生成元矩阵。特别地，通过调整 $\mathbb{F}^n$ 的索引，总能左乘得到上分块为单位阵的生成元矩阵：
   $\begin{align*} C:\mathbb{F}^k&\rightarrow\mathbb{F}^n\\ X &\mapsto \begin{pmatrix}I\\ G$
   容易发现，初始信息 $X$ 嵌在编码后的信息中。我们将满足这一性质的编码称为系统码(Systematic Code)
3. 称 $H\in\mathbb{F}^{(n-k)\times n}$ 为线性码 $C$ 的奇偶检验矩阵(Parity Check Matrix)，若
   $\begin{align*} \ker(H) &= \{x\in\mathbb{F}^n|Hx=0\}\\ &= \{Gy\in\mathbb{F}^n| y\in\mathbb{F}^k\}=im(G) \end{align*}$
   由线性代数知识，易见 $rank(H)=n-k, rank(G)=k$，即矩阵 $G$ 为列满秩，矩阵$H$
4. 设 $(C,G,H)$ 为一组线性码，则 $(C^\perp, H^t, G^t)$ 也为一组线性码，称为 $C$ 的对偶码(Dual Code)，其中
   $C^{\perp} = \{x\in\mathbb{F}^n|\lang x,y\rang=x^ty=0,\forall\ y\in C\}$

注：编码可以理解为信息空间到表示空间的单射，线性码则是通过列满秩矩阵给出这个单射。

编码距离

相比分组码，线性码的编码距离可以用矩阵 $G$ 或 $H$

1. 以下命题等价

1. 编码 $C$ 的汉明距离为 $d$
2. $G$ 列空间非零向量最小权重，即
   $\min\{wt(x) | x\in column\ span\ of(G)\}$
3. $H$ 的任意 $d-1$ 个列向量线性无关，且存在长为 $d$ 的线性相关列向量组；换言之，$H$ 的线性相关列向量组的最小长度为 $d$
4. $G$ 的任意 $n-d+1$ 个行向量构成的向量组中，存在 $k$ 个线性无关向量；换言之，$G$ 的任意 $n-d+1$

2. 我们依次证明这几个命题

• $(1)\Leftrightarrow (2)$
  根据线性性：
  $d=\delta(c,c$
• $(2)\Leftrightarrow(3)$
  先将 $H$ 列分块化，并由 $\ker(H)=C$ 知
  $\begin{align*} H = \begin{pmatrix} H_1&\cdots&H_n \end{pmatrix}\\ x=(x_1,\cdots,x_n)^t\in C &\Leftrightarrow Hx = O\\ &\Leftrightarrow \sum_{i=1}^nx_iH_i=O \end{align*}$
  $x\in C$ 的 $r$ 个非零元数目对应得到 $H$ 中 $r$
• $(1)\Leftrightarrow(4)$
  根据定义：$C$ 的编码距离为 $d$ 等价于 $\forall y\in C$，$y$ 的任意 $d-1$ 项出错不会得到另一个码字；等价于方程组 $Gx=y$ 中，将 $G,y$ 的任意 $d-1$ 个行向量丢弃得到的方程 $G$，其只有唯一解 $x$；等价于 $G$ 去掉任意 $d-1$

3. 一般地，选取列向量 $x\in C$ 得距离上界 $d\leq wt(x)$，选取 $H$ 的 $r$ 个线性相关向量得到距离下界 $d\geq r$，比如前边例子
   $G = \begin{pmatrix} 1& & & \\ & 1& & \\ & &1 & \\ & & &1 \\ 0& 1& 1 &1 \\ 1& 0 &1 &1 \\ 1& 1 & 0 &1 \\ \end{pmatrix},H=\begin{pmatrix} 0&1&1&1&1&0&0\\ 1&0&1&1&0&1&0\\ 1&1&0&1&0&0&1 \end{pmatrix}$
   由 $G$ 的第一列非零数得 $d\leq 3$，由 $H$ 前三列向量线性相关性 $d\geq 3$，于是 $d=3$

---

信息率

前边提到衡量编码的三个重要指标：处理错误能力，尽量小的冗余信息，以及计算效率。关于错误处理能力，我们用编码距离 $d$ 来衡量，对于线性码还可以借助生成元矩阵 $G$ 和奇偶检验矩阵 $H$ 做相关计算；对于冗余信息，Hamming Bound 给出了某些方面的回答，本节将对信息率的边界做更深入的探讨。

本节侧重介绍辛格尔顿界，其与 Reed Solomon 纠错直接关联，其他作为拓展兴趣只做科普性地介绍，不讨论证明。

辛格尔顿界

在编码理论中，辛格尔顿界(Singleton Bound) 以 Richard Collom Singleton 命名，其表明 $(n,k,d)_q$ 分组码中，信息长满足 $k\leq n-d+1$，继而
$R\leq 1-\frac{d-1}{n}$

这个定理的证明非常简单，考虑复合映射 $\varphi$ 为单射
$\begin{align*} \varphi:\Sigma^k&\rightarrow\Sigma^n\rightarrow\Sigma^{n-d+1}\\ c&\mapsto(c_1,\cdots, c_{n})\mapsto(c_{d},\cdots,c_n) \end{align*}$
$\varphi$ 必为单射，由于 $c$ 与 $c$ 至多前 d-1 个位置不同，即
$\begin{align*} \varphi(c)=\varphi(c$

由 $\varphi$ 为单射，比较集合立得 $k\leq n-d+1$。

对于线性码，从上一节编码距离的刻画(4) 立知，$n-d+1\geq k$。

GV 界

在编码理论中，GV Bound(Gilbert–Varshamov Bound) 是由 Edgar Gilbert 和 Rom Varshamov 分别独立提出的，关于编码（未必线性）参数的边界，Varshamov 通过使用线性码的概率方法证明了这一界限。有关该证明的更多信息请参阅这里。

定理 (Gilbert–Varshamov) 设 $q$ 为素数幂次，$d\leq n$，则存在线性码 $C$

• $C$ 的块长为 $n$，字符集数目为 $q$， 汉明边界为 $d$
• $C$ 的信息率 $R=\frac{k}{n}$ 满足下边性质
  $\begin{align*} R\geq 1- \frac{log_q(Vol_q(d-1, n))-1}{n} \end{align*}$

定理证明过程并不复杂，但使用了分析概率的方法，属于非构造性证明，感性趣看这个视频。

渐进分析(Asymptotics)

GV Bound 给出了 $R$ 的下界，结合 Hamming Bound 得到
$1- \frac{log_q(Vol_q(d-1, n))-1}{n} \leq \ R \leq 1-\frac{\log_q(Vol_q(\lfloor\frac{d-1}{2}\rfloor,n))}{n}$

这个不等式中，信息率 $R$ 与参数 $d,n,q$ 均有关，且形式复杂，不利于理解 $R$ 的性质。为此，我们使用渐进分析的方式，通过取极限去除某些参数，以研究 $R$

信息率与距离

1. 设 $\mathfrak{C}=\{C_i\}_{i=1}^\infin$ 为编码构成的序列，其中 $C_i$ 为 $(n_i,k_i,d_i)_{q_i}$ 分组码，定义序列 $\mathfrak{C}$为
   $R(\mathfrak{C}) :=\lim_{i\rightarrow\infty}\frac{k_i}{n_i}$
   定义 $\mathfrak{C}$ 的相对距离(简称距离) $\delta(C)$ 为
   $\delta(\mathfrak{C}) :=\lim_{i\rightarrow\infty}\frac{d_i}{n_i}$
2. 前边讨论汉明界时，举了 $(7,4,3)_2$-汉明码的例子，类似地，容易构造编码序列 $\mathfrak{C}=\{C_i\}_{i=1}^\infty$，其中 $C_i$ 为 $(2^i-1, 2^i-i-1, 3)_2$ 汉明码，此时
   $\begin{align*} R(\mathfrak{C}) &= \lim_{i\rightarrow\infty}\frac{2^i-i-1}{2^i-1}=1\\ \delta(\mathfrak{C}) &=\lim_{i\rightarrow\infty}\frac{3}{n_i}=0 \end{align*}$
   $C$ 的信息率趋近于 $1$，但距离趋近于 0，即纠错能力趋于没有。
3. 我们希望在 $\delta(\mathfrak{C})$ 和 $R(\mathfrak{C})$ 中找到最佳的协调方式，特别地，将满足 $\delta(\mathfrak{C})\neq 0\neq R(\mathfrak{C})$ 的编码序列称为渐进好的(Asymptotically Good)

边界分析

1. GV Bound 和 Hamming Bound 公式中的体积球 $Vol$ 不利于讨论，为此先定义 q-ary 熵函数(q-ary entropy function)，用于化简公式
   $\begin{align*} H_q:[0,1]&\rightarrow[0,1]\\ x&\mapsto xlog_q(q-1)-xlog_q(x)-(1-x)log_q(1-x) \end{align*}$

• 当 $x\rightarrow 0$
• 当 $x\rightarrow 1$ 时，上式趋 $log_q(q-1)$
• 当 $q\rightarrow \infty$ 时，$H_q(x)\rightarrow x$
• 图像整体开口朝下

2. 设 $q\geq 2 \in\mathbb{Z},\ 0\leq p\leq 1-\frac{1}{q}$，则（略去证明）
   $\begin{align*} q^{n\cdot H_q(p)-o(n)}\leq Vol_q(pn, n)\leq q^{n\cdot H_q(p)} \end{align*}$
3. 根据 Hamming Bound，对任意编码序列 $\mathfrak{C}$，有
   $\begin{align*} R &\leq 1-\frac{1}{n}\log_q(Vol_q(\lfloor\frac{d-1}{2}\rfloor,n))\\ &\underset{n\rightarrow \infty}{\leq}1-H_q(\frac{\delta(\mathfrak{C})}2) \end{align*}$
   根据 GV Bound，存在编码序列 $\mathfrak{C}$，使得
   $\begin{align*} R&\geq 1- \frac{1}{n}(log_q(Vol_q(d-1, n))-1)\\ &\geq 1-\frac{1}{n}(n\cdot H_q(\frac{d-1}{n})-o(n)-1)\\ &\underset{n\rightarrow \infty}{\geq}1-H_q(\delta(\mathfrak{C}))\\ \end{align*}$
5. 综上，有
   $1-H_q(\delta(\mathfrak{C}))\leq R(\mathfrak{C})\leq 1-H_q(\frac{\delta(\mathfrak{C})}2)$
   我们将这两个边界分别称为编码序列 $\mathfrak{C}$ 的渐进 GV Bound 和渐进 Hamming Bound。当 $q=2$ 时，图像表现为



6. 延伸

• Q1：是否存在编码序列，满足渐进 GV Bound，即落在黄色区域

• 当 $q\geq 49$
• 当 $q=2$

• 能否构造编码序列，满足渐进 GV Bound，同样地，这个问题也仅在 $q$
• 渐进 GV Bound 给出蓝线以下的存在性，继而说明了存在“渐近好的”编码序列
• 关于边界分析，还有 Plotkin Bound 等，将图像进一步细化，这些都描述了比率 $R(\mathfrak{C})$ 与距离 $\delta(\mathfrak{C})$ 之间的关系



• 特别注意，本节讨论对编码序列的渐进分析，从图像上看 Singleton Bound 始终在 Plotkin Bound 上方，但这是在 $q$