目录

​什么是纠删码(与纠错码的区别)​

​FEC (前向错误纠正技术)介绍​

​纠删码与副本对比​


什么是纠删码(与纠错码的区别)

       存储领域来看,数据冗余机制其实这几十年来没有太多进展,RAID,副本一直是当仁不让的最终选择。而近几年,尤其是规模较大的应用场景下,纠删码越来越多的出现在选择的视野范围,成为RAID,副本之外的第三种选择,因此也获得了越来越多的关注。

        纠删码(Erasure Code)本身是一种编码容错技术,最早是在通信行业解决部分数据在传输中损耗的问题,它的基本原理是把传输的信号分段,加入一定的校验再让各段间发生一定的联系,即使在传输过程中丢失掉部分信号,接收端仍然能通过算法把完整的信息计算出来。如果严格的区分,实际上按照误码控制的不同功能,可分为检错、纠错和纠删三种类型。

  1. 检错码仅具备识别错码功能 而无纠正错码功能;
  2. 纠错码不仅具备识别错码功能,同时具备纠正错码功能;<----与纠错码的区别
  3. 纠删码则不仅具备识别错码和纠正错码的功能,而且当错码超过纠正范围时,还可把无法纠错的信息删除。

        Erasure Code(EC),即纠删码,是一种前向错误纠正技术(Forward Error Correction,FEC,说明见后附录),主要应用在网络传输中避免包的丢失, 存储系统利用它来提高存储可靠性。相比多副本复制而言, 纠删码能够以更小的数据冗余度获得更高数据可靠性, 但编码方式较复杂,需要大量计算 。纠删码只能容忍数据丢失,无法容忍数据篡改,纠删码正是得名与此。目前,纠删码技术在​​分布式存储​​ 系统中的应用主要有三类,阵列纠删码(Array Code: RAID5、RAID6等)、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。

  1. RAID是EC的特殊情况。在传统的RAID中,仅支持有限的磁盘失效,RAID5只支持一个盘失效,RAID6支持两个盘失效,而EC支持多个盘失效。
  2. EC主要运用于存储和数字编码领域。例如磁盘阵列存储(RAID 5、RAID 6),云存储(RS)等。
  3. LDPC码也可以提供很好的保障可靠性的冗余机制。与RS编码相比,LDPC编码效率要略低,但编码和解码性能要优于RS码以及其他的纠删码,主要得益于编解码采用的相对较少并且简单的异或操作。LDPC码目前主要用于通信、视频和音频编码等领域。

FEC (前向错误纠正技术)介绍

在信息中按照某种规则加上一定的冗余位,构成一个码字,称为差错控制编码过程。在接收端接收到码字,或从存储设备中读取码字后,查看信息位和冗余位,并检查他们之间的关系是否正确,以确定是否有差错发生,称为校验。Forward  Error Correction,FEC- 前向纠错编码技术通过在传输码列中加入冗余纠错码,在一定条件下,通过解码可以自动纠正传输误码。这种编码的译码设备较复杂。

除FEC之外,还有两种差错控制编码:Automatic repeat request(ARQ)检错重发(或自动请求重传),Hybrid  Error Correction(HEC)混合纠错:

检错重发由发送端送出能够发现错误的码,接收端如果发现错误,通过反向信道把这一判决结果反馈给发送端。然后,发送端把接收端认为错误的信息再次重发。其特点是需要反馈信道,译码设备简单。

混合纠错是 ARQ和 FEC方式的混合。发送端同时送出具有检错和纠错能力的码,如果接收端收到信码在纠错能力以内,则自动进行纠正。如果超出纠错能力,则经过反馈信道请求发送端重发。

纠删码与副本对比

【存储】什么是纠删码(与纠错码的区别)|纠删码与副本对比|LDPC码_纠错码


3副本:4M对象

存储有效容量33.3%

写三副本,读主副本

纠删码:2+1:4K条带宽度,4M对象

存储有效容量66.7%

写所有分片,读k个分片

【存储】什么是纠删码(与纠错码的区别)|纠删码与副本对比|LDPC码_纠删码和纠错码_02

【存储】什么是纠删码(与纠错码的区别)|纠删码与副本对比|LDPC码_检错_03

​《​​​关于多副本和纠删码(一) --EC与多副本比较​​《​

【存储】什么是纠删码(与纠错码的区别)|纠删码与副本对比|LDPC码_纠删码和纠错码_04

参考资料:

  1. Erasure Coding(纠删码)深入分析
  2. ​erasure coding:纠删码​
  3. Erasure Code
  4. EC---->LRC---->Sparse Erasure Code
  5. EC纠删码(Erasure Code)校验码算法相比传统RAID5有哪些优势?