时序量子神经网络 神经网络量子态_大数据

作者:曾毅研究团队 |

封面:Mario De Meyer

排版:光影

以深度神经网络为代表的现代人工智能模型在识别图像、语音、文字等模式信息任务取得优异表现。然而,生物大脑具有处理复杂多变的环境信息的能力,这一点是当下人工智能模型所欠缺的。生物大脑的高效性源于多个方面,大脑神经元的种类,数量以及连接的复杂性都是重要因素。此外,神经元发放的脉冲序列所具有的时间维度信息,大脑中可能存在的量子信息处理机制也有可能是大脑产生高级功能的关键。

受此启发,中国科学院自动化研究所类脑智能研究中心曾毅研究员团队提出了受量子叠加启发的脉冲神经网络(Quantum Superposition inspired Spiking Neural Network简称QS-SNN),相比传统的人工神经网络,在背景反转图像识别、带有噪声的图像识别方面都表现出了更好的泛化能力。相关文章发表在Cell出版社旗下期刊iScience上。

文献:Sun, Yinqian, Yi Zeng, and Tielin Zhang. "Quantum Superposition Inspired Spiking Neural Network." iScience (2021): 102880.

地址:

https://www.cell.com/iscience/fulltext/S2589-0042(21)00848-8

量子大脑假说

量子生物学研究发现一些生物反应过程中可以观测到量子效应,例如Sarovar等人发现在光合作用中,光合蛋白具有量子纠缠现象[Sarovar2010];Huelga等人观察到鸟类眼睛磁场感受器蛋白也存在长时程量子纠缠机制[Huelga2013]。

时序量子神经网络 神经网络量子态_时序量子神经网络_02

图1光合蛋白量子纠缠现象

[Sarovar2010]

时序量子神经网络 神经网络量子态_大数据_03

图2鸟类眼睛磁场感受器蛋白的长时程量子纠缠机制

[Huelga2013]

大脑是否是一个量子信息处理系统是一个存在争议的议题。脑认知功能实现的基础是神经元及其之间的通信、计算,其重要机制之一是神经系统的电脉冲及在此基础上形成的突触可塑性机制。神经系统通过电脉冲进行编码和解码。Henry Stapp论证了离子在触发点上要么被吸收要么不被吸收的神经信号的传递机制是量子的,并不能够通过经典的概率进行解释。Stuart Hameroff和Roger Penrose合作指出神经元中的微管(Microtubule)是脑中量子过程的关键所在。后续的研究也进一步证实了微管中存在量子振动。Carol Weingarten和Matthew Fisher等人合作根据核磁共振(MRI)技术原理,提出神经元内磷原子核自旋同位素为载体的量子大脑理论[Weingarten2016]。自旋状态下的磷原子产生量子纠缠,通过化学反应构成纠缠态焦磷酸盐,并进一步与钙离子嵌合组成纠缠态波斯纳分子。波斯纳分子通过胞吞作用进入神经元,促进VGLUT囊泡运输谷氨酸到突触前,引起介导的谷氨酸释放,刺激突触后神经元产生量子关联的脉冲发放。

时序量子神经网络 神经网络量子态_时序量子神经网络_04

图3 量子大脑假说原理图

[参考Weingarten2016修改]

由此引发的量子大脑假说是否成立的广泛讨论从未停止。然而也有很多学者认为生物大脑不存在量子行为,主要是基于以下两个原因:(1)神经元信号分子、神经元和神经网络物理尺寸太大,量子现象无法在其功能中发挥重要作用。此观点认为,所有的量子事件会在如此大的物理尺寸中相互抵消掉,从而无法在大脑功能中展现出单独的作用[Penrose1995, Koch2006]。(2)神经元分子、神经元或神经网络与其嘈杂、潮湿和温暖环境的相互作用将破坏任何非平凡(non-trivial)的量子态,如叠加或纠缠。由于环境诱导退相干的速度极高,大脑应该被认为是一个经典系统,而不是量子系统[Tegmark2000]。

文章的责任作者,曾毅研究员强调:“然而,我们这次发表的文章的目的并不是为量子大脑假说提供直接的有说服力的证据,而是探索受量子信息理论和大脑脉冲信号编码启发的新型人工智能模型。和传统的人工神经网络有所不同,大脑具有的复杂认知功能,一方面源于其神经元和网络连接的复杂结构,另一方面也源于其强大的信息编码能力。以往的研究已很好的证明了量子计算的引入可以加速人工智能模型的信息处理,但我们希望另辟蹊径,通过量子理论的引入使得神经网络获得之前未有的能力。量子信息和神经元脉冲之间具有机制上的相似性。量子态以希尔伯特空间的复向量表示,对应的神经元脉冲也具有频率和相位时空维度信息,而传统的人工神经网络只在实数空间表示信息,信息维度的拓展意味着表示能力加强。在此基础上,我们提出了受量子信息启发的神经元脉冲频率-相位信息编码模式,结合脉冲神经网络(SNN, Spiking Neural Network),能够很好地处理背景翻转的图片,而传统的卷积神经网络则很难识别背景反转的图像信息。基于量子信息原理,背景翻转的图片被编码成量子叠加态形式,进一步转化为不同相位和频率的神经元脉冲。实验表明,量子叠加态脉冲神经网络模型能够在处理背景翻转的图片以及加入背景噪声的图片获得超过传统卷积神经网络的性能。”

时序量子神经网络 神经网络量子态_时序量子神经网络_05

图4量子叠加态脉冲神经网络模型

背景反转图片量子态编码

和时空脉冲序列

传统的量子机器学习研究中,会将图像处理方法与量子信息理论相结合,将图像转换为量子状态(例如常见的FRQI等方法),从而可以使用量子计算加速图像处理算法,然而这样的融合并没有赋予人工智能模型新的认知能力。

文章的第一作者博士生孙胤乾介绍说:“我们提出了一种互补叠加信息编码方法,并在量子图像形成和时空脉冲序列之间建立了联系,如图4所示。这种编码方法在借鉴传统量子图像编码的基础上,又与如柔性量子图像表征(FRQI)算法不同的是,我们使用纠缠态的量子比特编码原始图片信息和背景反转图片信息,而前者只是编码像素信息。编码成量子态的图片进一步转换为不同发放频率和相位的神经元脉冲信号,输入SNN进行识别分类。”

时序量子神经网络 神经网络量子态_时序量子神经网络_06

图5 生成量子态图像的电路拓扑与量子叠加态图像转换为脉冲序列

实验及结论

研究使用手写数字和物体识别数据集MNIST和Fashion MNIST的背景色反转图像,以此来挑战传统神经网络及这次研究提出的受量子叠加启发的脉冲神经网络(QS-SNN)模型在分类任务中的性能。QS-SNN将原始图像及其反转背景图像编码为互补叠加状态,并将其转换为脉冲序列,作为两房室SNN的输入信号。作为对比,这项研究也在背景反转的图片数据上测试了全连接的人工神经网络(ANN)网络、10层卷积网络(CNN)、VGG、ResNet以及DenseNet等神经网络模型。所有的模型都是在原始图片上训练然后在背景反转的图片上测试模型性能。

时序量子神经网络 神经网络量子态_神经网络_07

图6.不同的神经网络模型识别背景反转图像

结果表明,传统的全连接ANN和卷积神经网络模型难以处理图像属性的巨大变化,例如背景反转,即使保持图像的空间特征保持不变。QS-SNN模型相比较其他神经网络模型在识别背景反转图像时能够保持识别性能基本不变,这与人类的认知行为更接近。

除了改变整个背景的影响外,这项研究还对QS-SNN处理其他类型图像噪声的能力进行了测试。为此,在MNIST和Fashion MNIST图像中添加了反向脉冲噪声,并进一步测试了QS-SNN与ANN和CNN的性能。

时序量子神经网络 神经网络量子态_大数据_08

图7 噪声图片识别结果

与其他神经网络模型相比,QS-SNN无论从识别性能还是抗干扰能力方面都更接近人类的视觉能力。随着更多反转像素噪声添加到图像中,它们变得越来越难以识别。然而,随着更多的噪声添加到像素中,图像特征再次变得清晰,QS-SNN迅速恢复了对图像的识别能力,而其他的神经网络却没有。QS-SNN得益于其类似于人类视觉系统的图像叠加态编码方法,能够很好地抵抗噪声的影响。

结论

这项工作旨在将量子理论与脉冲神经网络进行融合。量子图像编码和量子叠加态用于信息表征,随后转换为具有时空特征的神经元脉冲序列,使用SNN进行处理。文章提出的QS-SNN模型在以背景反转图像识别为代表的任务中表现出良好的性能,这对其他模型来说是非常具有挑战性的。无论是背景反转图像的识别还是带有噪声的图像识别,与传统的人工神经网络模型相比,QS-SNN都表现出具有更好的泛化能力。

曾毅研究员说:“4年前我们课题组开始布局类脑量子智能的研究,我们一直相信将量子理论融入类脑智能的研究会给传统的人工智能模型带来新的能力,以来自量子叠加的启发提出这种信息编码模型并与脉冲神经网络进行融合,获得的对反转图像以及抗噪信息处理的能力,虽然仍然是最初步的尝试取得的点滴成果,但这让我们继续开展系列的研究信心倍增”。

参考文献

1.[Penrose1995] Penrose, R., and Dennett, D. C. (1995). “Consciousness involves noncomputable ingredients,” in The Third Culture: Beyond the Scientific Revolution, ed. J.Brockman (New York City, NY: Simon & Schuster).

2.[Koch2006] Koch, C., and Hepp, K. (2006). Quantum mechanics in the brain. Nature 440, 611–612. doi: 10.1038/440611a

3.[Tegmark2000] Tegmark, M. (2000). Importance of quantum decoherence in brain processes. Phys. Rev. E Stat. Phys. Plasmas Fluids Relat.Interdiscip. Topics 61(4 Pt B), 4194–4206.doi: 10.1103/PhysRevE.61.4194

4.[Sarovar2010] Sarovar, M., Ishizaki, A., Fleming, G. et al. Quantum entanglement in photosynthetic light-harvesting complexes. Nature Phys 6, 462–467 (2010). https://doi.org/10.1038/nphys1652

5.[Huelga2013] Huelga, Susana & Plenio, M.. (2013). Vibrations, Quanta and Biology. Contemporary Physics. 54. 10.1080/00405000.2013.829687.

6.[Weingarten2016] Weingarten, Carol & Doraiswamy, P. & Fisher, Matthew. (2016). A New Spin on Neural Processing: Quantum Cognition. Frontiers in Human Neuroscience. 10. 10.3389/fnhum.2016.00541.