神经网络是当前计算应用中发展最快、应用最广泛的机器学习算法。但随着应用的不断复杂化和网络结构的不断扩展,存储性能瓶颈也逐渐凸显。 在传统计算平台上,N个数字位只能表示1个N位数据,但在量子计算中,M个量子位可以同时表示2^M个数据,同时可以对这些数据进行操作。 量子计算机拥有如此强大的存储和计算能力,很有可能打破神经网络在传统计算平台上的性能瓶颈,获得量子优势。 量子神经网络是根据量子计算机的特点设计的神经网络。具体来说,研究人员基于量子计算机提供的基本计算单元(即量子逻辑门)设计量子电路,实现神经网络的计算。 今年1月,美国乔治梅森大学姜维文教授在《自然通讯》期刊上提出了第一个神经网络/量子计算协同设计框架QuantumFlow。这也是继一年内发表两篇《自然电子》文章后的第三本Nature子刊。 https://www.nature.com/articles/s41467-020-20729-5 该框架首次展示了通过协同优化神经网络结构和量子电路设计,指数加速。 图1基于QuatnumFlow的量子神经网络设计栈 基于QuantumFlow,蒋教授带领的JQub团队在今年10月举行的QuantumWeek'21和ESWEEK'21上开源了QuantumFlow量子神经网络编程框架.QFNN。 ,在即将到来的ICCAD'21中,将新增两个成员: (1)第一个噪声感知量子神经网络训练器QF-RobustNN; (2)基于不同量子神经网络元设计的量子神经网络结构设计器QF-Mixer。 至此,第一个开源量子神经网络设计栈诞生,为量子神经网络应用提供了坚实的基础。QFNN 在刚刚结束的QuantumWeek大会上,JQub团队开源了主要由胡志锐研究员设计的量子神经网络(QuantumNeuralNetwork)编程框架QFNN。 https://github.com/JQub/qfnn QFNN基于Pytorch和IBMQiskit,为在量子电路中实现神经网络训练和推理提供基础功能。研究人员可以轻松构建用于神经网络推理的量子电路,只需调用少量函数即可将其部署在IBM量子计算机上。 QFNN不仅支持QuantumFlow的所有功能,还支持其他量子神经网络设计,包括变分量子电路(VQC)。 此外,QFNN还提供了对应量子神经网络电路的经典计算模拟,可用于验证量子神经网络的正确性,辅助量子计算机进行模型训练。 图2QuantumFlow协同设计框架 在支持QuantumFlow方面,QFNN采用了与QuantumFlow相同的结构。如图2所示,该框架分为四个模块,包括qf_circ、qf_net、qf_fb和qf_map。 目前QFNN支持QuantumFlow中的所有模块,在QF-Net中,增加了对VQC等量子电路的支持。 使用QFNN,研究人员可以快速构建量子机器学习电路,在经典计算机上训练网络,并在量子平台上进行推理。 同时,QFNN还支持探索量子网络结构,即QF-Mixer。QFNN在github上开源,欢迎有兴趣者共同开发和添加更多基础量子神经元实现和量子神经网络实现。QF-RubostNN 在11月1日即将召开的ICCAD会议上,JQub团队提出了第一个通过训练学习量子网络中的量子位错误的研究工作,即QF-RubostNN。 https://arxiv.org/pdf/2109.03430.pdf 本研究主要由梁志定的博士生参与,提出了错误感知学习的通用训练框架。该框架将解决部署神经网络的问题,直到不久的将来,嘈杂的中级量子(NISQ)时代的一个中心问题:如何抵御噪声对神经网络推理的影响。 尽管量子计算发展非常迅速,但目前量子机器上的量子比特错误率将达到10^-2,这与经典CMOS机器上大约10^-15的错误率相比无疑是天壤之别。差距。 对此,JQub团队设计了QF-RubostNN,并首次尝试将噪声学习到量子神经网络中,展示了量子神经网络的容错能力:分别在量子模拟器和IBM量子机器上运行,开发了QF-RubostNN,大大提高了量子神经网络的推理精度。 图3QF-RubostNN生成的整体框架图 QF-RobustNN顶层的训练权重由量子神经网络生成,例如QuantumFlow。每个循环中的训练权重都会生成对应的量子电路,这就是此时逻辑量子比特上的逻辑量子电路。具体应用的量子映射设计完成后,将逻辑量子位映射到物理量子位,从而有相应的物理量子电路。 然后在量子机或量子模拟器中运行物理量子电路得到模型精度的输出,通过训练框架找到此时噪声下表现最好的训练权重,最后更新搜索到的训练权重到顶层的训练权重。 这种方法从头到尾都固定了逻辑-物理量子映射的规律,这样可以估计错误,也可以有效减少额外门的数量,从而降低消耗。 图4QF-RobustNN在不同噪声模型下,准确率的测量结果 QF-RobustNN使用0噪声环境(完美模型)下的最佳训练权重作为实验的基线,通过改变模型的错误率(噪声情况)观察QF-RobustNN的实现。 从实验结果可以看出QF-RobustNN的准确率相对于baseline有所提升,值得注意的是随着错误率的增加,QF-RobustNN对准确率的影响为更明显,最高达到28%的效果。 这个实验证明了量子神经网络学习量子比特错误的可能性。在NISQ时代的量子机器中,噪声是一个很大的问题和挑战。实验结果证明了QF-RobustNN的有效性。QF-Mixer QF-Mixer主要由博士生王哲鹏参与,是探索量子神经网络设计的第一篇文章。 https://arxiv.org/pdf/2109.03806.pdf 随着近年来量子神经网络的蓬勃发展,一系列关于量子神经元设计的工作开始涌现。 这些作品通过堆叠他们提出的量子神经元来构建量子神经网络,可以在简单的机器学习任务(例如MNIST2分类问题)中实现高精度。然而,当应用于更复杂的机器学习任务(例如MNIST10分类问题)时,此类量子神经网络的准确性会受到影响。 基于这种现状,QF-Mixer提出将现有的不同类型的量子神经元进行混合,构建一个性能更高的异构量子神经网络。 图5混合量子神经元的挑战和QF-Mixer的设计理念 不过,构建这样一个异构的量子神经网络并不容易。 首先,不同的量子神经元对输入和输出的量子态有不同的要求,任意连接两种类型的神经元往往不能满足这些预设要求。 其次,不同的神经元在计算上也有不同的特点和逻辑,混合不同的神经元不一定能达到更高的精度。只有找到合适的神经元组合,才能达到1+1>2的效果。 针对第一个问题,QF-Mixer给出了一套混合不同神经元时需要遵循的指导原则,为异构量子神经网络的设计提供了理论支持。 对于第二个问题,JQub团队发现Quantumflow中的量子神经元和变分量子电路(VariationalQuantumCircuit)具有极其互补的特性。 一方面,Quantumflow中量子神经元(QF-quantumneurons)的可学习参数是二进制的,在表达能力上有比较大的限制。可变量子电路的可学习参数是任意实数。因此,变分量子电路可以为QF-量子神经元提供更强的表示能力。 另一方面,变分量子电路只是一个线性分类器,QF-量子神经元可以轻松构建具有多个非线性层的量子神经网络。QF-量子神经元可以帮助可变量子电路构建更复杂的模型。 基于以上观察,QF-Mixer提出了QF-MixNN,一种混合??了QF-量子神经元和变分量子电路的异构神经网络框架。虽然QF-MixNN遵循QF-Mixer提出的混合准则,但它在不同数据集上也表现出更高的准确性。 图6QF-Mixer在10类分类问题上实现了高精度 ,这在图6的表格中也有体现。可以看出,在MNIST数据集上,QF-量子神经元组成的神经网络和可变量子电路表现不佳,准确率分别只有52.77%和69.92%。 同时,QF-MixNN也有非常出色的表现。它在MNIST上达到了90%以上的准确率。对比由QF-量子神经元组成的神经网络和变分量子电路,准确率分别提高了20.7%和37.85%。JQub团队介绍 姜伟文助理教授于2021年加入乔治梅森大学,成立了量子经典计算机辅助设计实验室(JQub)。 实验室致力于神经网络与硬件加速器(包括量子计算机)协同设计的研究。在量子神经网络方向,JQub与圣母大学施一宇教授、布法罗大学熊进军教授、新墨西哥大学助理教授杨磊合作。 并在《自然通讯》期刊、量子周刊(QuantumWeek)、嵌入式系统周刊(ESWEEK)、计算机设计会议(ICCAD)发表多篇文章,并进行在线课程教程(Tutorial)讲座。作者简介 项目负责人姜伟文,现任乔治梅森大学助理教授。他获得了博士学位。2019年毕业于重庆大学;2017-2019年在匹兹堡大学电气与计算机工程系参与研究工作;2019-2021年在美国圣母大学从事博士后研究助理工作。博士期间 ,姜伟文在国际会议和主要期刊发表研究论文50余篇,其中IEEE/ACM期刊论文10余篇。他在硬件加速和神经网络结构方面的合作研究获得了IEEETCAD2021最佳论文和DAC'19、CODES+ISSS'19和ASP-DAC'20最佳论文提名。 他在神经网络和并行系统方面的研究工作引起了业界的广泛关注,获得了美国国家科学基金会和国际自然科学联盟的研究资助,并与IBM、Facebook合作,Edgecortix公司(日本/新加坡)等公司开展了合作研究。
