自从谷歌首次提出联邦学习的概念后,这项初衷是保证数据交换过程中信息安全的基础人工智能技术立即掀起了一场热潮。
中国的趋势。
在隐私数据保护方面,数学(原金融)于2017年引入隐私计算研究,并于2016年宣布成立隐私保护与安全计算研究所,利用联邦学习技术推动大数据隐私保护。
今年,数科进一步推进隐私数据保护领域的研究,在业界首次提出分裂神经网络技术框架(Spilt Neural Network),并通过自主研发的系统实现该算法。
隐私数据项目主要负责人、数字隐私保护研究院博士表示,“我们一直在进行一些技术创新,在隐私数据保护领域,神经网络算法的使用更加灵活,可以提取通过在统一的架构中进行学习,可以大大提高效率。
”与传统的联邦学习不同,分裂神经网络技术框架的输出层数据的维度远小于原始输入的维度。
层,即使输出层数据未加密。
原始输入层的数据不可逆,从而消除了框架设计中的数据泄露问题。
由于输出层数据的维度更小,服务器端的计算量和内存占用也可以大大减少,减少网络传输量,降低带宽需求。
目前国内业界比较推崇的联邦学习的原理是,部署在参与学习各方机器上的客户端从服务器下载已有的模型和参数,然后根据情况更新模型的参数。
自己的所有数据上,并将结果传回客户端并更新模型。
使用这种方法不会与服务器进行原始数据交互,因此保证了原始数据不会离开数据库。
此外,原始数据或梯度可以在使用前以某种方式加密或去噪以增强安全性。
与联邦学习类似,分裂神经网络技术框架不需要上传任何原始数据。
在使用原始数据或上传输出层结果之前,可以使用各种加密方法进行加密,从而有效保证私有数据的安全。
与联邦学习的不同之处在于,在该框架下,每个参与学习的客户端都部署自己的子神经网络,学习到的参数不需要与服务器共享。
每个客户端只需将最上面输出层的数据发送回服务器,然后服务器整合每个客户端的结果,然后每个客户端进行更新迭代。
由于网络单独部署在每个客户端上,因此它们自己的结构不与其他方共享,并且它们自己的权重不需要与服务器交互。
因此,它可以解决联邦学习中庞大的深度网络带来的服务器和客户端问题。
终端之间大量数据交互造成的网络传输压力。
此外,分裂神经网络技术的输出层数据的维数将远小于原始输入层的维数,可以解决联邦学习中由于需要共享网络结构而潜在的原始数据泄露的风险与服务器。
数学针对分段神经网络技术框架的项目实施技术方案可以构建更安全、硬件要求更低、更灵活的框架。
目前这个框架主要满足数学方面与合作伙伴进行数据交互的需求。
未来,在风控能力数字化输出的过程中,隐私计算也将作为技术输出的一部分,作为自下而上解决数据安全问题的综合解决方案。
数学将持续加大新技术研发力度,打造健康安全的数据生态系统。