第34届神经信息处理系统会议暨研讨会（以下简称NeurIPS2020），将于2020年12月中旬在线举办。在本次会议上，字节跳动联邦学习隐私保护的最新研究论文被NeurIPS2020FederatedLearningWorkshop录用并在线分享。NeurIPS作为机器学习和计算神经科学领域的顶级国际会议，由NeurIPS基金会主办，每年12月举办。NeurIPS旨在促进神经信息处理系统的研究交流，在同行会议上介绍和讨论新颖的研究。在中国计算机学会国际学术会议排名中，NeurIPS是人工智能领域的A类会议。自2018年欧盟出台《通用数据保护条例》（GDPR）以及国内数据隐私相关法律法规的逐步建立以来，联邦学习逐渐成为保护数据隐私的有力工具。它可以在不公开其隐私数据的情况下实现机器学习模型的协同训练。因此，它受到了越来越多企业的关注，并产生了许多实际应用。在此背景下，NeurIPS2020设立联邦学习研讨会，邀请全球联邦学习行业专家共同探讨联邦学习的可扩展性、隐私性和安全性。由于用户数据庞大，字节跳动深知用户数据安全保护的重要性。为了提升用户信任度，寻求建立一个公开透明的平台，字节跳动一直在联邦学习领域不断投入资源进行研究和探索。已应用于电商、金融、教育等多个行业场景。2020年初开源了自主研发的联邦学习平台Fedlearner（项目地址：https://github.com/bytedance/fedlearner）。在NeurIPS2020FederatedLearningWorkshop上，字节跳动应用机器学习团队分享了关于用户标签数据安全的最新研究论文《Label Leakage and Protection in Two-party Split learning》。《Label Leakage and Protection in Two-party Split learning》PaperPoster论文分享了一种在垂直联邦学习中使用隐私标签进行数据保护的新方案——通过理论分析，对添加的扰动进行约束和优化，以帮助联邦学习在效用和隐私之间实现更好的平衡。具体来说，它分析了联邦学习过程中双方交互的梯度，提出了一种基于梯度范数的高效攻击方法来推断标签信息，然后创新性地提出了一种对交互梯度添加扰动的保护方法。.字节跳动应用机器学习团队研究员孙建凯表示，大量实验表明，在梯度范数攻击中，论文提出的标签数据保护算法可以将标签泄露的AUC从接近1.0降低（1.0是acompleteleak）到0.5-0.6之间（0.5属于完全保护），对模型的预测效果影响相对较小。孙建凯指出，虽然还有其他他们没有想到的攻击方式来窃取用户标签数据，但论文中提到的方法即使面对未知的攻击方式，也能最大程度保护标签数据，防止数据泄露。由于联邦学习可以有效解决数据孤岛问题，让参与者在不共享数据的情况下共同建模和挖掘数据价值，国内外众多一线互联网公司纷纷投入研究和应用。标签作为一种具有高价值的数据，吸引了很多业内人士不断思考和探索如何在联邦学习的框架下最大程度地保护它们。字节跳动提出在交互梯度中加入智能扰动的方法，在一定程度上解决了标签数据安全问题，消除了大家的顾虑，有利于进一步推动联邦学习的应用，让数据发挥更大的价值。为了造福更多的企业和开发者，字节跳动最新的隐私保护理论研究已经落地，相应的算法（https://github.com/bytedance/fedlearner/tree/master/example/privacy/label_protection）已经实现合并到字节跳动的开源联邦学习框架Fedleaner中。字节跳动联邦学习技术负责人吴迪在接受采访时表示：“希望我们的最新研究能够为企业在应用联邦学习保护用户数据安全方面提供更多选择，同时希望进一步扩大联邦学习的应用规模。”学习。”为共同推动隐私计算的发展尽一份力。”
