本文经AI新媒体量子比特（公众号ID：QbitAI）授权转载，转载请联系出处。刚才，游阳博士。加州大学伯克利分校和新加坡国立大学校长的年轻教授，宣布了最新消息——荣获AAAI2023杰出论文奖（DistinguishedPaper）！研究成果一次性将模型的训练速度提高了72倍。连网友看了论文都感慨：从12小时到10分钟，嫩牛（你们这些牛）！尤阳博士在读期间打破了ImageNet和BERT训练速度的世界纪录。他设计的算法也广泛应用于谷歌、微软、英特尔、英伟达等科技巨头。如今回国创业一年半的绿辰科技，究竟是凭借怎样的算法带领团队取得了如此荣膺顶级AI的殊荣？培训时间从12小时到10分钟不等。在本次研究中，游阳团队提出了一种优化策略CowClip，可以加速CTR预估模型的大规模训练。CTR（点击率）预测模型是个性化推荐场景中常用的算法。它通常需要学习用户反馈（点击、收藏、购买等），每天在线产生的数据量是前所未有的。因此，加快CTR预测模型的训练速度非常重要。一般来说，batchtraining是为了提高训练速度，但是batchsize太大会降低模型的准确率。通过数学分析，该团队证明了在扩大批次时不应缩放不常见特征的学习率。使用他们提出的CowClip，可以简单有效地缩放批量大小。通过在4个CTR预测模型和2个数据集上进行测试，该团队成功地将原始批量大小扩大了128倍，而没有损失准确性。尤其是在DeepFM上，CowClip通过将批量大小从1K扩大到128K，将AUC提高了0.1%以上。并且在单个V100GPU上，训练时间从原来的12小时缩短到仅需10分钟，训练速度提升了72倍。目前，项目代码已开源。该团队表示，该算法也适用于NLP等任务。团队介绍本文第一作者郑藏伟，毕业于南京大学计算机精英班，毕业于南京大学计算机精英班，获新加坡国立大学博士学位。他的研究兴趣包括机器学习、计算机视觉和高性能计算。
