近日，国际人工智能顶级会议AAAI2023公布了评选结果。新加坡国立大学（NUS）和字节跳动机器学习团队（AML）的CowClip技术论文入围杰出论文。CowClip是一种模型训练的优化策略，可以在保证模型准确率的同时，将单GPU上模型训练速度提升72倍。相关代码现已开源。论文地址：https://arxiv.org/abs/2204.06240开源地址：https://github.com/bytedance/LargeBatchCTRAAAI是由国际人工智能促进协会主办的年会，是人工智能领域历史最悠久的顶级学术会议之一。AAAI2023共收到8777篇论文投稿，其中1721篇论文被接收，接收率为19.6%。牛津大学计算机科学系获得会议最高奖（杰出论文奖），北京大学与其他机构的合作论文获得学生论文奖（杰出学生论文）。此外，大会还评选出12篇DistinguishedPapers，涵盖模型训练策略优化、图神经网络优化、神经架构搜索等方向。如何提高模型训练的速度是机器学习领域永恒的话题。自2018年谷歌提出第一个预训练大模型BERT以来，大模型训练逐渐成为深度学习领域的趋势和趋势。然而，模型规模的增加也意味着完整的训练将花费大量的时间和计算成本。根据谷歌此前公布的信息，在训练110亿参数T5（谷歌2019年推出的预训练模型）变体时，每次运行的成本超过130万美元。作为优秀论文入选的CowClip模型训练优化策略，通过保证更大的批量大小（batchsize）模型精度，可以实现更充分的GPU性能挖掘，达到提升训练速度的目的。实验表明，使用CowClip训练的模型不仅比其他方法更准确，而且大大提高了训练速度。在单个GPU上训练DeepFM模型可以将公共数据集的数据的训练时间从12小时减少到10分钟。一次性提升模型训练速度72倍。凭借高效的计算能力和更精准的分析决策能力，人工智能技术正越来越广泛地应用于医疗、金融、制造、教育、电子商务等领域，而模型训练的准确性和效率将继续成为智能产业发展的关键因素。据介绍，字节跳动机器学习团队（AML）已经在公司的部分业务中落地了CowClip的核心技术。团队为公司提供机器学习中台服务，包括针对今日头条、抖音、西瓜视频等产品的推荐、广告、搜索等业务场景提供大规模训练系统和推理系统。Easy-易于使用、稳定可靠的机器学习平台。
