作者|王浩审稿人|孙书娟推荐系统公平性是2017年以来爆发式增长的人工智能研究领域,Twitter、谷歌、IBM、百度等知名人工智能公司都建立了AI伦理团队或开发了AI伦理产品。但遗憾的是,我国人工智能伦理研究起步较晚,与国外相比仍有一定差距。排序学习是2010年前后爆发的一种机器学习技术,在推荐系统、信息检索等领域得到了广泛的应用。近年来,学习排名已成为AI伦理研究的流行算法基准。本文将介绍2022年国际学术会议CISAT2022(国际计算机信息科学与应用技术会议)发表的论文ParetoPairwiseRankingforFairnessEnhancementofRecommenderSystems。本文主要讲解如何结合Pareto分布和排序学习来实现公平排序学习推荐算法。图1.MovieLens数据集中电影观看评级差异的概率分布。基于观察(图1)和统计理论(Zif分布的统计估计),我们可以得出以下结论:同一用户对不同物品的评分差异的概率分布与Poorrating成正比。我们修改概率矩阵分解的损失函数,得到我们新算法ParetoPairwiseRanking的损失函数公式:将我们的观测值代入损失函数公式,我们得到如下损失函数公式:公式:我们使用随机梯度下降公式求解损失函数的对数,得到如下公式:Pareto排序学习的算法流程如下:图2和图3展示了Pareto排序学习在MovieLens1Million上的测试结果数据集数据集。论文作者比较了10种推荐系统算法,发现Pareto排序学习算法在公平性指标上表现最好。图4和图5显示了ParetoRankLearning在LDOS-CoMoDa数据集上的测试结果。Pareto排序学习算法在公平性指标上仍然表现最好。Pareto排序学习算法是国内少见的基于公平性的排序学习推荐系统算法。该算法原理简单,实现简单,运算速度快。笔者在一台16G内存、Intel酷睿i5的联想笔记本上进行测试,执行速度很快。人工智能伦理学研究是目前国际上的一个研究热点,希望大家给予足够的重视。作者简介王浩,原趣加人工智能实验室负责人,在ThoughtWorks、豆瓣、新浪、网易等公司拥有超过11年的研发和管理经验。在推荐系统、聊天机器人、风控、反欺诈等领域拥有丰富的技术经验。在国际学术会议和期刊发表论文30篇,获得最佳论文奖/最佳论文报告奖3次。2006年ACM地区金奖。毕业于犹他大学,获得学士和硕士学位。对外经济贸易大学在职MBA。
