作者|曲谈旭阳等。在LBS（LocationBasedServices，基于位置的服务）的距离限制下，更少的候选人限制了整个店内广告排名系统的潜在空间。本文介绍，我们从候选类型的角度扩展候选，并使用高性能的异构混洗网络来应对性能挑战，从而提高本地生活场景排名系统的潜力上限。希望对从事相关领域的同学有所启发。1背景与介绍1.1背景美团店内广告负责美团搜索流量的商业变现，服务于到店餐饮、休闲亲子娱乐、美容医疗、酒店旅游、等质量预估团队负责广告系统中CTR/CVR和客单价/交易量的质量预估。在过去的几年里，我们使用排序上下文建模[1]、时空超长序列建模[2]等创新技术在CTR预估问题上在用户和上下文方向上取得了一些突破[3]]，并在SIGIR、ICDE、CIKM等国际会议上发表论文。但是，上述论文侧重于模型的准确性，模型的准确性和广告候选者决定了排名系统的质量。但从广告候选者的角度来看，与传统电商的候选者集合相比，美团搜索广告受限于LBS（LocationBasedServices，基于位置的服务），因此部分品类的店铺候选者较少，而更多候选人。数量少，严重制约了整个分拣系统的潜在空间。当传统方式增加候选数量无法产生收益时，我们考虑扩大和优化广告候选，以增加本地生活场景排名系统的潜在上限。1.2场景介绍单一的店铺广告不足以满足用户细粒度的寻找产品和服务的意图。在某些场景下，商品广告作为店铺广告的候选补充，两者以竞争的方式确定展示广告风格；此外，在某些场景下，商品广告与店铺广告以垂挂的形式结合展示。多种形式异构的广告展示风格给店内广告技术团队带来了机遇和挑战。我们根据业务场景特点，有针对性地优化了异构广告的混排。下面以美团婚恋频道页面和美团首页搜索为例，介绍两种典型的异构混合广告：竞争异构广告和组合异构广告。具有竞争关系的异构广告：将商店和商品两种类型的广告进行竞争排列，在混合排列模型中通过比较pCTR来确定广告展示的类型。如下图1所示，左栏第一位为店铺类型广告的获奖者，显示内容为店铺图片、店铺标题和店铺星级；右栏第一位是产品类型广告win，显示内容是产品图片、产品标题和对应的店铺。广告系统决定广告的顺序和显示的类型。当产品类型广告获胜时，系统确定要展示的具体产品。图1婚恋频道页面场景中竞争关系异构广告组合：店铺广告及其商品广告组合成一个展示单元（蓝框）进行列表排序，商品属于店铺。两类异构广告组合展示。如下图2所示，店铺广告展示店铺头像、标题价格等信息；两个产品广告展示产品价格、名称、销量等信息。广告系统确定展示单元的排列顺序，确定店铺商品集中展示的Top2商品。图2组合关系异构广告在首页搜索场景1.3挑战与途径图3广告候选项变化示意图候选项数量有限（约150个），商品等更直接重要的决策信息缺失。因此，我们将产品广告作为店铺的候选人补充，通过店铺和店铺下多种产品的混排，开拓候选人空间，候选人人数可达1500+。此外，考虑到广告语境的影响，进一步扩大评分候选以增加排名上限，我们将店铺粒度升级为异构广告组合粒度，构建了生成式广告组合预估系统基于此，候选极限达到了1500X，性能方面最终选择了1500X）。在探索过程中，我们遇到了以下三大挑战：产品粒度预估性能压力：下沉到产品粒度后，候选数量至少增加10倍，导致在线预估服务的耗时增加难以承受。难以对组合之间的关系建模：使用Pointwise-Loss建模很难描述商店与产品组合之间的上下文关系。产品广告冷启动问题：仅使用选型后曝光的候选人容易形成马太效应。针对以上挑战，技术团队经过思考和实践，进行了以下针对性优化：高性能异构混合系统：通过偏置网络传递和学习门店信息，实现高性能产品粒度预估。生成式广告组合估计系统：将商品估计过程升级为列表组合估计，并提出上下文联合模型对商品上下文信息进行建模。异构广告冷启动优化：E&E（Exploit&Explore，探索和利用）优化基于Thomson抽样算法，深度挖掘用户兴趣。目前，高性能异构混合和生成式广告组合估计已经在多个广告场景实现。根据场景业务的不同，衡量广告收入的RPM（RevenuePerMille）指标有所提升。4%~15%。异构广告冷启动优化在各业务生效，在不降低准确率的情况下，给流量10%的随机性。下面将详细介绍我们的具体做法。2技术探索与实践2.1高性能异构混合分拣系统的评分粒度从门店到商品下调后，分拣候选数从150增加到1500+，带来分拣潜力的提升。如果直接使用门店模型对商品进行预估，会给线下带来无法承受的耗时增加。通过分析，我们发现店铺下的所有商品都共享店铺的基本特征，占用了80%以上的网络计算，但多个商品只需要计算一次，且商品特征是独一无二的对产品需要独立计算的只占20%。网络计算。所以基于这个特点，我们参考组合估计[7]的方法来实现异构混合排列网络。主网络的高复杂度storerepresentation通过commonexpression的迁移学习实现了storenetwork输出层的复用，避免了storenetwork在进行商品预估时的重复计算。如下图4所示，整个网络分为门店网络和产品网络。离线训练阶段，store网络（主网络）以store特征为输入得到store输出层，计算storeLoss，更新store网络；产品网络（偏置网络）以产品特征为输入得到产品输出层，存储网络输出层的存储向量进行CONCAT操作，然后计算最终的产品Loss，更新存储网络和同时产品网络。在线预估时为了复用store网络的输出层，我们将商品以List的形式输入模型，实现对打分服务的请求，得到1（store）+n（product）个预估值.另外，针对店铺商品数量不固定的问题，我们通过动态维度转换来保证维度的对齐。在保持网络规模的情况下实现了打分权重10倍的提升，同时请求时间只增加了1%。图4异构混排网络结构图通过异构混排网络，我们得到性能约束下的门店和每件商品的预估值，但由于广告出口仍以门店为单位进行账单排序，因此需要计算根据不同业务场景的特点应用预估。为了描述方便，以下“Pstore”表示该店铺的预估价值，“Pproduct_i”表示第i个商品的预估价值。筛选渠道页竞争关系异构广告筛选渠道页有店铺和商品两种展示类型竞争，最终展示胜出的广告类型。在训练阶段，每一次曝光都是一个样本，一个样本就是其中一种商品和店铺类型。商店示例只更新商店网络，产品示例同时更新商店网络和产品网络。在预估阶段，店铺和商品的点击概率是互斥的。我们使用Max算子：通过Max(Pstore,Pproduct_1,...,Pproduct_n)，如果店铺获胜，则显示店铺信息，并将店铺的预估值用于下游的账单排序；如果任何产品获胜，则显示产品信息，并在下游使用该产品的估计值。首页搜索组合关系异构广告首页搜索排序列表页每个展示单元由一个店铺和两个商品组成，机制模块对该展示单元的计费进行排序。在训练阶段，每次曝光被分成多个样本：一个店铺样本和多个产品样本。商店示例只更新商店网络，产品示例同时更新商店网络和产品网络。在预估阶段，由于在用户点击[MoreOffers]之前默认展示Top2商品，因此可以选择预估价值最高的Top2商品作为展示商品，其余商品按预估价值排序.我们需要估算pCTR(store|item1|item2)。从数学的角度来看，我们是在估算一个店铺或者商品1或者商品2被点击的概率，所以我们使用概率相加规则算子：pCTR(store|product1|product2)=1-(1-P商店）*（1-P产品_1）*（1-P产品_2）。所以在获取店铺和商品的预估价值后，首先要对商品按照预估价值进行排序，获取商品和商品的展示顺序，选择Top2和Top2的商品的预估价值门店预估值计算概率相加法得到显示单元的预估值，用于门店排序和计费。虽然系统整体结构相似，但由于使用场景不同，样本生成方式不同，模型最终输出的P乘积具有不同的物理意义。在竞品广告中，P品是店铺旁边的另一种展示方式；在组合广告中，P商品是对店铺广告展示信息的补充，因此预估值的应用方式也不同。最终在多种广告场景下实现了高性能的异构混合显示系统。根据场景的业务，RPM增幅从2%到15%不等。2.2生成式广告组合预估系统在商品列表中，商品的点击率不仅受其自身质量的影响，还受到上下展示的商品的影响。例如，当产品上下文质量较高时，用户倾向于点击产品上下文，而当产品上下文质量较低时，用户倾向于点击产品，这种决策差异会在训练数据中累积，从而形成上下文偏差。消除训练数据中的上下文偏差，有利于更好地定位用户意图，维护广告系统生态。因此，我们参考列表排序[8-9]的思想构建生成式产品排序系统，并对产品上下文进行建模。信息。可以通过估计产品列表的全排列来获得上下文信号，但是全排列的分数非常大（10个产品候选的全排列分数为10！=21,772,800）。为了在耗时允许的情况下获得上下文信号，我们使用二次估计来修剪完整的排列结果。第一次预估使用Base模型打分，只对TopN的产品进行排名。在第二次估计中，使用上下文模型对排列的所有结果进行评分。将完整排列的得分从10分减少！到N！（在网上，我们选择N为3）。但是第二种估计会给服务带来无法接受的RPC时间消耗。为了在性能的约束下上线，我们在TensorFlow内部实现了第二个估计模块。如下图5所示，我们最终实现了一个基于剪枝的高性能组合估计系统，整体耗时与baseline相同。图5基于剪枝的高性能组合预测系统通过剪枝和TF算子，任何商品输入都可以感知其上下文信号。为了对上下文信息进行建模，我们提出了一个基于Transformer的上下文自适应感知模型。模型结构如图6所示：首先，我们将店铺特征和商品特征通过Embedding层，得到店铺Emb和商品Emb，然后通过全链路层得到未排序的商品向量和未排序的估计值；将未排序的子商品向量与商品排序信号进行拼接，通过Transformer对商品的上下文信息进行建模，得到包含上下文信息的商品Emb；将包含上下文信息的商品Emb和rank信号再次拼接，通过DNN非线性交叉得到包含上下文信息的商品Emb。上下文信息和排名信息的最终输出商品估计。通过加强产品之间的交叉，达到对产品上下文建模的目的，最终的生成广告组合预估，实现了首页搜索效果RPM+2%的提升。图6下图组合预测模型2.3异构广告冷启动优化为了避免马太效应，我们也会积极挖掘用户新的兴趣点，主动推荐新产品，发现有潜力的优质产品。在模型上线之前，我们通过随机展示的方式，挖掘出用户感兴趣的产品。但是，用户展示的机会是有限的。展示用户过去喜欢的产品，挖掘用户新的兴趣，会占据宝贵的展示机会。另外，完全随机展示在CTR/PRS等方面会有更明显的下降。所以我们考虑用更合理的方式来解决“勘探与利用”的问题。与传统的随机显示E&E算法相比，我们采用基于Thompson采样的Exploration算法[10]，可以合理控制精度损失，避免因部分流量导致的bucketingforexploration的偏差问题。Thompson采样是一种经典的启发式E&E算法。核心思想可以概括为：给历史印象多的产品（HI，HistoricalImpressions）赋予较低的随机性，给历史印象少的产品赋予较高的随机性。具体方法是我们让产品的预估值（pCTR）服从一个beta(a,b)分布，其中：其中p是pCTR的函数作为自变量，n是EI的函数作为自变量多变的。根据经验，我们最终使用的函数是：我们通过调整hyperP和hyperN这两个参数来控制最终呈现结果的随机性。如下图7所示，action1比action2有更高的均值分布，action3比其他两个分布更随机。较高的随机性可能会导致准确性下降。我们离线模拟参数以确定完整版的超参数。最终线上模型在不降低准确率和效果的前提下，在展示的商品上有10%的随机性。图7不同参数下的beta分布分布2.4商业实践异构组合安排和广告组合估计有效解决了LBS限制下候选店铺较少的问题。针对上面介绍的两种典型的异构广告：竞争性异构广告和组合式异构广告，我们根据其展示风格和业务特点进行了相应的技术探索，并取得了一定的成果。如下图8所示：图8异构广告混合技术的业务实践3总结本文介绍了美团在店内搜索广告业务中异构广告混合的探索与实践。我们使用高性能的异构混合网络来实现响应性能挑战，并根据业务特征应用异构估计。为了对广告的上下文信息进行建模，我们将商品估计过程从单点估计升级为组合估计模式，提出上下文组合估计模型对商品的顺序和上下文信息进行建模，然后，通过基于Thompson算法的E&E策略优化了商品的冷启动问题，在多个场景下取得了一定的效果。最近，越来越多的业务场景开始升级展示风格。比如食品类目由门店调整为菜品广告，酒店类目由门店调整为房型展示。本文提到的解决方案和技术正在逐步推广中。在着陆的过程中。值得一提的是，相较于美团以门店为广告主体，行业内的广告主体主要是产品和内容。本文提到的常用表达迁移和生成组合估计等技术可以应用于产品和创意。在组合问题上，进一步扩大候选规模。此次广告异构混合编排项目，也是从商业角度突破原有迭代框架的一次重要尝试。我们希望这个项目能够通过技术手段解决业务问题，然后通过业务理解来逆向技术的进步。此外，我们还将在广告候选问题上进行更多探索，寻找新的突破口，进一步设计更完善的网络结构，不断释放排名系统的潜在空间。4参考资料[1]Huang,Jianqiang,etal.“用于CTR预测的深度位置交互网络。”第44届国际ACMSIGIR信息检索研究与发展会议论文集。2021.[2]齐，易，等。“用于基于位置的搜索中用户行为建模的三边时空注意网络。”第30届ACM信息与知识管理国际会议论文集。2021.[3]胡可，坚韧等。广告深度预测技术在美团到店场景下的突破与畅想[4]Cheng,Heng-Tze,etal.“推荐系统的广度和深度学习。”第一届推荐系统深度学习研讨会论文集。2016.[5]周国瑞等。“用于点击率预测的深度兴趣网络。”第24届ACMSIGKDD知识发现与数据挖掘国际会议论文集。2018.[6]马佳琪等。“使用多门混合专家对多任务学习中的任务关系进行建模。”第24届ACMSIGK论文集DD知识发现与数据挖掘国际会议。2018.[7]龚，于，等。“通过最大派系优化的Exact-k推荐。”第25届ACMSIGKDD知识发现与数据挖掘国际会议论文集。2019.[8]郭惠峰等。“PAL：用于实时推荐系统中CTR预测的位置偏差感知学习框架。”第13届ACM推荐系统会议论文集。2019.[9]冯，于飞，等。“重新审视排列前景中的推荐系统。”arXiv预印本arXiv:2102.12057(2021).[10]Ikonomovska、Elena、SinaJafarpour和AliDasdan。“使用基于汤普森抽样的专家选择进行实时投标预测。”第21届ACMSIGKDD知识发现和数据挖掘国际会议论文集。2015.
