当前位置: 首页 > 科技观察

从架构演进和统一看搜索与推荐_0

时间:2023-03-20 20:57:53 科技观察

从架构演进和统一的角度看搜索和推荐结果,常见的场景如文本输入框搜索、图片搜索、听音乐、标签筛选等,看似场景很多,但实际上,形式用户输入的内容不同。我们常见的推荐场景有各大APP首页的个性化推荐(比如猜你喜欢什么/每日歌曲推荐),以及精选页面的相关推荐(买买买、阅读看、买的用户也买等).)等,推荐场景更丰富,因为对用户提供的内容没有限制,场景更多样化,推荐方式也多种多样,比如基于内容的推荐,基于用户行为的推荐推荐、协同过滤等。由于各大互联网平台的服务内容和平台成熟度不同,对搜索和推荐的重视程度也不尽相同,但两者缺一不可。比如房地产类应用,用户有明确的目标,搜索服务会带来更大的购买力,但相关的推荐会给用户带来更多的选择,这也是不可或缺的。对于短视频平台,由于用户难以通过文字或图片的方式提供内容描述,自然会以推荐服务为主。对于早期的电商来说,搜索服务一定带来了更多的购买率。当购买率达到瓶颈时,推荐带来的购买率是突破瓶颈继续发展的必要手段。2、输入输出不同不管是搜索还是推荐,其实都是一个为用户提供服务的黑盒子。它可以根据用户/项目/场景信息从候选项目池中选择匹配的用户。物品清单。不同的是,对于搜索服务,额外提供了用户需求的描述信息(当然,描述可能不准确)。输入的不同自然导致用户对结果的期望不同:(1)个性化程度不同推荐系统更强调个性化,甚至更注重惊喜感。通常需要在准确性和多样性之间进行权衡;搜索系统更强调相关性,如果搜索结果与用户目标不匹配,用户接受度就会很差,个性化对于搜索系统来说既没有意义也有风险。(2)更好的排名和更完整的搜索对于推荐系统来说,排序更重要,因为只有最初的推荐结果吸引了用户,用户才能向后浏览。对于搜索系统来说,召回率更为重要,因为用户会主动向后浏览,期望找到自己的目标,但如果最后没有找到,也就是搜索不完整,就会出现差用户经验。(3)快速满意还是持续服务说到搜索系统,马太效应常被提及。只有更符合用户搜索结果的item才会呈现给用户,让用户快速满意,那么满足需求的item就那么多,搜索的越精准,用户就越不会向后浏览,最后点击热量只会集中在少数物品上。这就是广告最初诞生于搜索系统的原因。说到推荐系统,经常提到长尾效应,即时刻保持用户新鲜和惊喜,考虑用户的长远利益,提高用户粘性,期望留住用户,提供持续的服务,这就是为什么我刷的停不下来的理由短视频。(4)实时性和滞后性搜索数据的实时性要求特别高,数据往往需要秒级更新。例如,如果产品缺货,则不应将其搜索出来。许多推荐数据可以容忍日级更新。由于推荐需要考虑大量的用户行为信息,必然存在一定的滞后性。搜索和推荐的关系1.本质相同。搜索和推荐本质上是当今时代信息过载的产物。解决方案的基本思路是通过匹配(召回)和排序信息,从超载的信息中选择用户想要的。只是根据不同的业务场景,召回和分拣阶段的考虑重点不同。2.搜索与推荐的协同作用(1)推荐中的搜索推荐服务中基于内容的推荐实际上相当于静默搜索,在实现时往往会用到搜索服务中的倒排索引等技术,如Content-基于推荐通常是通过规则或推荐模型获取用户感兴趣的内容的标签,然后使用搜索服务的方式对标签进行搜索匹配,得到最终的推荐列表。(2)搜索中的推荐当搜索到的数据中有大量与用户匹配时,需要根据推荐服务中的用户画像等结果,帮助搜索服务匹配用户的需求。比如周一晚上搜索得到的结果列表和周五晚上搜索得到的结果列表是不一样的。推荐和搜索往往在一个页面上为用户提供协同服务,如搜索引擎搜索结果页面的相关推荐、电子商务软件搜索浏览页面的相关推荐等。架构演进与架构统一1、搜索架构的演进一般而言,由于企业搜索引擎初期的业务线不多,提供简单的搜索服务就足够了。随着业务的不断增加,搜索需求的不断抽象和统一,可以逐步发展到平台化阶段,提供多数据源写入和多服务统一搜索能力,可以灵活配置不同业务的不同需求。当业务线数量不断增加,对接业务的工作占据了大部分开发时间,开发更便捷的运维和管理能力,助力业务自助接入平台进一步提升搜索功能效率发展。此时,搜索架构已经进入云平台化阶段,运维更加便捷。2.推荐架构的演进对于推荐引擎来说,初期一般采用基于内容的推荐方法。由于数据不足,企业最初根据业务方提供的经验规则对物品和用户进行标注,然后在线匹配标签。推荐。持续发展,随着业务的不断丰富和迭代,人们对??推荐系统的期待也会更多。当不断修改或增加经验规则不能满足业务需求时,就需要一些基于模型的推荐方法和个性化推荐。服务。此外,与搜索引擎一样,推荐引擎也需要连接多个业务线,发展到平台阶段,提供统一的公共服务,通过配置满足不同业务线的需求。3.架构统一从上面的介绍和架构演化我们可以发现,推荐和搜索架构可以在很多地方复用,所以架构可以统一。(1)流程统一:无论是搜索还是推荐,都会经过召回-排序-重排等流程,最终得到呈现给用户的item列表,但流程中每个阶段的目标会有所不同.(2)数据和数据平台的复用:搜索的item和推荐的item是统一的,召回排序训练模型需要的嵌入点数据/用户行为数据也是统一的,自然就得到了数据/processed数据平台自然是可以复用的。(3)算法和算法平台的复用:当搜索和推荐发展到一定阶段,当简单的专家规则已经不能支持复杂的搜索和推荐需求时,都会发展到基于模型的召回和排序阶段。模型训练需要基于用户数据/物品数据/埋点数据进行,但是因为两者的训练目标不同,训练出来的模型的参数可能不同,但是算法平台或者机器学习/AI我们常说的可以重用的平台。(4)A/BTest实验平台的复用:由于业务需求不断变化,模型不断更换,A/BTest平台可以通过分发获取真实生产环境中的用户反馈,帮助企业持续验证并完善搜索和推荐策略。(5)配置中心的多路复用:可以通过配置中心为不同的业务和服务配置不同的搜索和推荐策略,提供便捷的一键式部署能力。所以在很多公司,业务领域的搜索和推荐属于不同的部门,但很多公共部分都有成熟的内部平台,可以快速复用。总结本文介绍了搜索与推荐、架构演进与架构统一的区别与联系。我们都知道架构会因为需求的扩大而不断演进。比如从服务阶段发展到平台阶段,是因为需要提高多服务对接的效率;从基于内容的推荐到复杂的融合线上用户画像和线下用户画像的个性化推荐,是因为简单的基于规则或者基于标签的推荐无法满足用户和业务方的需求。所以不要一开始就被一个过于复杂的架构所束缚,可以根据自己的业务需求搜索/推荐一个简单的架构设计,然后逐步演进和优化架构。