作者|TWInsights体验测量趋势洞察我们以往在与企业合作体验优化项目时，发现企业往往在如何接受和解读结果上有很多困难.此外，多数企业还误认为经验衡量只能作为后验数据存在，存在滞后性。然而，正如拥有长远目标和完善业务衡量的公司更有生命力一样，如果品牌和公司的体验能够有清晰的战略和系统的衡量框架，自然更容易在“体验”的环境中建立壁垒。赢”。作为一个比较新的概念，大多数公司对体验衡量的理解仅仅停留在NPS（NetPromoterScore）分析阶段。诚然，NPS更能体现用户对产品体验的整体感受，但不能作为很好的问题定位工具。另外，NPS在数据恢复上往往存在幸存者偏差，这使得我们很难获得不愿意对产品进行反馈的用户群体的体验和感受。因此，为了更客观、全面、持续、准确地理解和洞察用户体验（建议回顾上一期数据驱动的体验测量的挑战和思考），在收集了用户体验的痛点之后为众多企业和品牌，基于多个实际项目经验，打造了一套数据驱动的体验衡量解决方案，旨在解决企业以下体验问题：如何定义和构建完整的体验驱动驱动的体验衡量体系按业务目标明确体验指标好不好如何利用度量结果了解和洞察指标背后的根本原因，细化改进方案如何快速验证和分析改进方案图1：四个步骤createadata-drivenexperiencemeasurementmeasurementsystemfordata-drivenexperiencemeasurement之前构建体验指标体系，我们的首要任务是明确品牌和公司独特的体验策略：与公司的长期愿景、品牌形象、企业文化相一致的体验策略。在此基础上，拆解定义最符合品牌现阶段的体验指标。不同于我们常见的财务指标和运营指标，体验衡量体系是动态的，需要随着品牌和企业业务目标的迭代、受众偏好的变化、技术发展等因素不断调整。数据驱动的体验衡量体系构建三部曲常见的体验指标体系构建要么是自上而下的，要么是自下而上的。然而，体验本身不仅关系到用户的整体感知，更关心细节。因此，在实践中，我们通常采用组合模式：首先，自上而下，利用北极星指标对体验维度进行轻拆；然后，自下而上注重细节和感受，向上总结和调整体验维度。图2：指标拆解法——自上而下和自下而上相结合的第一部分——根据业务目标定义体验北极星指标体验是因，而业务是结果。作为业务目标外化到用户感知层的体现，体验北极星指标（即唯一反映体验目标的关键指标）的定义通常需要借助业务指标来明确。一个常见的定义是通过业务目标来区分最具代表性的体验指标，比如常见的NPS（NetPromoterScore）和CSI（UserSatisfactionIndex）。我们甚至可以直接将业务目标等同于体验指标，通过忠诚度、复购率等进行整体监控。第二部分——体验维度的拆解北极星指标是体验整体结果体现的第一要素，并且更加强调其与业务目标的相关性。为了获得更全面的用户体验，需要对体验进行多维度的拆解和提炼。根据多年经验，我们总结出以下二次元拆解方法：现有模型优化：在资源和时间有限，经验要求趋同的情况下，我们可以在现有模型的基础上进行变形拆解。很多行业龙头企业都基于自身业务推出了普适性强的体验维度模型：比如UES模型是阿里云产品设计中心推出的B段技术体验模型；Google推出的HEART模型是面向C端产品的初始阶段。因此，我们可以从北极星指标入手，找到更适合当前业务情况的衡量模型，对其进行拆解重构。通过剔除对体验目标影响较小的指标，增加对体验目标影响较大的指标，保证指标的全面性、完整性、客观性，构建适合您的体验衡量指标体系自己的产品。建立自己的模型：当产品有更清晰独特的体验策略时，基于市场现有模型进行优化，往往无法突出产品想要突出的体验特征。我们需要更深入的分析来提炼这个产品独特的体验维度模型。通过系统的用户调查、专家访谈、团队设计和体验目标的回顾，可以总结出体验的核心维度；或者可以根据产品属性和用户需求，从更学术的角度进行拆解。第三步——指标的具体实现与拆解指标的拆解是数据驱动的体验测量与传统主观用户评分、可用性测试的核心区别。与通过用户或专家的主观打分汇总各个维度得分的衡量方式相比，数据驱动的体验衡量体系更注重如何通过用户行为、消费、消费等客观数据对用户体验进行推测和判断。产品使用。在落地指标的拆解中，我们通常对已经明确体验维度的功能、场景、旅程、事物的具体指标进行拆解：从核心场景出发，通过场景分解、旅程拆解和交易项解构，确保层层分解指标体系分层细化，保证不同业务层级和指标之间的关系映射。当上层指标不理想时，也可以通过向下钻取来理清潜在的根本原因。图3：指标层的拆解逻辑最底层的体验指标的拆解总是从一个journeyitem开始，结合维度模型和GSM（Goalgoal-Signalsignal-Metricindicator）来理清详细的指标。另一方面，我们也会使用MOT的方法，通过厘清体验的核心关键点，来定义关键指标，抽象出额外的体验维度。数据驱动体验测量的指标结果评价标准一个完整的测量体系往往有四个要素：策略、维度、指标、合理的评价标准。我们在得到指标结果后，往往需要通过对标来了解现实与预期的差距，明确改进的方向。但是，每个公司建立体验衡量体系的方式不同（例如，使用NPS的公司很难直接与使用HEART模型的公司进行比较），体验拆分的维度也不同（想要突出的公司安全体验感可能并不关心品牌的未来（突出），往往难以建立行业标准或进行直接的竞争比较。基于目前的情况，我们将指标结果的解读方式分为两类：“与他人比”和“与自己比”。图4：在建立评价标准的两个大方向上与他人比较——参考行业相对成熟统一的标准：虽然指标体系的构建有所不同，但我们希望突出的经验核心点是也大不相同。但在性能方面，体验社区制定的交互原则，以及一般运营的相关指标，往往采用统一客观的衡量方式，因此具有比较强的可比性。常用指标包括：页面加载时间、信息搜索步数、丢失率等。自我比对——通过业务目标建立评价标准：根据部门业务目标制定体验和功能的指标要求。常见于与业务绩效直接挂钩（有助于产生直接经济效益）的体验指标，如功能使用率、功能使用时长或服务推荐接受率等。根据业务目标建立好坏指标的标准往往与产品/功能的阶段和企业的整体业务目标有很强的相关性。例如，在功能上线初期，会更加关注使用率，而在成熟期，则会更加关注使用时长。至于具体的目标值，通常是通过对整体业务目标的拆解和衡量形成的。因此，可以与该部门设定的目标进行直接比较。与自己对比——根据指标结果进行描述性统计分析：反映功能/产品体验关键点的指标，往往因为品牌要突出的体验维度而比较具体，因此很难与竞争对手进行行业对比;并且由于此类指标直接或间接反映了产品/功能的用户体验（例如：搜索成本、决策成本），作为影响业务指标的原因（决策成本高导致功能使用率低），我们不能直接通过业务目标映射。因此，我们通过对结果数据的统计分析，以百分位数来判断指标的好坏（例如：Top30%定义为优秀）。数据驱动体验测量的指标结果根因分析在我们定义了指标结果好坏之后，下一步就是构建整个测量体验的意义：如何使用指标结果来理解不满意的根本原因用户体验并做出决定体验乃至产品优化和改进的解决方案。基于以往丰富的项目经验，我们总结出三种根因分析方法，适用于数据指标体验建设的不同阶段。图5：不同阶段指标的根因分析方法Stage1：指标经验构建初期——指标组合解读在组合解读之前，必须充分厘清单一指标的含义和参考意义；接下来，通过漏斗指标和路径指标，结合功能指标进行分析，逐层下钻，了解宏观指标表现不佳的根本原因。此外，指标之间的逻辑关系（因果关系或联合效应）也可以组合解读：通常，功能体验指标是功能业务指标不理想的潜在因素。比如功能的易用性，会极大地影响功能的留存率。在数据指标有限的情况下，多渠道VOC分析也是帮助品牌和企业更好地了解用户情绪倾向，收集具体描述性反馈的重要途径。阶段二——指标体验建设成长期——根因排除法在产品体验分析方面积累了一定的经验后，可以尝试针对核心产品场景或体验关注点，对潜在的影响因素进行详细、全面的分析。通过数据埋点描述潜在的根因，最终通过恢复的数据反映和筛选出影响体验结果的核心因素。在我们总结的解决方案中，根因消除法通常有一般和具体两个观察维度。在总维度，基于四象限分析法可以快速定位功能潜在的问题方向：用户需求未建立，功能体验不好，功能差用户访问困难设计。通过快速定位，提高根因分析效率。图6：根本原因排除法：一般维度分析法和具体观察，需要像构建实验一样建立和验证假设，涉及更多的领域经验和分析过程。通过穷尽可能不理想的潜在假设因素，用数据指标来表征假设因素，最后通过恢复数据来验证假设。例如，在以往的项目中，为了确定某个位置导航偏航率偏高的原因，我们采用核心因素拆解法，将潜在的根本原因归结为：车主因素、功能因素、路段因素、路况因素、天气因素等，并通过数据指标描述这些因素，最终锁定异常体验的根源。Phase3-指标体验构建成长期-因素关联分析随着产品数据指标的丰富，我们可以有针对性地构建数据标签体系，实现更广泛的根因分析。传统的埋点数据项更多是基于事件与实体属性之间的关联分析。常见的属性标签包括用户标签或应用标签。为了更深入地探究指标的根源，我们的方法论期望还原事件或指标发生时的具体场景，通过5W+1H清晰地观察事件的全貌和事件的前因后果。事件还原方法，并进行相关的根本原因分析。甚至可以通过全方位的数据分析，分析用户群体、产品应用场景，探索产品创新方向。为此，我们构建了根因分析的双轮模型，在保证分析结果的同时，注重分析的效率。因素分析法双菱形模型：通过发散和收敛明确因素的类型——可控因素（如功能、内容）和不可控因素（用户和环境）、相关因素和潜在因素，最终形成改进方案和方向:图7：因子相关性分析：双钻模型首次发散收敛-帕累托原理：通过纯工具手段，全面地对变量进行全面分析。一方面可以利用标准化的流程和工具降低对相关领域知识和经验的要求，另一方面可以避免遗漏具有创新价值但有悖于常识的相关因素。通过纯数学方法，用20%的事件获取80%的高潜力相关因子进行第二次发散和趋同——传统科研分析方法：以第一阶段获取的核心相关因子为基础输入,进行假设建立和迭代实验。通过实验加入一些经验和判断认为有价值的可控和不可控因素，进行回归分析，了解影响因素是否对指标结果产生影响以及影响的大小，从而明确方案改进的优先级.改进方案评估和快速验证我们根据根因分析结果输出体验改进方案后，需要对体验改进方案进行评估和快速验证。结合我们的项目经验，体验提升方案的评估主要包括竞品对比分析、可用性测试、灰度测试、ABTesting。产品体验提升方案的评估需要根据不同的产品阶段采用不同的方法。图8：原型和发布阶段改进方案的评估方法在产品原型阶段，通常采用竞品体验对比分析和可用性测试进行评估。竞品体验对比分析主要基于产品体验的五要素，从战略层到表现层依次对产品体验进行对比分析。此外，在功能交互等细分维度，可以从用户角度、业务角度等多个角度进行打分和评估，评估体验提升方案与竞品相比的优劣势，找出需要改进的地方改进和改进它们。可用性测试主要采用实验和分析的方法，快速找到影响产品有效性、使用效率和满意度的关键影响点。其中，实验方法主要通过用户测试获得，分析方法主要通过行为分析和认知分析获得。竞品体验对比分析和可用性测试都可以用于解决方案原型阶段，但竞品体验对比分析更偏向于主观分析，而通过实验方法得出的可用性测试结论更偏向于真实的用户反馈。当体验提升计划发布上线后，通常采用灰度测试和ABtest进行评估。灰度测试通常是在一个新的产品功能上线时，对部分用户开放测试，让部分用户直接使用，确认没有问题后再对所有用户开放。可以在网上全面推广。对产品规模要求不高，等产品所有单元都上线后即可使用。AB测试会贯穿于产品的整个周期，主要是因为其本质是通过控制变量的方法获取产品变更对关键产品数据指标的影响。通常，体验方案上线前，需要根据需求对用户进行分组，对不同组的用户给出不同的方案。上线后，根据不同组的数据对比，得到各组方案优劣的反馈，然后推广数据最好的方案。给所有用户。其目的是通过真实的实验获得方案的最优数据，进而得到最优方案。灰度测试和ABtest都可以得到解决方案的客观评价数据。但是ABtest对用户属性和数量要求高，对实验用户数量要求高。适用于用户量大、个性化需求多的场景。灰度测试对用户属性和用户量要求不高，适用性强。最后，随着越来越多的企业关注产品体验的持续优化、管理和创新，我们希望这个数据驱动的体验衡量体系能够帮助企业有条不紊、有据可依地制定体验策略，构建体验衡量体系。.、基于结果分析的体验优化和产品创新。在这个以体验为核心竞争力的商业环境中，通过体验测量、体验管理、体验优化的闭环，创造持续提升的竞争优势。
