嘉宾|曹文生作者|打游戏。不过，在享受过惊天动地的游戏体验后，玩家们可能会好奇它是哪家公司、哪个工作室开发的，却很少有人提及如此出色的游戏性能是如何做到的。其实，一款火爆游戏的打造背后，除了精心策划和研发外，更重要的是专项游戏性能和品质检测。游戏测试在外人看来是“玩游戏”，但其实有非常复杂的技术细节值得思考，比如：如何保证游戏产品上线的质量和良好的用户体验，以及如何做各种专项技术测试？使用了哪些测试技术和工具？不同的游戏场景会遇到哪些测试技术难点？如何提高测试效率和专业性？如何协调测试和开发的进度，以及这些过程中的产品团队？带着这些疑问，《T前线》有幸采访了腾讯微测。Wetest平台依托腾讯10余年产品质量管理经验，经过数千款腾讯产品的打磨，提供优质的质量测试解决方案，在全球企业和开发者中得到广泛应用。其中，PerfDog作为WeTest针对开发者特殊测试需求推出的一款移动端全平台性能工具，凭借其快速定位、无需任何改动即插即用的特点赢得了游戏测试手机硬件、游戏和应用程序。以及开发商的好评和认可。今天，《T前线》有幸邀请到腾讯互娱资深测试技术总监、数款DAU大产品的性能测试专家、明星性能工具PerfDog创始人曹文生先生为我们分享他在游戏特定测试领域的实践经验和见解。1、卡顿和内存是游戏性能的主要问题性能话题是游戏圈尤其是手游圈近几年最热门的话题之一。对于玩家来说，除了玩法之外，最影响体验的就是性能了。以某款战术竞技游戏为例。这款游戏的成功离不开能够保证画面质量和交互效果的性能因素。但对于测试人员来说，游戏性能是一个复杂的技术问题：性能会涉及到硬件、操作系统、GPU层面的渲染等诸多方面。根据多年的项目经验，曹文胜发现游戏的性能问题主要集中在卡顿和内存方面。(1)卡顿：我们经常面临的问题是，在手机硬件性能快速迭代的今天，用户的期望值也在提升。随着用户对游戏性能体验的要求越来越高，大家对卡顿的容忍度也越来越低。比如以前50到60毫秒的小卡顿大家都能忍受，现在小卡顿，用户觉得影响他的体验。同时，游戏开发对性能的要求也越来越高。以前觉得游戏达到30帧就很好了，现在可能要到60帧才算合格。这使得卡顿成为目前游戏面临的最主要的性能问题。不过在游戏性能的专项测试中，卡顿的出现是有一定几率的。第一次测试可能没有卡顿，但第二次测试会卡顿。因此，要解决这个问题，首先需要记录卡顿或演出的现场环境。为此，专门的测试人员需要使用专业、方便、快捷的工具进行反复测试，同时通过统计算法建立更准确的冻结指标，从而更准确地识别冻结点和原因。有了指标体系，可以更好地评估每帧的功耗，专人可以为开发者提供更有针对性的能耗优化建议，解决卡顿问题。(2)内存：游戏的制约因素游戏不同于其他程序。游戏会涉及加载大量的图片纹理、场景模型和Shader（一种专门用于渲染3D图形的技术）等占用大量内存的程序。内存不足会导致手机跑不起来，甚至跑不起来就挂了。因此，需要专门人员使用各种内存工具，比如引擎自带的内存工具，准确定位哪个对象、哪个模块内存过多。大，然后解决内存问题，比如可以防止某个部分加载过大的图片。当然，内存的影响没有卡顿严重，因为卡顿在任何平台都可能存在，旗舰手机也不例外，但内存问题通常只出现在一些低端或小内存的手机上。出现。2、特殊人的成长之路：善用工具，学会复习。对于游戏专项测试，识别问题和解决问题是最关键的两个步骤。在曹文胜看来，专项人员要想精通这方面，就需要熟悉并掌握各种专项检测技术能力和工具的使用。同时要学会边做边学，懂得总结以往项目的经验。(1)没有万能的工具曹文胜认为，专门的人员必须对工具的技术形态有一定的了解，认识到不同形态的工具能做的事情是大不相同的。游戏性能专项测试使用的工具大致可以分为两大类：嵌入式SDK集成源码工具和非嵌入式独立工具。SDK集成了源代码工具。这类工具收集的信息比较全面，但是SDK工具的使用门槛高（对开发团队和项目的要求高）；独立工具可以即插即用，使用门槛低，但是得到的性能指标可能不是那么全。此外，曹文生还提醒，各大引擎、IDE和硬件厂商都会有自己的性能分析工具，这些工具有什么要求，需要专人了解。例如，某些工具要求游戏的编译版本是开发版本，而不是常规发行版本。再比如，像高通或者ARM这样的硬件厂商，他们开发的工具可能只适用于自己的硬件，有一定的局限性，需要专人注意。因此，在测试时，专人不能只使用某一种工具，而是要将不同的工具组合在一起进行测试定位。(2)研究与热爱缺一不可。曹文生认为，对于特殊测试人员来说，要想高效解决测试过程中出现的问题，利用好以往的项目经验非常重要。怎样才能用好前人的经验呢？一方面，要边干边学。专门测试人员需要掌握的技术点很多，从一开始就掌握所有技术是不现实的。因此，专业测试人员必须要有广阔的视野，对性能、网络、兼容性、压力测试等方面有一定的了解，从而在专项考试中打下坚实的基础。另一方面，如果在项目中遇到问题，踩了坑，一定要钻得更深，这样记忆才会深刻，能力提升也会很快。对此，曹文胜谈到了自己在PC游戏时代负责专项兼容性测试的经历。所谓兼容性问题，举一个常见的例子，就是一款游戏在多台电脑上会出现花屏、黑屏或者显示不正常的情况。曹文胜在做这项工作时，发现部分显卡会显示异常。当时曹文胜不知道这是什么原因，也不知道什么样的显卡会出现这样的问题。后来通过大量的显卡测试分析总结，发现这个问题是有原因的：这类游戏会用到一些3Dcaps能力，有些显卡是不支持的。于是他迅速开发了一款虚拟显卡兼容性测试工具Bench3D，快速模拟定位哪些显卡可能有问题，哪些显卡应该没有问题，加强了曹文胜对兼容性底层技术的理解，进而快速提高效率和特殊测试的专业性。除了以上能力，曹文胜还提到了一个优秀游戏测试员的另一个必备素质：热爱游戏。游戏测试不同于普通的App测试。特定于应用程序的测试可以快速跑完所有测试用例。但是游戏有几万种玩法，对应几千种操作路径，每一种操作路径都可能存在这个问题。在这种情况下，测试人员需要熟悉游戏本身。只有对游戏感兴趣，热爱游戏的人，测试人员才能做到。在特殊技术方面，游戏测试的要求也高于一般的App测试。比如弱网、引擎、安全、游戏专项测试等要求更高。爱是应对这些挑战的唯一途径。3、团队意识不可或缺(1)发现，有效需求专项测试团队的工作输出更多是服务公司内部的研发人员。通常当有新的工作成果时，专项测试开发组需要提拔到公司的各个研发团队，但是很多专项测试开发组都会遇到一类问题：每个小团队、小组或者开发一个所谓可用的工具自己用还OK，我所在的项目组用起来也觉得OK。但是当需要更多的项目团队和更多的人使用它时，事实证明这些工具不可用或没有帮助。对于这个问题，曹文胜发现，根本原因在于专项测试组总是把自己开发的工具当成小工具，根本没有把它当成大工具，甚至是产品。小工具在各个方面的功能都是有限的，此时工具只能满足自己的需求。只有当开发出来的工具做成更大的工具，甚至升华成产品时，你才会意识到有成千上万的需求需要被满足。这时候你要冷静的想一想，你不可能在一个工具中实现10000个需求，你需要区分哪些是有效需求，把这些需求归类，转化为通用需求。如何评估哪些需求是有效需求？一是看有多少项目组和用户有这些需求，二是看可操作性和可实现性。(2)反馈真实情况是责任。测试人员除了技术测试工作之外，可能还需要和很多人打交道，比如QA、项目经理、产品人员、开发人员，还要和很多人打交道。曹文胜表示，测试人员在与这些人交流合作时，因为测试人员最了解整个项目的进度和质量，也最能反馈项目的真实信息。这时，测试人员可能会站在团队中与开发人员的对立面。比如，项目开发人员在开发新功能时，测试人员会“特地”发现新功能模块设计中的一些bug，所以两者之间的情绪会产生一些对立，这就需要双方多多沟通。测试人员除了向开发人员反馈真实信息外，还需要向项目负责人反馈真实信息。项目负责人需要了解整个项目的进展情况。这时候，测试人员的角色就是项目负责人的“卫士”：测试人员要敢于说出真实项目开发的进度和质量。有时，游戏测试员也在整个游戏团队中扮演更重要的角色。在腾讯游戏，品质是决定一款游戏能否上线的最后一道关卡。游戏测试员有这样的权力去检查。如果测试人员觉得某个游戏的质量不够，那么这个游戏就不会上线。4、游戏测试自动化：全面落地还有很长的路要走。虽然很多传统的APP测试自动化做得很好，但曹文胜发现游戏测试的自动化并不是很成功。据曹文生估计，目前自动化测试的覆盖率只有15%左右。现阶段只有游戏场景比较简单，比如跑分图（业内称为跑分热力图），或者单一技能的释放，自动化测试不尽如人意。自动化在游戏测试领域的应用范围是如此之小。在曹文胜看来，主要有两个因素。首先，游戏中画面的实时渲染和半透明的特殊粒子效果会导致图像难以自动化。同时，游戏事件和系统事件响应都是我们自己实现的，自动化很难捕捉和实现。第二，游戏版本的更新迭代非常快，甚至每天都要进行非常大的版本更新，导致界面变化非常快，这也使得自动化难以实现。关于AI在游戏自动化测试中的话题，曹文胜的观点是，AI可能会在普通的APP测试中发挥作用，因为无论APP如何操作，界面变化不大，一致性强。在游戏测试中，AI可能很难匹配场景。比如游戏的某个像素点或者几个像素点显示不正确，AI就很难判断。另一个是性能。当游戏中镜头稍微旋转时，玩家看到的是完全不同的，从而导致完全不同的表现。AI也很难发现这种细微的问题。所以，对于测试人员来说，还是要明白哪些是可以自动化的，哪些还是需要人工测试的，而不是寄希望于自动化。5.写在最后在游戏行业，正是因为有专测团队的默默付出，玩家才可以专注于操作和玩法，而不是时不时地为性能问题而烦恼。对于游戏测试人员来说，或许他们的工作很少被外界认可，但内心的成就感才是最重要的回报。曹文生嘉宾介绍：MTSC中国互联网测试发展大会主席，腾讯互娱资深测试技术总监，各类大型DAU产品性能测试技术专家，明星性能工具PerfDog创始人，做过游戏引擎开发，游戏开发,以及特殊工具平台的各种效率和特殊技术测试。目前主要负责腾讯游戏品质工具平台建设，专注于全平台性能专业。
