经历了移动互联网蓬勃发展的时代。目前，中国的移动应用生态已经非常庞大。从市场来看，应用市场有数百个，APP相关产业规模已超过1000亿美元；从构成来看，移动应用生态的构成包括移动用户、手机、开发者、超级APP和应用市场；从规模上看，移动用户规模巨大，手机版本众多，可统计的开发者和真正签名的开发者已超过百万，其他移动应用也有数千款未被统计；这些共同构成了一个大规模的移动应用生态系统。事情往往是两面性的。我们在享受如此庞大的移动互联网带来的好处的同时，也必须忍受随之而来的弊端。因为整个移动应用市场非常复杂，在质量方面，虽然国内很多应用市场都号称做的很严格，但实际上很多APP的应用质量并不尽如人意，很多都存在严重的问题。北京大学计算机科学与技术系副主任郭耀教授在NCTS中国云测试峰会上分享了当前移动应用市场的复杂性和一些问题：中国的移动应用生态非常复杂；国内应用更新不及时，导致用户在应用市场下载的很多版本不是最新版本；市场上虚假应用的平均占比是GooglePlay的20倍；多达80%的应用程序申请了过多的权限；应用市场对恶意应用的审核滞后。那么，如何处理此类问题呢？一是帮助用户更好地了解如何使用应用程序，二是测试软件。当然，要想最高效地解决这些问题，还需要一个更高效、更智能的测试平台。AI引领下一代考试，iTestin改写未来考试人工智能战略的重要组成部分，iTestin集成了当前考试领域最顶尖的自然语言处理、文本识别、图标识别技术，全面提升考试易用性测试产品的使用和自动化效率。在成倍提高脚本编写效率的同时，成倍提高脚本的维护成本。在现场发布环节，徐坤用自然语言展示了iTestin上AI+测试的真实能力，引起了现场观众的惊叹和赞叹。使用iTestin的测试人员只需要在界面中输入点击、等待、勾选、长按、输入等自然语言的文字描述，后台的AI就可以进行完整无误的操作及相关真机指令准确实时。iTestin真正的魔力在于，只需要半个小时，就可以教会一个从不知道程序代码的人写出他人生中的第一个程序。支持基于手机的基本操作，包括动作、部分后台能力、等待、系统按钮等。这背后的操作取决于AI的识别能力；最重要的是OCR，OCR的准确性会直接影响到整个执行，因为本质上是看界面，大部分操作都是基于文本的，而且文本有不同的字体，不同的风格，遮挡，等等。通过OCR技术，可以筛选出所有的热点文字，在iTestin后台，你可以像人一样操作各种文字按钮，了解整个页面的意思。这是iTestin将系统按键内置到AI后台。TestinCloudTest花了数年时间将整个人工智能技术融入到测试中。iTestin的核心，第一部分是语言书写部分，完全基于自然语言，即基于日常生活中的点击、登录、向左滑动等。、向右滑动等，让前端操作更简单；另外在后台的人工智能部分也做了很多工作，会NLP语言和各种图形，比如“点击登录”“向下滑动”这八个汉字也是两个操作语句iTestin自动化工具。图标部分更有趣。人类识别的图标很多，但AI识别图标是相当困难的。Testin云测试团队收集了数百万个图标，训练了这个模型，让它识别了近百种常见的图标。随着数据越来越多，它也可以让机器变得越来越聪明。计算机视觉可以将图形转换为更多的识别，可以预见未来很多很多的事情都可以基于图像来完成。测试行业需要AI支持。对于软件测试行业来说，移动互联网的发展和兴起为软件测试的发展带来了机遇，也带来了巨大的挑战。这得从本质问题说起。与互联网时代之前的传统IT时代相比，软件通常研发周期较长，软件功能庞大，更新频率较低。软件作为支持企业业务发展的配套设施而存在。所谓配套设施，就是说对于企业来说，即使没有它，业务发展也可以进行，只是管理效率可能会受到一定的影响。在移动互联网时代，本质上，软件本身就是企业商业模式的核心竞争力。它不再只是一个配套设施，而是一个核心设施和核心能力。环境，企业是否具有核心竞争力。然而，在传统的测试平台中，目标控件的脚本编写、框架选择等工作仍然需要大量的人工干预，远远不能满足当前巨大的市场需求。在业界追求效率的引领下，以AI技术为核心的新型考试模式成为业界争相讨论和突破的焦点。新技术、新方法、新思维、新未来成为检测行业的变数。目前，AI+检测已成为行业共识趋势，人工智能在检测行业的落地也将迎来整个检测行业的新纪元。来自阿里巴巴、搜狗、京东、埃森哲、VIPKID、平安集团、汽车之家、饿了么等众多行业领袖在NCTS中国云测试峰会上分享了最新的研究和测试实践。如何搭建全流程AI测试平台北京大学计算机系李元春博士介绍了GUI测试的研究并指出，“强化学习应用于GUI测试的难点主要在于状态的表征和状态的表征。rewardfunction.rewardfunction.设计，即如何在交互界面中对图像、文本等多模态特征进行有效编码，以及如何将测试目标转化为对测试输入的奖励。这包括基于深度学习的GUI测试和基于强化学习的UI功能测试的内容。李元春提到，深度学习和强化学习应用于测试虽然前景广阔，但要实现还有很长的路要走难点一：测试的问题很复杂，目前的深度学习主要是图片或者文字作为输入，而UI是比较复杂的一种信息，既包括视觉信息，也包括文本信息。目前特别好的模型或者方法，捕捉UI上的特征二：强化学习算法成功的领域往往是游戏，比如强化学习可以很好的解决围棋，一个重要的原因是在这个领域游戏，Reward比较明确，但是在测试中，想评价一个测试用例，好坏，没有准确的指标。最后评价之后，每次测试case，不管是正确还是错误，都会得到非常相似的Rewards，这使得强化学习模型很难区分正确与不正确。要解决这些问题，一方面有研究上的挑战，另一方面也有很多工程上的问题需要解决，需要学术界和产业界共同努力解决。企业如何进行DevOps转型在分享企业DevOps转型的经验时，谷雨提到，“我不建议企业在DevOps能力不足的情况下做微服务转型，因为企业在质量标准不高的情况下会缩短发布周期。增加部署频率没有意义。”目前很多企业完成微服务改造后，测试成本都增加了，原因是原来是单体应用，后来变成了分布式应用，需要测试的点很多，各种功能测试必须测试服务之间的非功能测试，尤其是在SIT部分。增加的成本具有延迟交货时间的效果。在DevOps能力不足的情况下，不建议企业做微服务改造。微服务应该是DevOps高度成熟的必然结果；否则，许多质量问题将导致人工成本和时间成本的大幅增加。DevOps需要解决两个问题，第一是软件交付效率，第二是交付质量。质量和效率都很重要。如何改进？这就需要采取以下措施：准确定义Bug；建立完善的需求文档，降低对接成本；打破DevOps组织壁垒，树立正确的DevOps测试理念等。360搜索业务搭建全自动化测试平台360搜索测试总监彭兴强分享了360搜索业务如何通过CI/CD全流程自动化，功能、性能、接口测试自动化，加上业务监控，在线产品自动质量分析，AB实验和完整的数据分析系统，确保在线服务质量。传统软件生产的全过程是自启动、自测试、测试、冒烟测试；如果流程失败，则回调，完成冒烟测试后，进入QA测试环节。在全自动化测试过程中，生产验证是基本功能之一，其他功能有回归、功能、接口、模块、离线建库、性能测试、DIFF测试、兼容性测试等，有不同的版本。版本上线后支持当前版本，需要测试上下版本的兼容性，所以所有环节都是自动化流程实现。360团队所做的，就是将之前的所有部分抽象出来，放到一个全自动化的测试流程中，编译打包，测试，冒烟测试，自动化测试，全部都放到一个全自动化的测试流程中。一个自动化测试平台包括接口自动化、服务器端自动化、前端自动化性能和测试自动化。在自动化测试平台上，每个业务都有数据定制，所以开发不需要关心数据，只要选择做什么业务，选择什么样的数据，点击确定即可。360开发的自动化测试平台主要有以下亮点：数据上传：有具体的数据需要验证，需要的数据可以自己上传。实时日志：如果测试需要观察实时数据的状态，有些性能测试不需要在整个测试完成后看结果，比如10分钟，20分钟，可以停止测试如果您发现问题，并解决问题。自动化测试平台支持秒级数据查看。历史任务管理：平台可查看所有指标变化。进程监控：在一个具体的任务中，需要关注某些进程的情况。需要填写进程名称，可以通过平台查看。AI在测试行业的应用与实践一、探索AI模型测试金融高级技术经理《AI模型测试探秘》在主题演讲《AI模型测试探秘》中分享了AI在金融科技的应用场景，并指出业务场景实现领域相对成熟，主要是数据的质量和丰富性，对模型的效果起着极其重要的作用。模型测试的痛点是什么？首先是难度大，门槛高，传统的工程测试手段不能完全复用。二是抽象。模型测试黑盒化、数据关联性强，体现在故障排查时问题定位难、数据关联性强。AI产品质量体系分为线上和线下：线下有模型质量、数据质量、工程质量三个模块。在线监测各种模型效果、特征、一致性、覆盖率和业务绩效。2.如何为线下测试打造智能在主题演讲《阿里妈妈在线下测试域的智能化建设》中，阿里巴巴测试开发专家潘家腾分享了阿里妈妈在线下测试的实践，包括业务现状与挑战，以及线下测试的逻辑。进入情报。以及如何实现离线测试的智能化。离线功能测试的开发过程分为三个阶段。第一个是大航海时代，其特点是人工测试，自动化程度低；第二阶段是工业革命时代，自动化程度非常高。还有一个框架，再加上持续集成的工具，比如阿里内部的一些平台，它们共同组成了一个自动化程度非常高的方法。但由于测试技术门槛非常高，开发无法参与，大部分工作都是靠测试来完成的。在阿里内部，很多团队还处在高度自动化的时代，还没有进入智能化时代；第三阶段是智能化时代，以产品化、可视化、偏智能化为特征，极大地提高了效率。团队试图让整个测试工作变得更简单，通过降低门槛，让开发者、算法或其他同学都可以参与。这个阶段主要是向测试平台或测试平台演进。智能技术很重要，但如何结合测试场景更重要。功能测试域主要分为三个部分。首先是如何写用例，也就是用例生成。二是用例回归，也就是写完用例后快速迭代这些用例。做智能侦查，就体现这三个部分的智能。除了智能技术，还有：用例智能推荐、数据智能推荐、智能回烟技术、智能回归技术、智能调查反馈等部分。3、DevOps+AI网易传媒测试总监张涛分享了网易新闻过去一年在DevOps的实践，并指出，“DevOps落地的过程也是测试价值提升的过程，从关注服务可用性到注重系统可靠性。可测试性和稳定性，在研发、测试、运维全过程中起到举足轻重的作用。”张涛在分享DevOps提高迭代效率的思路和方法时，提出了传统DevOps火车模式的明显问题，即转为穿梭巴士模式。班车模式改变了集中需求收集和集中研发测试的方式。随时提交新需求，随时审核，随时研发测试；每周迭代一次。另一个是项目管理团队共同开发的OverMind平台。它最大的作用就是把需求到研发、上线、测试各个环节中常用的一些平台和工具连接起来。比如需求管理，研发用到的分支管理工具，测试工具，线上平台都是串联起来的。网易新闻团队还将Testin云测新AI测试产品iTestin提供的自动化能力融入到测试的全过程中。在机器学习测试的支持下，DevOps实现了全链路的监控。此外，它还提供了如何梳理服务依赖关系和链接跟踪方向的方法。这个过程可以将整个请求的链接串联起来。另外，它有链接调用性能评估，可以监控每个请求的性能，可以快速发现一些性能瓶颈；以上就是全链路监控的总体思路。4、用AI快速定位bug饿了么测试开发专家邱华峰在主题演讲《人工智能在Bug定位中的应用》中指出，“企业想要获得人工智能带来的便利，首先要制定相应的标准，如果没有的话标准，按照固定的算法很难实现。”首先，有些人维护所有关于java的错误。当这些bug被修复的时候，会产生一些数据，告诉你哪个方法在哪一层，哪个方法哪一行有什么错误。要想使用人工智能带来的便利，首先要制定一些相应的标准。没有这个标准，很难按照固定的算法得到你想要的。首先，邱华峰介绍了工具。其次，他讲解了bug定位的原理和方法。第三，他解释了使用这些工具后应用程序的具体方面。著名的82规则在测试行业可以理解为80%的错误来自20%的代码。根据这个理论，有必要将这20%的代码按案例级别进行分类。软件迭代的版本越多，开发和测试都在不断维护自己的自动化脚本，包括单元测试脚本，bug会慢慢积累，需要以空间换时间才能看到案例的执行情况。此外，这些案例还可以通过分级分类来标出，这样可以节省一些空间或时间。AI赋能测试行业那么在AI时代，测试开发应该如何准备和改造技术呢？人工智能学习需要经历从高等数学到机器学习的过程。还有掌握数据分析和挖掘的能力。数据质量分析本质上是数据分析，需要熟练运用大量相关理论和工具。这也需要测试行业人员的不断积累，而对于深度学习和强化学习，复杂度更高。考试行业的未来是中国AI考试技术的变革与创新，也是中国互联网高速发展的缩影。从最初的人工测试，到后来的工具测试，再到目前市场上主流的自动化测试，整个行业已经进入了成熟和稳定的阶段，尤其是云测试模式的出现，更是将整个行业推向了一个新的阶段高度。再加上目前人工智能技术的发展速度，远超我们的想象。可以想象，未来测试产品将更加智能、简单、易用。所有这些让我相信，随着AI技术的成熟，下一代测试即将到来。【NCTS峰会回顾】北京大学郭耀：移动应用生态系统的现状与挑战https://developer.51cto.com/art/201911/606776.htm【NCTS峰会回顾】TestinXuKun：AI引领下一代测试，iTestin改写测试的未来https://developer.51cto.com/art/201911/606770.htm【NCTS峰会回顾】阿里巴巴潘家腾：阿里妈妈离线测试域的智能构建https://developer.51cto.com/art/201911/606771.htm【NCTS峰会回顾】360搜索彭兴强：360搜索质量保证体系介绍https://developer.51cto.com/art/201911/606778.htm【NCTS峰会回顾]容360艾辉：探索AI模型测试https://developer.51cto.com/art/201911/606775.htm【NCTS峰会回顾】网易张涛：网易新闻DevOps在AI测试中的实践与应用https://developer.51cto.com/art/201911/606775.htm/操作系统。51cto.com/art/201911/606783.htm【NCTS峰会回顾】谷雨：DevOps的交付质量从需求质量开始https://os.51cto.com/art/201911/606781.htm【NCTS峰会回顾】北大李元春：强化学习在自动测试中的应用https://developer.51cto.com/art/201911/606772.htm【NCTS峰会回顾】饿了么邱华峰：人工智能在Bug定位中的应用https://developer.51cto.com/art/201911/606772.htm://developer.51cto.com/art/201911/606773.htm
