近日，TestinCloudTest正式发布全新AI测试产品iTestin，集自然语言处理、文本识别、图标识别技术于一体全面提升测试产品的易用性和自动化效率，通过人工智能技术大幅降低脚本调试和脚本维护成本，超越主流云厂商付费高精度OCR服务App和Web测试数据集的准确性和性能。为了支持以自然语言编写的自动化测试脚本语言的稳定高效执行，需要高精度、高效率的AI算法来提供可靠的识别结果。Testin云测实现了业务理解、数据理解、数据准备、算法建模、性能评估、模型部署全流程的全面提升，形成了AI技术在测试领域的实践。强大后盾：英特尔助力iTestin实现了最前沿的测试技术研究和自然语言脚本在数千款不同型号的手机上自动执行，必须具备足够高的文本检测和识别准确率。为解决识别准确率的挑战，Testin打造了业界最大的APP截图字符识别数据集，通过算法自动生成千万级数据用于字符识别模型的构建。在文本检测与识别的建模工作中，充分利用了传统计算机视觉算法的速度优势和深度学习算法的精度优势。最终算法的检测准确率、识别准确率、识别速度全面超越领先互联网公司的付费高精度文字识别。服务。Testin云考OCR算法成功支撑了公司的AI考试服务，也助力了重点客户产品的私有化和部署。为提升OCR深度学习的效率，Testin与Intel共同探索，着力从基础平台和工具套件构建解决方案，从软件加速和硬件支持两个角度对OCR解决方案进行优化。基于英特尔至强可扩展处理器和英特尔开放视觉推理和神经网络优化（以下简称OpenVINO）工具包，TestinCloudTest优化了OCR深度学习解决方案，将AI测试中的OCR识别时间从2秒缩短至2秒。约0.3秒，在不影响测试效果和结果的情况下实现了6倍的性能提升。具体来说，在基础平台的建设上，Testin选择了IntelXeonGold6140处理器，它不仅具有强大的通用计算能力，还集成了增强的单指令多数据流和IntelAVX-512新指令集等创新技术，如AI，实现通用计算能力和并行计算能力的平衡，为深度学习训练提供良好的性能基础。在软件和算法层面，为了加速OCR解决方案，Testin使用英特尔OpenVINO工具包分发版进行加速。该工具套件允许开发人员使用行业标准的AI框架、标准或自定义层将深度学习推理轻松集成到应用程序中，开发人员只需编写一次代码，即可在当前和未来的英特尔硬件上快速无缝部署，从而消除应用程序重复.英特尔技术负责人表示，“英特尔至强可扩展处理器与英特尔OpenVINOToolkit的结合实现了超高的推理性能，帮助TestinCloudTest及其客户快速实现文本点击、文本验证等功能，加速AI自动化测试.速度.该方案保证了OCR整体工作流程的执行速度,OCR整体识别准确率达到99%以上.在AI技术探索与应用方向.作为英特尔重要合作伙伴AI领域，TestinCTO陈冠诚表示：“未来，我们也会考虑在更多车型中尝试英特尔的技术加速方案。两家公司将继续就前沿技术开展合作研究。我们将携手落地检测行业领先技术，进一步提升产品的智能化水平，不断提升产品和服务的易用性和工作效率，应用AI技术为行业赋能。“更智能、更简单、更易用”,next新一代测试产品的特点1.自然语言处理：降低操作门槛iTestin将AI智能作为测试技术升级的重要推动力，通过基于自然语言的脚本录制功能，支持交互模式自然语言完成测试自动化操作，用户只需输入“点击搜索”，iTestin即可自动检测识别APP当前页面中的“搜索”，并完成点击操作，传统测试脚本需要一个大量的人工干预，脚本的录制和维护都是通过手动选择目标控件来实现的。iTestin，一个n全新的自然语言脚本，大大降低了脚本录制的难度，大大提高了产品的易用性和脚本化。维修效率。在QQ音乐中输入“点击搜索”，操作本机自动进入搜索界面，点击搜索音乐进入输入框，输入“周杰伦”，点击“说好不哭”徐坤总裁Testin云测试，在NCTS中国云测试峰会上用自然语言展示iTestin上AI+测试的真正能力。您只需在界面中输入点击、等待、查看、长按、输入等自然语言的文字描述，后台的AI就可以准确、实时地在真机上进行完整的测试。无误操作及相关说明。2、OCR文字识别：实现跨平台脚本能力，降低脚本维护成本目前，大部分应用倾向于采用两端相同的UI设计，即相同的UI界面和操作体验，以期拥有同样的体验在Android和iOS端结束。企业希望减少脚本维护的人力投入，同时在未来有新的脚本添加时，逐步将Android和iOS脚本统一成一套脚本，进一步减少脚本维护的投入。Testin云测试仅依靠UI界面截图的OCR和图标识别技术，使得Android和iOS使用同一套UI自动化测试脚本成为可能，实现跨平台的脚本能力，大大降低脚本维护成本。在训练OCR检测识别模型时，数据是最关键的输入，数据的准确性和多样性对模型的准确性和泛化能力起着决定性的作用。TestinCloudTest拥有自己多年积累的应用测试数据，OCR训练数据量达到1600万，并拥有专业的AI数据采集和标注团队对数据进行处理。3、图标识别技术：进一步提升用户体验和自动化测试稳定性在应用UI自动化测试中，除了文字，图标是与用户交互最多的另一个元素。在传统的自动化测试中，图标的识别主要依靠控件ID和其他控件信息，如class、xpath等，但这些信息在自动化测试实践中被证明是相对不可靠的。因此，TestinCloudTest的自动化测试主要是从图像的角度来识别和定位控件元素。除了OCR，图标识别技术是支撑Testin云测自动化测试的另一项关键技术。目前大多数应用都采用设计简单的线形图标，导致原有可靠的模板匹配和特征点匹配技术失效。在实际测试中，现有最好的图标识别技术，正样本准确率仅为66.87%，负样本准确率为91.16%，单个图标识别时间为1532ms。TestinCloudTest识别线条图标的简单设计，专门设计了图标相似度判别算法，大大提高了图标识别的准确率和正负样本的区分能力。正负样本最终准确率均高于测试数据集。均超过97%，单个图标的平均识别时间为319ms，实现了业界领先的识别精度和性能。此外，Testin利用自身数据积累优势，利用深度学习目标检测技术，自动识别定位应用上的常用图标，进一步提升用户体验和自动化测试的稳定性。结语从信息化、数字化到智能化，互联网作为IT能力的载体，正在很大程度上改变着IT技术的研发趋势和应用模式，重构着整个人类社会的商业体系。新技术、新商业模式的出现颠覆了传统的商业生态，改变了人们的社交习惯。企业正在经历一场深刻的变革，随着互联网和传统行业的企业逐渐转向数据驱动运营，测试也被赋予了更多的意义。测试变得越来越智能，机器学习正在彻底改变它，让我们拭目以待。
