如何利用RPA做UI自动化测试对传统自动化的降维打击

写在前面

RPA软件一开始的目的并不是自动化测试，而是要把电脑上面几十个、上百个常用的软件，通过机器人流程自动化来打通，通过一个软件来控制几十个、上百个软件。而这个过程，其实覆盖了软件自动化测试。

所谓降维打击，其实是RPA软件，跨界做了软件自动化测试。

引言

做UI自动化的繁琐和难点，对于每一个测试开发工程师都有切身的体会：

第一：验证码

比如，登录界面，为了防止批量注册、登录、灌水等恶意行为，设置了验证码，这些验证码通常包含随机生成的数字、字母或符号，并可能加入干扰元素如曲线、噪点或干扰线，以增加识别难度,?还有一些很创新的验证码：

1. 滑块拼图验证码

2. 滑动条验证码

3. 旋转图片验证码

4. 点选验证码

5. 推理拼图验证码

验证码往往是卡在自动化测试的第一关。原本用来防止坏人的工具，对于自动化测试来说，却成为了棘手的问题。虽然可以设置跳过验证码，但这种方式牺牲了测试的覆盖面为代价，绕过验证码也可能会导致安全漏洞，因此应该尽可能采用安全的方式来验证用户身份。

第二，无法处理各种WindowsApp/Java应用等UI自动化：类似于Selenium等主流的UI自动化测试工具，主要用于web页面的自动化测试，对于各类Win?App的UI自动化则不太适用,?假如开发的功能不仅仅是Web端，UI自动化测试就会停留在从开始到放弃。

第三，维护性差：当UI发生改变时，UI自动化测试用例就会大量失效，需要测试人员花费大量的时间去修改UI自动化测试的代码。

第四，学习成本高：UI自动化测试需要掌握相关的自动化测试框架和编程语言，同时还需要对测试目标进行深入的了解和分析，因此需要花费大量的时间和精力进行学习和实践。

第一部分?降维打击

用实在RPA做做全场景UI自动化测试，实在地说，下面4条属于降维打击。

1. 兼容各种WindowsApp/Java应用等被测对象的UI自动化：?适用场景广泛。这里的兼容，不仅是原生的元素拾取，还有基于CV的元素拾取，大大增加了拾取的能力。单这一条，就已经碾压了大量的开源UI测试框架。

2. 充分的验证码组件：对于验证码拦路虎，直接拖拽响应的验证码组件即可实现验证码的验证。

3. 学习成本低：?RPA产品是UI界面操作，目标定位就是小白易上手，元素拾取、元素操作等难的地方由RPA产品进行处理，用户关注元素的拾取、断言。对于测试工程师来说，入门RPA进行自动化测试，更加不是问题。

4. 维护性好：RPA产品通过创建流程来运行UI自动化的过程，对于被测试对象的变化引起测试脚本运行出错，可以清晰排查出改动的元素，重新拾取即可更新元素。

第二部分?示例

一、各种不同验证码的例子示范

1\滑块拼图验证码?

示例：?jQuery触屏滑块图片验证码插件?

?2\滑动条验证码

3\旋转图片验证码

4\点选验证码

5\推理拼图验证码

二、兼容各种WindowsApp/Java应用等UI自动化示例

2.1?WeChat的消息发送的UI自动化测试演示?

2.2?兼容Excel、Word、WPS?

Excel?相关的组件有59个，?Word相关组件有27个，可以覆盖绝大多数Excel和word操作，赋能对Excel和Word的自动化操作。

2.3?兼容各类浏览器

实在RPA设计器兼容?谷歌浏览器、IE浏览器、火狐浏览器、章鱼浏览器(beta)、Edge浏览器、360安全浏览器、360极速浏览器、搜狗浏览器等各种浏览器。?

在自动化测试方面，以电商平台为例，电商平台会开发很多后台的web应用，通过浏览器，由RPA可以实现大量电商的业务需求，如消息发送、私域运营、数据获取、评价回复、评价获取、项目运营、插旗备注、物流信息获取，??实在RPA同样也适用于这些电商系统的自动化测试。

2.4?兼容金蝶、用友等各类财务软件

主流的如用友，金蝶，用友的NC，U8+,?金蝶Kis,?金蝶EAS

2.5?兼容阿里旺旺、飞书、钉钉、微信、企业微信?

对阿里旺旺、飞书、钉钉、微信、企业微信界面的各种按钮、界面元素可是实现精准操作，包括元素点击、鼠标移到元素上、输入文本、输入密码框、获取界面元素文本、等待元素、判断元素存在、元素截图、循环相似元素等等，元素操作的组件有34个，从各种复杂场景的流程包的运行看，可以很好满足各种业务的需求。

2.6?支持信创等国产操作系统?

在国产操作系统上面开发应用的小伙伴们有福了，可以使用实在RPA?信创版进行UI自动化测试.

第三部分?总结

上面的示例中，是常用软件较少的一部分，但也已经涵盖了?Windows?App?、Java?App、浏览器、信创操作系统。

RPA软件一开始的目的并不是自动化测试，而是要把电脑上面几十个、上百个常用的软件，通过机器人流程自动化来打通。而这个过程，其实覆盖了软件自动化测试。

所谓降维打击，其实是RPA软件，跨界做了软件自动化。

用操作软件的软件——即RPA软件?——做自动化测试，叠加强大的CV拾取功能，更加充分兼容了各种WindowsApp&Java应用等被测对象，有充分的验证码组件，学习成本低,?维护性好,?完全属于降维打击,?使用后会发现真香。

示例中的AI智能-验证码组件的流程包见↓附件：?

安利一波：

如需上手尝试，可通过下载链接下载实在RPA设计器?：?下载实在RPA设计器