Monkey工具之fastbot-iOS实践

发布时间:2023年12月19日

背景

目前移动端App上线后 crash 率比较高, 尤其在iOS端。我们需要一款Monkey工具测试App的稳定性,更早的发现crash问题并修复。

去年移动开发者大会上有参加 fastbot 的分享,所以很自然的就想到Fastbot工具。

Fastbot-iOS安装配置

准备工具

  • XCode: iOS开发IDE。
  • CocoaPads: 用来管理XCode依赖库的项目。
  • Fastbot_iOS: github项目。
  • tidevice: iOS 自动化工具。
  1. 通过macOS应用商店下载XCode。

  1. 安装cocoapods
> sudo gem install cocoapods -v=1.8.1
  1. 克隆fastbot_iOS项目,并初始化
> git clone https://github.com/bytedance/Fastbot_iOS
> cd Fastbot_iOS
> cd Fastbot-iOS && pod install --repo-update

Fastbot_iOS?是克隆的项目目录,Fastbot-iOS是项目下面的子目录。

  1. 通过Xcode 打开项目Fastbo-iOS项目。

GitHub - bytedance/Fastbot_iOS: About Fastbot(2.0) is a model-based testing tool for modeling GUI transitions to discover app stability problems

具体配置查看github项目中的《中文手册》,操作步骤非常详细。

运行测试(XCode)

  1. 点击顶部FastbotRunner?弹出菜单,选择Edit Scheme...?选项。

Scheme中设置参数,参考表格:

字段说明示例
BUNDLEID被测试App的 Bundle IDcom.apple.Pages
duration测试时长,单位分钟240
throttle操作间隔,单位毫秒300
launchenv启动测试App的环境变量,一般为空,或者以 ':'分割的key=value形式isAutoTestUI=1:=AutoTest
  1. 执行测试

点击testFastbot?按钮,开始运行Monkey测试。你可以在手机端看到被测试App以及启动,并开始自动执行操作。

运行测试(tidevice)

tidevice是阿里开源的iOS自动化测试工具,其实叫自动化工具有点不准确。他本质上有点像android 的?adb?工具,可以理解为PC与iOS之间的通信工具。提供了一些非常有用的功能,查看设备信息、安装卸载应用,当然,最主要的是可以执行XCTest

github:?GitHub - alibaba/taobao-iphone-device: tidevice can be used to communicate with iPhone device

  1. 安装tidevices
> pip install -U tidevice
  1. 使用tidevice检查连接的设备udid
> tidevice list
List of apple devices attached
xxxx-xxxxxxxxxxx iPhone USB
  1. 检查是否安装FastbotRunner-Runner?App。
> tidevice ps --json
[
    {
        "pid": 11549,
        "name": "FastbotRunner-Runner",
        "bundle_id": "bytedance.FastbotRunner.name.xctrunner",
        "display_name": "FastbotRunner-Runner"
    },
]

前参考前面fastbot-iOS《中文手册》,他会详细说明如何在手机上安装FastbotRunner-Runner?APP。这一步极为重要。

  1. 通过tidevices?运行测试
> tidevice xctest -B bytedance.FastbotRunner.name.xctrunner -e BUNDLEID:com.apple.Pages -e duration:480 -e throttle:300  --debug

参考前面,Scheme参数说明。

遇到的问题

  1. fastbot是如何遍历的?

这是我们想搞懂的一个问题,以便于看看是否有可配置的选项。

fastbot- 算法原理

我们将页面的 GUI 信息抽象成模型中的 State,将执行的动作抽象成模型中的 Action,通过 State 作为图的节点,Action 作为图的边,连接形成有向有环图模型。遍历决策想法上源于 Alphago 的蒙特卡洛搜索树的思想,此基础上我们也使用了其他强化学习的方法,设计了 N 步 Q-Learning 算法和基于页面变化程度的 reward function,为页面下每个 Action 计算出相应的 Q 值,基于 Q 值选取最优动作。
...
我们选择使用好奇心强化学习的方法来解决奖励稀疏问题,同时结合自然语言处理对页面信息做特征抽象,在原有 reward function 基础上增加好奇心(Curiosity)的 reward

上面摘自《奔跑吧!智能Monkey之Fastbot跨平台》 一文,所以不用做过多的人工配置或干预。随着不断执行App 的遍历,也是不断强化遍历的工具的学习的过程。

  1. fastbot不识别元素或无法解析DOM tree怎办?

这一点对我们尤为重要,因为我们的App中大量页面是用flutter实现的,做传统的UI自动化是非常麻烦。

在 Fastbot 低能耗、低耗时、高性能前提要求下,我们优先选用最基础的图像处理技术来识别 GUI 界面信息,可以在毫秒级完成构建一个页面的信息。

上面摘自《奔跑吧!智能Monkey之Fastbot跨平台》 一文, 强烈建议阅读原文,多读几遍,受益匪浅。

  1. 如何同时执行多个设备?

tidevice的作者给了答案,通过设备的udid号区分就可以了。当你的PC连接多个手机时。

> tidevice list
List of apple devices attached
xxxx-xxxxxxxxxxx iPhone USB
yyyy-yyyyyyyyyyy iPhone USB
  • 启动x设备
> tidevice -u xxxx-xxxxxxxxxxx xctest -B bytedance.FastbotRunner.name.xctrunner -e BUNDLEID:com.apple.Pages -e duration:480 -e throttle:300  --debug
  • 启动y设备
> tidevice -u yyyy-yyyyyyyyyyy xctest -B bytedance.FastbotRunner.name.xctrunner -e BUNDLEID:com.apple.Pages -e duration:480 -e throttle:300  --debug
  1. 测出了崩溃怎么办?

我一开始想当然的以为测出了崩溃工具就停止呗,以至于我跑了两天都以为工具没发现崩溃。后来,在官方的微信群里问过才知道,崩溃后重新启动App继续执行。直到设置的运行时间结束。

  1. 如何获取崩溃报告?

这一步也很重要,总不能崩溃就崩溃了吧!monkey的执行过程我们又无法复现。我一开始以为日志藏在tidevice?中,因为他运行的过程(加--debug参数)中会打印大量的日志。我又没办法把这个日志写到文件中(命令结尾加?> log.txt?无用),花了半天时间改?tidevice?的代码,在logger的地方写文件。

后来,发现这么做没有卵用!tidevice/fastbot?相当于是指令的发出者,他只会说:“我发送了一条指令哦!” 这样的废话,至于 App 接收到指令后是否执行,是否引起崩溃,无法给到?tidevice/fastbot?工具。

但是,作者说fastbot工具可以集成报告。

Where can I get the test report? · Issue #2 · bytedance/Fastbot_iOS · GitHub

我觉得,他也只是说说,因为这是8月份的问题,当然这么好用的工具愿意开源就很好了,不要不知好歹。可能他又有别的KPI要忙~!

那么,我们的App是有集成firebase的SDK,如果App崩溃,那么会上报日志到firebase平台,可以在firebase平台上统计分析。


????????????? 【下面是我整理的2023年最全的软件测试工程师学习知识架构体系图】


一、Python编程入门到精通

?二、接口自动化项目实战?

三、Web自动化项目实战

四、App自动化项目实战?

五、一线大厂简历

六、测试开发DevOps体系?

七、常用自动化测试工具

?八、JMeter性能测试?

?

九、总结(尾部小惊喜)

生命不息,奋斗不止。每一份努力都不会被辜负,只要坚持不懈,终究会有回报。珍惜时间,追求梦想。不忘初心,砥砺前行。你的未来,由你掌握!

生命短暂,时间宝贵,我们无法预知未来会发生什么,但我们可以掌握当下。珍惜每一天,努力奋斗,让自己变得更加强大和优秀。坚定信念,执着追求,成功终将属于你!

只有不断地挑战自己,才能不断地超越自己。坚持追求梦想,勇敢前行,你就会发现奋斗的过程是如此美好而值得。相信自己,你一定可以做到!?

最后感谢每一个认真阅读我文章的人,礼尚往来总是要有的,虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走:

?

这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你!

文章来源:https://blog.csdn.net/weixin_71807218/article/details/134996527
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。