参考官方文档:https://docs.wandb.ai/guides/sweeps/define-sweep-configuration
首先,wandb其实类似tensorboard,mindinsight,都是观察训练时的学习率,训练loss、验证loss等指标以了解训练进程的工具。使用wandb的功能还是要先学会在训练代码中嵌入wandb,这个官网其实跟详细,可以参考:https://docs.wandb.ai/quickstart
总结一下就是:
接下来就可以上手sweep了,sweep工具具备搜索超参的功能,对于预设的参数,搜索的方法,指定训练次数以及评判的指标,一段时间后训练出如此图,可以快速的分析哪些参数的组合效果最佳。
使用sweep有两种方式,一种是嵌入代码的方式,一种是用yaml文件的方式,这边用了yaml文件的方式。
代码中把sweep的参数赋值给代码中使用的变量,如args:
这里要注意,参数赋值必须在使用这些参数之前,最好在刚进入函数的地方赋值。
创建config.yaml
这里要注意分为几大部分,如果有自己的参数放在command里面,上面sweep官方链接其实讲的算清楚了,这里直接举例。
一条命令行启动sweep,并获得sweep id
wandb sweep --project TResnetM config.yaml
wandb agent --count 5 thomascai/TResnetM/XXXX
然后打开https://wandb.ai/
登入你的账号即可查看。
Enjoy~
~ O n e ? p e r s o n ? g o ? f a s t e r , ? a ? g r o u p ? o f ? p e o p l e ? c a n ? g o ? f u r t h e r ~ \sim_{One\ person\ go\ faster,\ a\ group\ of\ people\ can\ go\ further}\sim ~One?person?go?faster,?a?group?of?people?can?go?further?~