机器人中的数值优化之L-BFGS

欢迎大家关注我的B站：

偷吃薯片的Zheng同学的个人空间-偷吃薯片的Zheng同学个人主页-哔哩哔哩视频 (bilibili.com)

本文ppt来自深蓝学院《机器人中的数值优化》

目录

1.滑动窗口

2.算法流程

3.非平滑

4.线搜索

---

1.滑动窗口

当迭代点之间相隔很远，之前的曲率信息不是很有用，同时为了提高时间和空间复杂度，利用滑动窗口来实现每次迭代只利用m+1对

这也就是所谓limited-memory

2.算法流程

?通过右侧框图中的算法流程可以把复杂度从n方降到n，具体细节可以阅读论文

对于非凸光滑的函数，L-BFGS是最优的，很多PNC算法都会基于这个算法

对于非凸非光滑函数，L-BFGS也可以应用

3.非平滑

对于strong wolfe conditions来说，非凸函数会导致条件失败，因为非凸往往导致斜率小的地方少

对于weak wolfe conditions来说，非凸函数条件仍然有效，因为他能把正的考虑进来

4.线搜索

利用两个条件对区间进行不断更新，个人认为只要有两个条件一个趋向左，一个趋向右，就能套这个 Lewis&Overton line search 去做线搜索

想要实现应用于非凸非光滑函数的BFGS，需要在BFGS的基础上加上Lewis&Overton line search+Limited-memory+Cautious-update