【博士每天一篇文-算法】Graph Structure of Neural Networks

阅读时间：2023-11-12

1 介绍

年份：2020
作者：尤家轩 斯坦福大学
期刊： International Conference on Machine Learning.
引用量：130
论文探讨了神经网络的图结构与其预测性能之间的关系。作者提出了一种新的基于图的表示方法，称为关系图，其中神经网络计算的每个层次对应于沿着图结构进行的信息交换的回合。他们发现存在一个"甜点"的关系图，可以显著提高神经网络的预测性能。神经网络的性能表现被发现是关系图的聚类系数和平均路径长度的平滑函数。这些发现在不同的任务和数据集上都是一致的。作者还提出了一种在给定神经网络中识别"甜点"的有效方法。此外，他们发现表现最好的神经网络的图结构与真实生物神经网络的图结构非常相似。

2 创新点

（1）提出了一种新颖的基于关系图的表示方法，称为关系图。在这个图中，神经网络层的计算对应于沿着图结构进行信息交换的轮次。通过这种表示方法，发现了关系图的“甜点”，可以显著提高神经网络的预测性能。
（2）发现了神经网络性能与关系图的聚类系数和平均路径长度之间的平滑函数关系。这一发现在不同任务和数据集上都得到了验证。
（3）提出了一种有效的方法来识别给定神经网络中的“甜点”。这种方法可以高效地找到最佳性能的关系图。
（4）发现表现最佳的神经网络的图结构与真实生物神经网络非常相似。这一发现对于设计神经网络架构、推进深度学习科学以及提高我们对神经网络的理解都具有重要意义。

3 思考

从计算机的角度，说明拓扑关系图可以提高神经网络的预测性能。