2025-01-10 资讯 0
在深度学习领域，频谱图卷积（Spectral Graph Convolution）是一种用于处理无向图的神经网络结构，它结合了频谱分析和卷积神经网络（CNNs）的概念。这种方法尤其适用于计算机视觉任务，如图像分类、语义分割等。
为了更好地理解频谱图卷积，我们首先需要回顾一下什么是图。在这里，我假设一个由N个节点组成的无向图G，其中每个节点都有一个C维特征表示为N×C维矩阵X⁽ˡ⁾。这张表格称为相邻矩阵A，当输入Aᵢⱼ时，它代表着节点I是否与节点j相连。
在本文中，我将描述Bruna等人在2014年ICLR 2014会议上提出的工作，他们将频谱分析与CNN相结合，创造了频谱图卷积网络，这一网络可以通过监督训练来进行分类任务。
尽管目前与空间域中的卷积方法相比，频谱域中的卷积还不太常见，但理解它的工作原理对避免产生其他方法相同的问题至关重要。此外，在结论部分，我会讨论我最近正在进行的一些研究，这些研究可能使得频谱域中的卷积更加具有优势。
当我们谈论“信号”或“图片”的“频率”时，我们指的是傅里叶变换，它提供了一种将信号或图片表示为简单元素(如正弦波和余弦波)总和的方式。然而，当我们讨论“图片”或神经网络中的“图片”，则指的是拉普拉斯算子的特征分解，这是一个特殊类型的相邻矩阵A及其特征分解，以找到构成我们的基本正交基的一种方法。
拉普拉斯算子直观地显示了当我们放置一些潜在元素于某个点时，“能量”的传播方向和扩散程度。在数学和物理学中，拉普拉斯算子的一个典型应用是解决如何在动态系统中传播信号(波)的问题。如果边缘值没有突然变化，那么扩散就是很平滑的，如下所示：
基于这些规则，将热量从某些信号发送到网格上的不同位置。这类似于物理学中关于热量传播问题的一个例子。因此，对于计算机视觉背景下的快速推理，我们希望能够使用这些规则更新节点特征，即通过叠加多层次的人工智能模型以捕捉更多信息。
为了从计算机视觉角度理解这个过程，让我们考虑MNIST数据集，它定义了28×28规则网格上的像素分布。然后，我们可以利用这一信息来构建对应的邻接矩阵A以及其结果——Laplace算子L，以及最终得到原始数据集X的一组新的特征表示V。
PCA与Laplace算子的特征分解存在一些区别：虽然PCA通常用来提取最大异常因素，即数据变化最大的维度，但对于我们的目的来说，最小异常因素对应于噪声或"假"因素，而不是所需信息。而且，由于采用的反证法，因此用PCA计算出的最大异常因数实际上与Laplace算子的最小异常因数成反比。这意味着选择较小异常因数作为基线，可以帮助提升模型性能并减少过拟合风险，同时保持灵活性以适应不同的场景需求。
最后，让我们简要了解如何实现这种转换：给定一个已知的原始数据集X以及滤波器W，该过程看起来非常直接：
公式：
其中⊙表示按元素方向乘法。
如果我们的目标是获取一组新的功能，则只需重复该操作，并对每个维度求和即可。
公式实质上相当于使用傅里叶变换重新组织数据，使之更加易於处理，从而提高效率并促进更好的预测能力。这对于快速推理至关重要，因为它允许开发者根据需要调整模型参数，以优化性能并适应各种场景需求。此外，与标准空间域卷积不同，Spectral Graph Convolution Network (SGCN) 可以有效处理任何形状或大小的地形，从而极大地拓宽了它可能被应用到的领域范围。
