2025-01-10 新品 0
在深度学习领域，频谱图卷积（Spectral Graph Convolution）是一种用于处理无向图的神经网络结构，它结合了频谱分析和卷积神经网络（CNNs）的概念。这种方法尤其适用于计算机视觉任务，如图像分类、语义分割等。
为了更好地理解频谱图卷积，我们首先需要回顾一下什么是图。在这里，我假设一个由N个节点组成的无向图G，其中每个节点都有一个C维特征表示为N×C维矩阵X⁽ˡ⁾。这张表格称为相邻矩阵A，当输入Aᵢⱼ时，它代表着节点I是否与节点j相连。
在本文中，我将描述Bruna等人在2014年ICLR 2014会议上提出的工作，他们将频谱分析与CNN相结合，创造了频谱图卷积网络，这一网络可以通过监督训练来进行分类任务。
尽管目前与空间域中的其他方法相比，频谱域中的方法还不太常见，但了解它们的工作原理仍然很重要，因为这样我们就能避免产生类似于其他方法的问题。此外，在结论部分，我还会谈到我最近正在进行的一些研究，这些研究有助于提升频谱图卷积的优势。
当我们讨论信号或图片处理中的“频率”时，我们指的是傅里叶变换，它提供了一套不同振幅和相位的正弦波基，以便将信号或图片表示为这些波形的总和。但对于处理复杂数据结构如网格或社交网络来说，“频率”意味着拉普拉斯算子的特征分解。这是一个关于如何找到构成我们的数据基本正交元素的一种数学工具。
拉普拉斯算子直观地展示了当我们在某个点放置一些“潜力元素”时，“能量”的传播方向和扩散程度。在物理学中，拉普拉斯算子被广泛应用于解决信号如何在动态系统中传播的问题。如果两个点之间没有突然变化，那么这个过程就会非常平滑，就像下面的动画所示：
基于这些规则，网格上的某些信息会以一种特殊方式扩散。基本上，这涉及到计算这些动力所需的节点(像素)中的拉普拉斯算子及其初始值，即与高强度(热)对应红色像素值。
接下来，我将假设“对称归一化Laplace算子”，它通常用于Graph Neural Networks(GNNs)，因为它是规范化的，因此当叠加多层GNN时，可以使得节点特征以一种更加平滑且稳定的方式传递，不会导致梯度爆炸或者特征值消失。原因是在这种情况下，由于A是一个对称矩阵，所以可以使用几行Python代码来完成这一操作：
然后生成三个不同的随机连接，并观察它们各自的情况：邻接矩阵、Laplace运算以及随机功率分布。
为了利用MNIST数据集，从计算机视觉角度出发理解Spectral Graph Convolution，我们定义了28x28规则网格上的图片：
MNIST 图片定义了28x28规则网格上的X (左)、邻接矩阵 A (中间)、以及 Laplace 运算 (右)。
然而，与PCA一样，将Laplace运算分解应用于单个孤立数据集中提取关键模式，并不是最佳选择，而是要考虑整个集合内相关性结构。
因此，将20个最小特征值对应的小型窗口移动过滤器应用于整个MNIST数据集，每次只考虑周围少数几个点，同时忽略剩余的大部分区域，从而实现快速而有效地转移信息并减少噪声影响。这也是为什么PCAs通常用来降低噪声并提高可视化效果，而不是直接从所有可能出现的人脸识别系统挑选面部标志符件。
此外，对于具有大量未知边缘权重的问题，比如3D模型或者大规模社会关系网络，在实际应用中可能无法准确预测所有可能存在边缘权重的情况，因此采用较简洁的手段，如仅使用最小20个具有最大可能性事件发生概率的小型窗口移动过滤器，以及只依赖当前位置附近已知信息推断未来状态即可实现精细化调节，使得任何类型新发现都不会超出预期范围之外，而且也不会带入任何新的未知因素去干扰现有的知识体系。
最后，如果你想进一步探索如何把握住这样的机会，让你的项目变得更加吸引人，你可以尝试以下技巧：1. 使用更多样化的人物角色；2. 增加故事线；3. 提供额外奖励；4. 加入互动元素；5. 创建独一无二的地理环境设置。你可以根据自己的需求调整这些策略，也许你需要做一些实验才能找到最合适的话题。不过，无论你选择哪条路线，都请记住，最终目标应该是让玩家感到满足并想要继续参与下去。
