流形学习与流形学习2.0
1. 流形学习
流形学习也是降维的一种,对应非线性降维。流形学习的输入数据在全局上是不满足欧几里得结构的,但在局部上满足欧式空间的性质。
在三维球面上,利用极坐标表示的坐标系可以通过r、$\theta$、$\phi$三个参数来唯一确定。$\theta$、$\phi$可变,所以自由度为2,对应一个2维流形,即该球对应的本真流形维度(intrinsic dimension)是2维。
用途
流形学习一般用于数据的可视化与数据的预处理。一般在流形学习之后,要接其他的机器学习算法。
缺点是:
- 参数需要调整,来保证下游任务的正常运行;
- 预处理时需要人工提取特征
流形学习与图学习
流形在全局上是不满足欧几里得结构的,但在局部上我们仍假设它满足欧式空间的性质。
图数据在本质上是非欧空间的数据,图数据的信息隐含在结点与结点之间的关系中,每个结点的邻居结点的数目不一定相同,所以很多传统的基于欧式空间的算法无法直接应用在图数据的处理中。
社区发现
把复杂网络中的结点划分为若干个社团,社团内部链接稠密,社团之间的边连接尽可能稀疏。
2. 潜图学习(隐图学习):现代环境下的流形学习
图神经网络应用的前提是提供图结构,但很多时候我们没有现成可用的图,所以要用到潜图学习。而且,它适用于小样本学习,减少数据标注的开销。
潜图学习是学习具有空边集的图,在数据中推断图结构。
输入高维点云,利用深度学习方法学习图结构。
潜图可能会传达关于数据的重要理解,并提供解释某些结论的方式,有时比任务本身更加重要。
应用:
- 社会科学,如发现用户关注图;
- 化学,学习分子键连接结构;
- 生物学,观察蛋白质等生物分子的表达水平,并重建分子间的相互作用和信息传递网络。
主要方法
1. DGCNN 动态图卷积网络 : 开创性工作
将图作为点云底层的局部平滑流形结构的一种粗糙表示。在网络处理过程中,图可以被更新。
如图,DGCNN 可以被用于分割任务中。随着层数的加深,网络捕获到了不同的语义信息。