《中国人工智能学会通讯》——3.4 网络表示学习的应用

3.4 网络表示学习的应用

由于基于神经网络的网络表示方法的高效性，它被越来越多地应用到除传统应用场景（如网络节点分类、推荐和链接预测等）之外的其他方面（如文本建模[17,28]和可视化处理[29] ）。

文本语料可以表示为一个带权重的网络结构（节点表示词，边权重表示词与词之间共现的程度），因此网络的表示方法同时也可以应用到文本建模中。LINE [17] 模型一个重要的应用就是学习词的向量表示，相比现在流行的 Skip-gram 词向量模型，它具有效率更高和效果更好的特点。在文献 [17] 中，作者指出 LINE 模型使用的语言网络结构相比 Skip-gram 模型使用的文本原始的词序列结构，能够更好地抓住词之间的全局共现信息。另外，当数据量很大时，LINE 模型的训练效率更高。为了引入标签信息来指导文本表示的学习 , 文献 [28] 在 LINE模型的基础上，提出了针对文本的半监督表示学习模型 PTE（Predictive Text Embedding）。除了使用基本的词与词的共现网络信息，PTE 模型还考虑了词与文档和词与标签的网络信息。相比有监督的神经网络模型 CNN(Convolutional neural network)和 无 监 督 表 示 模 型 Paragraph vector 和 LINE，PTE 在长文本语料和短文本语料都取得了更好的效果；并且， PTE 模型的参数在不同数据集上更加稳定。文献 [29] 基于 LINE 模型获得数据表示，提出了对高维和大规模的数据进行可视化处理的新方法。