python 库文本语法分析依存句法语义角色语义依存语义依存图

转载

hochie 2023-10-27 19:13:57

文章标签 自然语言处理情感分析结点依存关系树 Dependency 文章分类 Python 后端开发

论文信息

论文全名
Aspect-Level Sentiment Analysis Via Convolution over Dependency Tree
发表会议：EMNLP2019

论文背景

这篇论文的研究领域是自然语言处理(NLP)中的aspect term sentiment classification(ATSC)领域。这篇论文的创新点是探索了将与神经网络相结合的语义依存关系树应用于表示学习的可能性，因为句子的语义关系可以显著缩短aspect与对应的sentiment之间的距离。比如句子” We ordered the special grilled branzino, that was so infused with bone, it was difficult to eat”的语义依存关系如下图所示：

python 库文本语法分析依存句法语义角色语义依存语义依存图_自然语言处理

从图中可以看出，aspect(”grilled branzino”)与情感词(“difficult”)在语义依存关系树上距离为1，显著缩短了aspect与sentiment word之间的距离。

论文方法：Convolution over Dependency Tree Model

首先给出模型图

python 库文本语法分析依存句法语义角色语义依存语义依存图_依存关系树_02

BiLSTM双向LSTM
论文首先用BiLSTM来聚合单词的context信息。BiLSTM做法是正反两个方向的LSTM，最后将结果拼接起来。
Graph Convolutional Network图卷积神经网络
语义依存关系树可以看作是有n个结点的图，每个结点代表句子中的一个单词，图中每个边代表单词之间的语义依存关系。图网络中的结点用BiLSTM的结果初始化，之后用图卷积神经网络GCN来建模单词之间的依存关系。
GCN可以有效地利用依存路径来在路径之间转换和传播信息，并且通过聚合邻居信息来更新结点embedding。通过这种机制，在k个GCN操作之后，结点就可以聚合到距离为k的结点信息。公式如下：

其中ci是正则化参数，等于1/di，其中di表示结点i的度(有多少条边与之相连)。
聚合器
论文仅仅聚合aspect对应的vectors，使用平均聚合，最后使用全连接层来进行分类。