Constituency Parsing
Constituency Parsing with a Self-Attentive Encoder : 来自ACL2018,用self-attention代替LSTM。我重点看了该文章以及对应的代码,并且尝试复现,发现结果没有论文中的那么好,最有可能的原因是论文中的训练集有3万多句,而我只有4100多句,而且还是转化过来的树。值得一提的是论文中提到的将word representation和position encoding分离的方法在UCCA数据上提升非常大(3个多点),也许是因为本身准确率低。
Grammar as a Foreign Language : 首次提出用seq2seq模型来实现syntactic constituency parsing。
Straight to the Tree: Constituency Parsing with Neural Syntactic Distance : 提出了一种利用syntactic distance的表示来实现类似top-down解码。
Constituent Parsing as Sequence Labeling : 来自EMNLP2018,提出用序列标注模型来解决短语结构树解析。
Semantic Multi-task Learning
Neural Semantic Parsing over Multiple Knowledge-bases : 来自ACL2017。
Transfer Learning for Neural Semantic Parsing
A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks : 来自EMNLP2017
Deep multitask learning for semantic dependency parsing : 来自ACL2017
几个常用的MTL架构:
- 共享embedding和encoder,分别使用各自的decoder。
- 共享embedding;保留主任务的encoder,添加一个共享的encoder,两个encoder的输出拼接或相加或者只用主任务的作为特定decoder的输入。
SRL
End-to-end Learning of Semantic Role Labeling Using Recurrent Neural Networks : 最早的端到端的SRL模型之一。
Deep Semantic Role Labeling What Works and Whats Next : highway lstm, lstm dropout。还有一些解码的限制方法。
Deep Semantic Role Labeling with Self-Attention : self attention encoder。
Syntax-aware Neural Semantic Role Labeling : 额外利用依存树,通过四种方法获取syntax信息。