UCCA评测实验记录

• 一、基本思路
• 二、模型介绍
• 三、实验记录
  • 2019.1.28
  • 2019.2.7
  • 2019.2.24
  • 2019.2.27
  • 2019.3.2
  • 2019.3.6
  • 2019.3.7
• 参考

一、基本思路

• 预处理数据，从UCCA中提取树以及remote信息。
  • 删除implicit节点
  • 删除linkage node
  • 处理remote边，扩展标签
  • 处理discontinuity，扩展标签
  • 调整label位置到non-terminal node上
• 训练模型
  • 共用底层的LSTM encoder
  • 用Multi-task learning 同时训练span parser以及remote classifier
• 预测UCCA图
  • 先用span parser预测树
  • 通过扩展的标签还原discontinuity
  • 通过扩展的标签以及remote classifier还原remote

二、模型介绍

模型主要分成三个部分。第一个部分是shared encoder，就是底层公用的LSTM。第二个部分是span parser部分，详情参考<A Minimal Span-Based Neural Constituency Parser>,几乎没有做任何变化。第三个部分是remote classifier，详情参考<DEEP BIAFFINE ATTENTION FOR NEURAL DEPENDENCY PARSING>，每个node同样也像span parser一样用span向量表示，其余没有做太多改动。

• 训练时，需要从UCCA中提取转换后的树(详情见博客)以及remote的信息，分别传给span parser以及remote classifier来计算loss。得到的两个loss相加后进行backword。若图中没有remote，remote部分的loss就为0。如下图所示。

• 测试时，先通过span parser得到一棵树，先通过规则还原discontinuity，再检测树中的扩展标签。如果没有对应的remote标签则无需添加remote edge，若有，通过remote classifier添加remote edge。如下图所示。

三、实验记录

下图统计了所有数据集的大小。

细节及调参:

• 没有考虑left，down只考虑向下移一步
• 一个节点如果有多条remote edge，都作为正确的pair训练，但预测的时候只取最大的一个。
• 排除掉了一些节点不可能作为remote edge的parent，但是没有提高准确率。
• 在恢复discontinuity时，如果移动会产生没有叶子的节点，则不移动。
• 加入dep label，entity label(几乎没提升，没调好？)；加入pretrained word embedding(http://fasttext.cc), 提升很大。需要除以标准差，否则基本没效果。
• remote classifier(MLP + Biaffine)的dropout全部删去，本身remote数据少，用drop可能导致训练不完全。MLP的激活函数改为Relu, remote略微提升。
• span parser部分的FFN加入dropout, 正交初始化，aver f1略微提升。
• 加入entity-iob, 似乎有点提升，可能是误差的缘故。

存在的问题：

• 还需要区分PUNC node？还原成UCCA的时候简单处理了一下，就改了node的type属性。
• 把结果写到XML文件后重新用脚本评价结果反而变高了一点(0.3-0.4)。仍未解决。
• remote的F不是很稳定，本身dev中较少。
• 没有用batch算loss，速度太慢14min一次迭代，span parser就占了10min左右。GPU更慢。
• 多线程跑, 会有误差(挺大的)，重复跑了多个实验发现结果不是很稳定。

2019.1.28

初步实验。

2019.2.7

调整了部分代码，重跑一遍所有实验。发现Multilingual + bert模型在英语和法语上的结果有问题，之前的结果偏低了，会影响最终结果。Multilingual + pre模型在法语上的结果也偏低了，不过还是比不加pre要低挺多，不影响最终结果。其他实验误差只在0.2%左右，说明没有问题。尝试了添加阈值来确定是否选择两条remote，但是好像没有用。发现提交的法语结果有误，不过还是比第一名低很多。

2019.2.24

补跑了几个实验, 暂时各跑了两个。

2019.2.27

修改了处理discontinuity的部分。修改了remote部分，只用一个MLP和loss。结果没有太大变化。

2019.3.2

改用了英文的单语言BERT测试结果

2019.3.6

用单语言BERT在unlabeled数据上fine tuning后重新训练，发现结果没有太大变化。

2019.3.7

测试charlstm的效果。删除entity和dep label。

参考

• A Transition-Based Directed Acyclic Graph Parser for UCCA(V2)

• Universal Conceptual Cognitive Annotation (UCCA)

• A Minimal Span-Based Neural Constituency Parser

• UCCA resource

• DEEP BIAFFINE ATTENTION FOR NEURAL DEPENDENCY PARSING