《Text Generation from Knowledge Graphs with Graph Transformers》

论文链接

  • 解决问题:给定一篇论文的title +通过知识抽取工具从论文abstract里抽取出的知识图谱,用生成式模型生成文章的abstract
  • 整体框架:用BiLSTM encode title, 用Graph Transformer encode 知识图谱。 decode过程中同时可以attention到title和图谱的encode特征,同时加上copy机制
  • 细节:graph transformer用节点相邻的节点作为该节点的context,其他和text transformer类似
  • 细节:原始图谱的边是有标签且无向的,在做graph transformer之前,将原始图的边改造成两个节点,这样得到的图的边是有向、无标签的。 同时加上一个global的节点,和所有节点都连接,让整个图联通
  • 数据集:自建数据集,包含40k论文
  • 评价指标:人工打分+BLUE+METEOR
Read more

《GPT-based Generation for Classical Chinese Poetry》

论文链接

  • 目标:根据输入的格式(对联、绝句、律诗、词牌名) + 主体(诗名、词名、藏头诗的头),生成相应格式的对联、诗、词
  • 诗歌生成的难点:
    • 生成文本需要满足相应的诗歌类型的格式(长度、对偶、押韵、平仄等)
    • 生成的文本需要主题一致,如果给定主题的话,需要和给定主题一样
  • 之前的做法:
    • 用基于constraint 或者基于template的方式满足格式
    • 用插入关键词的方式满足主题一致
    • 需要引入比较多的人工规则和特征
Read more