论文链接

• 解决问题：给定一篇论文的title +通过知识抽取工具从论文abstract里抽取出的知识图谱，用生成式模型生成文章的abstract
• 整体框架：用BiLSTM encode title, 用Graph Transformer encode 知识图谱。 decode过程中同时可以attention到title和图谱的encode特征，同时加上copy机制
• 细节：graph transformer用节点相邻的节点作为该节点的context，其他和text transformer类似
• 细节：原始图谱的边是有标签且无向的，在做graph transformer之前，将原始图的边改造成两个节点，这样得到的图的边是有向、无标签的。 同时加上一个global的节点，和所有节点都连接，让整个图联通
• 数据集：自建数据集，包含40k论文
• 评价指标：人工打分+BLUE+METEOR

论文链接

• 目标：做KG-completion
• 思路：基于预训练的BERT，做SPO三元组的embedding， 不依赖原句
• 训练
  • 将SPO三元组拼接成[CLS]S[SEP]P[SEP]O[SEP]的形式， 其中S和O用同样的segment embedding
  • S和O是entity的name或者description
  • 用二分类判断三元组是否正确， 或者用多分类，给定S\O 判断relation的类型
• 预测
  • 给定SPO，判断是否正确
  • 给定SO，判断relation在schema中的哪一个
  • 给定 SP，判断O是哪个（将所有可能的O列举，拼接成三元组之后预测），按照得分排序取第一个

论文链接

• 目标：将知识图谱应用到新闻推荐中
• input：用户的历史点击的新闻title+候选新闻title+通用知识图谱
• output：ranking of candidate news
• 总体架构：
  • 
  • Knowledge distillation
    • 用实体链接技术，将文本中出现的实体，链接到KG中的entity
    • knowledge graph Embedding：translation-based knowledge graph embedding methods （Knowledge Graph Embedding via Dynamic Mapping Matrix）
  • KCNN（knowledge-aware CNN）
    • 用linear mapping方法，将wordEmbedding, entityEmbedding, entityContextEmbedding 映射到相同的维度，作为输入句子的三个channel
    • 用TextCNN将输入句子encode成一个vec
  • Attention-based User Interest Extraction
    • user点击过的所有text的embedding列表作为user的特征
    • 用候选text的embedding对user点击过的text的embedding列表做attention得到最后的特征向量
    • 最后接一个sigmoid，做点击率预估