《KG-BERT: BERT for Knowledge Graph Completion》
- 目标：做KG-completion
- 思路：基于预训练的BERT，做SPO三元组的embedding， 不依赖原句
- 训练
- 将SPO三元组拼接成[CLS]S[SEP]P[SEP]O[SEP]的形式， 其中S和O用同样的segment embedding
- S和O是entity的name或者description
- 用二分类判断三元组是否正确， 或者用多分类，给定S\O 判断relation的类型
- 预测
- 给定SPO，判断是否正确
- 给定SO，判断relation在schema中的哪一个
- 给定 SP，判断O是哪个（将所有可能的O列举，拼接成三元组之后预测），按照得分排序取第一个