总结|Prompt在NER场景的应用

大家好,我是刘聪NLP。
最近在做Prompt的相关内容,本人意识中一直觉得Prompt机制在序列标注任务上不是很好转换,因此,很早前,组长问我时,我夸下海口,说:“谁用prompt做NER呀”。然后,调研发现大佬们真是各显神通,是我目光短浅了。于是,决定进行一番总结,分享给大家。「有点长,大家慢慢看,记得点赞、收藏、转发」
部分论文已经在自己的数据上进行了实验,最后一趴会进行简要概述,并且会分析每种方法的优劣。

TemplateNER

TemplateNER,原文《Template-Based Named Entity Recognition Using BART》,是第一篇将Prompt方法应用于序列标注任务的论文,核心思想是通过N-Gram方法构建候选实体,然后将其与所有手工模板进行拼接,使用BART模型对其打分,从而预测出最终实体类别。是一篇「手工模板且无答案空间映射」的Prompt论文。

paper: https://arxiv.org/abs/2106.01760 github: https://github.com/Nealcly/templateNER

模型,训练阶段如下图(c)所示,预测阶段如下图(b)所示,下面详细介绍。
image.png

任务构造

将序列标注任务转换成一个生成任务,在Encoder端输入为原始文本,Decoder端输入的是一个已填空的模板文本,输出为已填空的模板文本。待填空的内容为候选实体片段以及实体类别。候选实体片段由原始文本进行N-Gram滑窗构建,为了防止候选实体片段过多,论文中最大进行8-gram。

模板构建

模板为手工模板,主要包括正向模板和负向模板,其中,正向模板表示一个文本片段是某种实体类型,负向文本表示一个文本片段不是实体。具体模板如下表所示,我们也可以看出,最终模型效果是与手工模板息息相关的。
image.png

训练阶段

在训练阶段,正样本由实体+实体类型+正向模板构成,负样本由非实体片段+负向模板构成;由于负样本过多,因此对负样本进行随机负采样,使其与正样本的比例保持1.5:1。其学习目标为:
2022-05-30-Prompt在NER场景的应用(转载) - 图3

预测阶段

在预测阶段,将进行8-gram滑窗的所有候选实体片段与模板组合,然后使用训练好的模型进行预测,获取每个候选实体片段与模板组合的分数(可以理解为语义通顺度PPL,但是计算公式不同),分数计算如下:
2022-05-30-Prompt在NER场景的应用(转载) - 图4
其中,2022-05-30-Prompt在NER场景的应用(转载) - 图5表示实体片段,2022-05-30-Prompt在NER场景的应用(转载) - 图6表示第k个实体类别,T{y{k},x_{i:j}}表示实体片段与模板的文本。
针对,每个实体片段,选择分数最高的模板,判断是否为一个实体,哪种类型的实体。
image.png

DemonstrationNER

DemonstrationNER,原文《Good Examples Make A Faster Learner: Simple Demonstration-based Learning for Low-resource NER》,核心思想为在原始文本的基础上,拼接示例模板信息,提高原始序列标注模型的效果。是一篇「示例模板且无答案空间映射」的Prompt论文。

paper: https://arxiv.org/abs/2110.08454 github: https://github.com/INK-USC/fewNER

模型如下图(b)所示,下面详细介绍。
image.png

任务构造

依然是序列标注模型,仅将原始文本后面拼接示例模板,而示例模板的作用主要是提供额外信息(什么样的实体属于什么类别,与原文相似文本中哪些实体属于哪些类别等),帮助模型可以更好地识别出原始文本中的实体。

示例模板的构建

示例分为面向实体的示例和面向句子的示例,如下图所示,
image.png
面向实体的示例构造方法包括:

  • 随机法,即,随机从训练集的实体列表中,抽取若干个实体,作为示例。
  • 统计法,即,选择在训练集中出现次数较多的实体,作为示例。
  • 网格搜索法,即,对所有实体进行网格搜索,判断采用哪些实体作为示例时,在验证集上的效果最优。

面向句子的示例构造方法包括:

  • SBERT法,即,使用[CLS]向量之间的余弦值作为句子相似度分数,选择与原始句子最相似的句子作为示例。
  • BERTScore法,即,使用句子中每个token相似度之和作为句子相似度分数,选择与原始句子最相似的句子作为示例。

模板形式主要有三种,无上下文模板、有上下文模板和词典模板,如下图所示,
image.png
最终实验结果为实体-网格搜索法-有上下文模板效果最佳。分析句子级别不好可能时由于数据空间中句子间的相似度太低导致。

训练&预测

将示例模板拼接到原始模板后面,一起进入模型,仅针对原始文本进行标签预测与损失计算,如下:
2022-05-30-Prompt在NER场景的应用(转载) - 图11
其中,2022-05-30-Prompt在NER场景的应用(转载) - 图12表示原始文本,2022-05-30-Prompt在NER场景的应用(转载) - 图13表示示例模板,2022-05-30-Prompt在NER场景的应用(转载) - 图14表示原始文本经过模型后的序列向量,2022-05-30-Prompt在NER场景的应用(转载) - 图15表示示例模板经过模型后的序列向量。损失如下:
2022-05-30-Prompt在NER场景的应用(转载) - 图16
仅考虑原始文本部分。将需要领域迁移时,将原有模型的参数赋予新模型,进训练标签映射部分参数(linear或crf)即可。
image.png

LightNER

LightNER,原文《LightNER: A Lightweight Generative Framework with Prompt-guided Attention for Low-resource NER》,核心思想为将原始序列标注任务转化为Seq2Seq的生成任务,通过在transformer的attetion机制中融入提示信息,在少量参数训练下,使模型达到较好地效果。是一篇「软模版且有答案空间映射」的Prompt论文。

paper: https://arxiv.org/abs/2109.00720 github: https://github.com/zjunlp/DeepKE/blob/main/example/ner/few-shot/README_CN.md

模型如下图所示,下面详细介绍。
image.png

任务构造

将序列标注任务转换成一个生成任务,在Encoder端输入为原始文本,Decoder端逐字生成实体以及实体类型。模板信息融到Encoder和Decoder模型attention机制中,模板为soft-prompt,即一种可学习的自动模板。

基于提示引导的Attention

如上图(b)所示,分别在Encoder和Decoder中加入可训练参数2022-05-30-Prompt在NER场景的应用(转载) - 图19,其中,2022-05-30-Prompt在NER场景的应用(转载) - 图20为transformer的层数,2022-05-30-Prompt在NER场景的应用(转载) - 图212022-05-30-Prompt在NER场景的应用(转载) - 图22为模板长度,2022-05-30-Prompt在NER场景的应用(转载) - 图23为隐藏节点维度,2022-05-30-Prompt在NER场景的应用(转载) - 图24表示有key和value两项组成。
给定输入序列2022-05-30-Prompt在NER场景的应用(转载) - 图25,对于每一层transformer,2022-05-30-Prompt在NER场景的应用(转载) - 图26的原始表示如下:
2022-05-30-Prompt在NER场景的应用(转载) - 图27
变化后的attention如下:
2022-05-30-Prompt在NER场景的应用(转载) - 图28
基于提示引导的Attention可以根据提示内容重新调节注意机制,使其少参数调节。并且实验发现,模板长度和提示信息融入的层数影响最终效果,当长度为10时,效果最佳。当层数为12曾时,效果最佳。
image.png

训练&预测

对于Encoder端,输入文本2022-05-30-Prompt在NER场景的应用(转载) - 图30,获取表示2022-05-30-Prompt在NER场景的应用(转载) - 图31;
对于Decoder端,输出2022-05-30-Prompt在NER场景的应用(转载) - 图32不仅为实体内容还可能为实体类别,即2022-05-30-Prompt在NER场景的应用(转载) - 图33,其每个出内容为2022-05-30-Prompt在NER场景的应用(转载) - 图34
标签预测时,
2022-05-30-Prompt在NER场景的应用(转载) - 图352022-05-30-Prompt在NER场景的应用(转载) - 图362022-05-30-Prompt在NER场景的应用(转载) - 图372022-05-30-Prompt在NER场景的应用(转载) - 图38
其中,2022-05-30-Prompt在NER场景的应用(转载) - 图39通过答案空间映射得来,具体为“将标签中几个词语的向量加权求和,作为标签的答案空间向量”。
image.png
消融实验发现,基于提示引导的Attention和答案空间映射对于结果的影响均较大。

EntLM

EntLM,原文《Template-free Prompt Tuning for Few-shot NER》,核心思想为将序列标注任务变成原始预训练的LM任务,仅通过答案空间映射,实现任务转化,消除下游任务与原始LM任务的Gap,提高模型效果。是一篇「无模板且有答案空间映射」的Prompt论文。

paper: https://arxiv.org/abs/2109.13532 github: https://github.com/rtmaww/EntLM/

模型如下图所示,下面详细介绍。
image.png

任务构造

将序列标注任务转换成一个与预训练阶段一致的LM任务,消除下游任务与预训练任务的Gap。对其输入文本进行LM预测,当token不是实体时,预测成与输入一致的token;当token是实体时,预测成实体类别下的token。而针对每个实体类别下的token的整合,即答案空间映射如何构造。

答案空间映射的构造

在特定领域下,往往未标注文本以及每个实体类别的实体列表是很好获取的,通过词表回溯构建伪标签数据2022-05-30-Prompt在NER场景的应用(转载) - 图42,其中,2022-05-30-Prompt在NER场景的应用(转载) - 图43表示实体类别,2022-05-30-Prompt在NER场景的应用(转载) - 图44表示文本数据。由于伪标签数据会存在很多噪音数据,因此在构建答案空间映射时,使用4种方法,对每个实体类别中的候选词语进行筛选。

  • 数据分布法,即,筛选出在语料库中,每个实体类别出现频率最高的几个词。
  • 语言模型输出法,即,将数据输入到语言模型中,统计每个类别中词汇在语言模型输出概率的总和,选择概率最高的几个词。
  • 数据分布&语言模型输出法,即将数据分布法和语言模型输出法相结合,将每个实体类别中的某一词的词频*该词模型输出概率作为该词得分,选择分数最高的几个词。
  • 虚拟标签法,即,使用向量代替实体类别中的词语,相当于类别「原型」,向量获取办法为将上述某一种方法获取的高频词,输入到语言模型中,获取每个词语的向量,然后进行加和取平均,获取类别向量。

image.png
由于一些高频词可能出现在多个实体类别中,造成标签混乱,因此采用阈值过滤方法去除冲突词语,即(某个类别中的词语出现的次数/词语在所有类别中出现的次数)必须大于规定的阈值,才将该词语作为该实体类别的标签词语。
image.png
实验发现,绝大多少情况下,数据分布&语言模型输出法获取高频词,再使用虚拟标签法获取类别「原型」的方法最好。

训练&预测

模型训练阶段采用LM任务的损失函数,如下:
2022-05-30-Prompt在NER场景的应用(转载) - 图47
其中,2022-05-30-Prompt在NER场景的应用(转载) - 图482022-05-30-Prompt在NER场景的应用(转载) - 图49为预训练过程中LM层参数。
image.png

UIE

UIE,原文《Unified Structure Generation for Universal Information Extraction》,核心思想为将序列标注任务转化为Seq2Seq的生成任务,将手工提示模板与原始文本进行结合,通知模型待抽取的内容,再通过特定的抽取格式,进行逐字解码生成,提高模型效果。是一篇「手工模板且无答案空间映射」的Prompt论文。不过UIE适用于所有信息抽取任务,不限于NER任务,但后面主要以NER任务为例,进行阐述。

paper: https://arxiv.org/abs/2203.12277 github: https://github.com/universal-ie/UIE

模型如下图所示,下面详细介绍。
image.png
值得注意的是,UIE这篇论文与百度Paddle提到到UIE框架并不一个东西(看过源码的人都知道,不要混淆)。百度Paddle提到到UIE框架本质是一个基于提示的MRC模型,将提示模板作为query,文本作为document,使用Span抽取提示对应的内容片段。

任务构造

将序列标注任务转换成一个生成任务,在Encoder端输入为提示模板+原始文本,Decoder端逐字生成结构化内容。以T5为基础,采用预训练技术,学习从文本到结构化生成。

手工模板

在编码端,通过待抽取schema(实体类别、关系等)构造Prompt模板,称为SSI,同于控制生成内容。模板样式如下图所示,
image.png
在解码端,设计了特定的抽取结构,称为SEL,而这种特殊的结构,也可以算作模板的一种吧,可以使解码时,按照统一要求进行表示。抽取结构样式如下图所示,
image.png
只需关注Entity部分即可。

训练&测试

对于Encoder端,输入文本2022-05-30-Prompt在NER场景的应用(转载) - 图54以及SSI内容2022-05-30-Prompt在NER场景的应用(转载) - 图55,获取表示为:
2022-05-30-Prompt在NER场景的应用(转载) - 图56
对于Decoder端,逐字生成,如下:
2022-05-30-Prompt在NER场景的应用(转载) - 图57
由于训练数据中,待生成部分的数据格式均按照SEL格式构造,因此生成内容也会遵循其结构。
而模型重点是如何构造预训练数据,在预训练过程中,数据来自Wikidata、Wikipedia和ConceptNet。并且构造的数据格式包含三种,分别为2022-05-30-Prompt在NER场景的应用(转载) - 图582022-05-30-Prompt在NER场景的应用(转载) - 图592022-05-30-Prompt在NER场景的应用(转载) - 图60

  • 2022-05-30-Prompt在NER场景的应用(转载) - 图61,是通过Wikidata和Wikipedia构建的text-to-struct平行语料。
  • 2022-05-30-Prompt在NER场景的应用(转载) - 图62,是仅包含结构化形式的数据。
  • 2022-05-30-Prompt在NER场景的应用(转载) - 图63,是无结构化的纯文本数据。

在预训练过程中,三种语料对应不同的训练损失,训练的网络结构也不一样。2022-05-30-Prompt在NER场景的应用(转载) - 图64训练整个Encoder-Decoder网络结构,2022-05-30-Prompt在NER场景的应用(转载) - 图65仅训练Decoder网络结构,2022-05-30-Prompt在NER场景的应用(转载) - 图66进训练Encoder网络结构,最终的损失是三者的加和。
image.png

总结

本人在自己的中文数据集上,测试了TemplateNER、LightNER和EntLM的效果,惊奇的发现当数据量增加到50-shot时,「BERT-CRF」的效果是最好的(别整哪些没用的,加点数据啥都解决了,这也是令我比较沮丧的点。也许、可能、大概、兴许、或许是数据集或者代码复现(code下载错误?)的问题,无能狂怒!!!)。
当5-shot和10-shot时,EntLM方法的效果较好,但是跟答案空间映射真的是强相关,必须要找到很好的标签词才能获取较好的效果。而TemplateNER方法测试时间太久了,在工业上根本无法落地。
就像之前我对prompt的评价一样,我从来不否认Promot的价值,只是它并没有达到我的预期。是世人皆醉我独醒,还是世人皆醒我独醉,路还要走,任务还要做,加油!!