基础知识

Tensorflow

• tf.slice()函数详解（极详细）
• tf.transpose()的用法
• Why does tf.matmul(a,b, transpose_b=True) work, but not tf.matmul(a, tf.transpose(b))?

• Tensorflow的dot和Keras中的matmul

  Keras

• keras slice layer

• keras-neural-tensor-layer

• Keras one-hot编码

  from keras.utils.np_utils import to_categorical
  one_hot_train_labels = to_categorical(train_labels)

• Keras中层(Layer)的定义方式和使用(可以参考苏神科学空间的：“让Keras更酷一些！”：精巧的层与花式的回调：https://kexue.fm/archives/5765)

• How to visualize attention weights?

  BERT的基本原理(或Transformer原理)

• Transformer升级之路：1、Sinusoidal位置编码追根溯源

• Transformer升级之路：2、博采众长的旋转式位置编码
• Transformer升级之路：3、从Performer到线性Attention
• Transformer升级之路：4、二维位置的旋转式位置编码
• Transformer升级之路：5、作为无限维的线性Attention
• 浅谈Transformer的初始化、参数化与标准化
• 模型优化漫谈：BERT的初始标准差为什么是0.02？

Bert4Keras 框架

• 源码地址：bojone/bert4keras
• 官方介绍：https://spaces.ac.cn/archives/6915
• 第三方文档：https://github.com/Sniper970119/bert4keras_document

bert4keras的总体架构由6个代码文件组成，主文件是models.py，其余的文件均为主文件服务，或者为下游任务的建模过程中服务。

• models.py：主文件，主体Transformer类，其余的都是以Transformer为父类实现其算法，包括BERT，ALBERT，NEZHA，ELECTRA，GPT2_ML，T5的算法及其优化
• layers.py: 实现各类功能的层，类似Keras中的layer，这里包括Embedding，MultiHeadAttention（多头注意力），LayerNormalization，PositionEmbedding（位置编码），RelativePositionEmbedding（相对位置编码），FeedForward等实现

bert4keras.backend

分离后端函数，主要是为了同时兼容原生keras和tf.keras

• def set_gelu(version)：设置gelu版本（由于gelu没有精确数学表达，只能近似拟合，gelu有两个拟合版本），根据传入的version，动态的选择gelu_tanh()和gelu_erf()。其中 assert version in [‘erf’, ‘tanh’]

bert4keras.layers

主要为定义自定义层，在model.py中使用

bert4keras.models

bert4keras.optimizers

bert4keras.snippets

bert4keras.tokenizers

tokenizers 为tokenizer相关工具，该文件内置了所有在生成token时可能使用到的工具。

1、load_vocab(dict_path, encoding=’utf-8’, simplified=False, startswith=None)

这个方法就是读取bert中的vovab.txt文件，返回一个字典，格式为{keyword:idx,keyword:idx}。

• dict_path 为vovab.txt文件的路径。
• encoding 为vovab.txt的编码方式。
• simplified为True则开启精简词汇表模型，通过去除CJK类字符和标点符号，将之前的21128（bert-chinese）个词精简到13584个， 从而将词汇表变小（随之而来的就是embedding变小，通过将21128768切片成13584768）,同时，返回token_dict和keep_tokens, token_dict负责生成token，keep_tokens则传入模型构建中，来对embedding进行切片。
• startswith则为一个列表，在simplified为True时使用，用来保留一些特殊字符（比如[PAD], [UNK], [CLS], [SEP]）。

example：

# 加载并精简词表
token_dict, keep_tokens = load_vocab(
    dict_path=dict_path,
    simplified=True,
    startswith=['[PAD]', '[UNK]', '[CLS]', '[SEP]'],
)

2、save_vocab(dict_path, token_dict, encoding=’utf-8’)

用于保存词汇表（比如精简后的）。

3、class Tokenizer(TokenizerBase)

用于类Bert模型的tokenizer

3.1、def init( self, token_dict, do_lower_case=False, word_maxlen=200 token_start=’[CLS]’, token_end=’[SEP]’, pre_tokenize=None, token_translate=None, )

• token_dict 可以是vacab.txt的路径，方法内调用load_vocab()获得词汇表；也可以是已加载好的字典 token_dict
• do_lower_case是否全部转化为小写（bert case和uncase）。
• word_maxlen单词最大长度，由于使用了细粒度拆次因此，词中词，比如北京大学中有北京 和 大学，定义最大长度，比如word_maxlen=3，则不对北京大学进行拆分。
• token_starttoken开始标记（默认CLS）。
• token_endtoken结束标记（默认SEP）。
• pre_tokenize为一个预分词方法，可以是一个jieba分词等方法，用来先将句子分词然后做token。
• token_translate为token替换字典，比如需要将所有的CLS替换为SEP({101:102})。

Tokenizer的两种初始化方式：

dict_path = '/root/kg/bert/chinese_L-12_H-768_A-12/vocab.txt'
# 第一种：直接传入一个vocab.txt的路径str
tokenizer = Tokenizer(dict_path, do_lower_case=True)
# 第二种
token_dict, keep_tokens = load_vocab(dict_path=dict_path)
tokenizer = Tokenizer(token_dict, do_lower_case=True)
model = build_transformer_model(...,keep_tokens=keep_tokens,)

3.2、def encode( self, first_text, second_text=None, maxlen=None, pattern=’SEE’, truncate_from=’right’ )

该方法为Tokenizer的父类TokenizerBase中的方法，用于对文本进行编码（变成token id）

• first_text 第一个文本（对应bert中nsp任务的两个句子，虽然并不一定是nsp任务）。
• second_text第二个文本。
• maxlen返回数据的最大长度，超过截断（比如bert base的512）。
• pattern对于first text 和second text的拼接规则,S代表CLS，E代表SEP，代表两句话的拼接规则，比如默认的SEE则为CLS sentence 1 SEP sentence 2 SEP，而SESE 则为 CLS sentence 1 SEP CLS sentence 2 SEP。
• truncate_from截断方向，对于超过最大长度的数据，截头部（left）还是截尾部（right）当然还支持通过一直删某个中间位置来截取（某一int值）， 截取方法详见truncate_sequences。

注意，由于bert4keras只提供了两句的分割，既“[CLS]sentence1[SEP]sentence2[SEP]”，如果用户有多句输入的需求，比如“[CLS]sentence1[SEP]sentence2[SEP]sentence3[SEP]”，原生bert4keras无法做到（因为encode的实现逻辑将“[SEP]”视为了多个字符），需要复写encode[支持更个性化的tokenize方式]，或者只需要简单的复写tokenize即可
example：

class CustomTokenizer(Tokenizer):
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
    def tokenize(self, text, maxlen=None):
        """分词函数
        """
        tokens = [
            self._token_translate.get(token) or token
            for token in self._tokenize(text)
            ]
        for i in range(len(tokens)):
            # 将#转换为SEP，只有这里的SEP会被识别为分隔符
            if tokens[i] == '#':
                tokens[i] = '[SEP]'
        if self._token_start is not None:
            tokens.insert(0, self._token_start)
        if self._token_end is not None:
            tokens.append(self._token_end)
        if maxlen is not None:
            index = int(self._token_end is not None) + 1
            truncate_sequences(maxlen, -index, tokens)
        return tokens

3.3、def decode(self, ids, tokens=None)

解码器，将token变为可读的文本。

• ids:encode之后（或模型输出）的token ids列表，例如[101，770，102]，返回‘你’。
• tokens：这个比较简单，当tokens不为None时，ids无效。方法变为将tokens的字符拼接、处理，作为可读文本返回。 例如[‘[CLS]’，’你’，’[SEP]’] 则会返回‘你’。

最后返回可读文本 text.

Bert4Keras 模型转onnx

https://blog.csdn.net/hailongzhang26/article/details/118937909

Bert4Keras 相关 issues 整理

如何正确地在vocab里人为增加一些special token？ #408

苏神解答：

1、在vocab.txt后面追加你所需要的token，假设追加了16个； 2、build_transformer_model的时候，传入compound_tokens参数：compound_tokens是一个list，长度为16；list里边的每个item也是一个list，长度不定，里边的元素则是int，代表用这些int代表的token的embedding的平均来初始化新的token的embedding。 3、如果你的token跟字没有什么特殊关系，可以全部用[UNK]初始化就行。

修改源码方法示例 (参考自医学文本定向微调 wobert 权重)：

from bert4keras.tokenizers import Tokenizer, load_vocab
from bert4keras.models import build_transformer_model
# 建立分词器，添加特殊占位符
token_dict = load_vocab(dict_path=dict_path)
pure_tokenizer = Tokenizer(token_dict.copy(), do_lower_case=True)  # 全小写
user_dict = ["[pic]", "[know]", "[http]", "[num]"]  # special token只能是小写的
for special_token in user_dict:
    if special_token not in token_dict:
        token_dict[special_token] = len(token_dict)
compound_tokens = [pure_tokenizer.encode(s)[0][1:-1] for s in user_dict]
tokenizer = Tokenizer(token_dict, do_lower_case=True)
model = build_transformer_model(
    config_path,
    checkpoint_path,
    ..
    compound_tokens=compound_tokens,  # 增加词，用字平均来初始化
)

tokenizer分词器无法将special token切开 #403 → 怎么做才可以把‘北京是[unused1]中国的首都’分成 ‘北 京 是 [unused1] 中 国 的 首 都’

苏神解答：

from bert4keras.tokenizers import Tokenizer
import re
dict_path = '/root/kg/bert/chinese_L-12_H-768_A-12/vocab.txt'
def pre_tokenize(text):
    """单独识别出[xxx]的片段
    """
    tokens, start = [], 0
    for r in re.finditer('\[[^\[]+\]', text):
        tokens.append(text[start:r.start()])
        tokens.append(text[r.start():r.end()])
        start = r.end()
    if text[start:]:
        tokens.append(text[start:])
    return tokens
tokenizer = Tokenizer(
    dict_path, do_lower_case=True, pre_tokenize=pre_tokenize
)  # 建立分词器

这样比较通用，但special token只能是小写的（因为do_lower_case=True了）