• 以下以 LASER 工具中是 tokenize 和 BPE 为例进行演示(进行 BPE 前需要先进行 tokenize)。

    1、tokenize

2、BPE