jieba 中文分词、词性标注
nltk 英文分词、词性标注
百度的Paddle Lac 中文分词、词性标注
哈工大的LTP 中文分词、词性标注

jieba

Jieba 分词中的词性标注功能与中文分词类似，也是结合规则方法和统计方法的方式，在词性标注的过程中，词典匹配和 HMM 共同作用。词性标注的流程如下：
（1）首先基于正则表达式，进行汉字的判断；
（2）若符合正则表达式，则判断为汉字，然后基于前缀词典构建有向无环图；
（3）再基于有向无环图计算最大概率路径，同时在前缀词典中找出它所分出的词性，若在词典中未找到，则赋予词性为“x”（代表未知）。
（4）若不符合正则表达式，那么将继续通过正则表达式进行类型判断，分别赋予“x”“m”和“eng”（英文），例如上面例子中的 Shanghai 标注结果是 eng 。

词性参考：

代码	名称	帮助记忆的诠释
Ag	形语素	形容词性语素。形容词代码为 a ,语素代码 g 前面置以 A。
a	形容词	取英语形容词 adjective 的第 1 个字母。
ad	副形词	直接作状语的形容词。形容词代码 a 和副词代码 d 并在一起。
an	名形词	具有名词功能的形容词。形容词代码 a 和名词代码 n 并在一起。
b	区别词	取汉字“别”的声母。
c	连词	取英语连词 conjunction 的第 1 个字母。
Dg	副语素	副词性语素。副词代码为 d ,语素代码 g 前面置以 D。
d	副词	取 adverb 的第 2 个字母 ,因其第 1 个字母已用于形容词。
e	叹词	取英语叹词 exclamation 的第 1 个字母。
f	方位词	取汉字“方” 的声母。
g	语素	绝大多数语素都能作为合成词的“词根”,取汉字“根”的声母。由于实际标注时 ,一定标注其子类 ,所以从来没有用到过 g。
h	前接成分	取英语 head 的第 1 个字母。
i	成语	取英语成语 idiom 的第 1 个字母。
j	简称略语	取汉字“简”的声母。
k	后接成分
l	习用语	习用语尚未成为成语 ,有点“临时性”,取“临”的声母。
m	数词	取英语 numeral 的第 3 个字母 ,n ,u 已有他用。
Ng	名语素	名词性语素。名词代码为 n ,语素代码 g 前面置以 N。
n	名词	取英语名词 noun 的第 1 个字母。
nr	人名	名词代码 n 和“人(ren) ”的声母并在一起。
ns	地名	名词代码 n 和处所词代码 s 并在一起。
nt	机构团体	“团”的声母为 t，名词代码 n 和 t 并在一起。
nx	非汉字串
nz	其他专名	“专”的声母的第 1 个字母为 z，名词代码 n 和 z 并在一起。
o	拟声词	取英语拟声词 onomatopoeia 的第 1 个字母。
p	介词	取英语介词 prepositional 的第 1 个字母。
q	量词	取英语 quantity 的第 1 个字母。
r	代词	取英语代词 pronoun 的第 2 个字母,因 p 已用于介词。
s	处所词	取英语 space 的第 1 个字母。
Tg	时语素	时间词性语素。时间词代码为 t,在语素的代码 g 前面置以 T。
t	时间词	取英语 time 的第 1 个字母。
u	助词	取英语助词 auxiliary 的第 2 个字母,因 a 已用于形容词。
Vg	动语素	动词性语素。动词代码为 v。在语素的代码 g 前面置以 V。
v	动词	取英语动词 verb 的第一个字母。
vd	副动词	直接作状语的动词。动词和副词的代码并在一起。
vn	名动词	指具有名词功能的动词。动词和名词的代码并在一起。
w	标点符号
x	非语素字	非语素字只是一个符号，字母 x 通常用于代表未知数、符号。
y	语气词	取汉字“语”的声母。
z	状态词	取汉字“状”的声母的前一个字母。

NLTK

pip install nltk

import nltk
document = r"it's easy to learn and use Python."
sentences = nltk.sent_tokenize(document)
for sent in sentences:
    print(nltk.pos_tag(nltk.word_tokenize(sent)))
 词性标注的结果如下：
[('it', 'PRP'), ("'s", 'VBZ'), ('easy', 'JJ'), ('to', 'TO'), ('learn', 'VB'), ('and', 'CC'), ('use', 'VB'), ('Python', 'NNP'), ('.', '.')]

词性参考：
CC 并列连词 NNS 名词复数 UH 感叹词
CD 基数词 NNP 专有名词 VB 动词原型
DT 限定符 NNP 专有名词复数 VBD 动词过去式
EX 存在词 PDT 前置限定词 VBG 动名词或现在分词
FW 外来词 POS 所有格结尾 VBN 动词过去分词
IN 介词或从属连词 PRP 人称代词 VBP 非第三人称单数的现在时
JJ 形容词 PRP$ 所有格代词 VBZ 第三人称单数的现在时
JJR 比较级的形容词 RB 副词 WDT 以wh开头的限定词
JJS 最高级的形容词 RBR 副词比较级 WP 以wh开头的代词
LS 列表项标记 RBS 副词最高级 WP$ 以wh开头的所有格代词
MD 情态动词 RP 小品词 WRB 以wh开头的副词
NN 名词单数 SYM 符号 TO to

HanLp 与 Lac

其中HanLp增加了更细粒度的词性标注集，具体可参考：https://www.hankcs.com/nlp/part-of-speech-tagging.html

HanLP使用的HMM词性标注模型训练自2014年人民日报切分语料，随后增加了少量98年人民日报中独有的词语。所以，HanLP词性标注集兼容《ICTPOS3.0汉语词性标记集》，并且兼容《现代汉语语料库加工规范——词语切分与词性标注》。

另外百度词法分析工具Lac使用的词性标注集中特别加了一套强相关的专名类别标签：

词性和专名类别标签集合如下表，其中词性标签24个（小写字母），专名类别标签4个（大写字母）。这里需要说明的是，人名、地名、机名和时间四个类别，在上表中存在两套标签（PER / LOC / ORG / TIME 和 nr / ns / nt / t），被标注为第二套标签的词，是模型判断为低置信度的人名、地名、机构名和时间词。开发者可以基于这两套标签，在四个类别的准确、召回之间做出自己的权衡。

工具库 - 图1
哈工大LTP的命名实体标注集没有提取“时间”，具体参考如下：
https://ltp.readthedocs.io/zh_CN/latest/appendix.html

NE识别模块的标注结果采用O-S-B-I-E标注形式，其含义为

标记	含义
O	这个词不是NE
S	这个词单独构成一个NE
B	这个词为一个NE的开始
I	这个词为一个NE的中间
E	这个词位一个NE的结尾

LTP中的NE 模块识别三种NE，分别如下：

标记	含义
Nh	人名
Ni	机构名
Ns	地名

基于上述观察，我决定采用这种方案做中文命名实体工具测试接口：对于斯坦福Stanza的NER结果直接保留，对于 Baidu Lac 结果则保留强置信度的人名（PER）、地名（LOC）、机构名（ORG）、时间（TIME）提取结果，对于哈工大LTP的NER结果做个人名（Nh=>PER）、地名（Ns=>LOC）和机构名（Ni=>ORG）的映射，对于其他几个工具，去除斯坦福的老NLP工具CoreNLP，其他NLP工具则保留nr、ns、nt、t、nz这几个提取工具，并做了标记映射人名（nr=>PER），地名（ns=>LOC），机构名（nt=>ORG），时间（t=>TIME)。