layout: post # 使用的布局(不需要改)title: 中文NLP相关工具 # 标题
subtitle: Toolkits-分词-信息抽取-QA-中文语料 #副标题
date: 2019-09-18 # 时间
author: NSX # 作者
header-img: img/post-bg-2015.jpg #这篇文章标题背景图片
catalog: true # 是否归档
tags: #标签
- 技术
- NLP
中文NLP相关工具
- 中文NLP综合工具包
- 常用的英文或支持多语言的NLP工具包
- 中文分词工具包
- 信息提取工具包
- QA & Chatbot 工具包
-
中文NLP综合工具包
THULAC 中文词法分析工具包 by 清华 (C++/Java/Python)
- NLPIR by 中科院 (Java)
- LTP 语言技术平台 by 哈工大 (C++) pylyp LTP的python封装 这个是一个较完善的流水线了,提供分词、语义标注、 句法依赖、 实体识别。
- FudanNLP by 复旦 (Java)
- BaiduLac by 百度 Baidu’s open-source lexical analysis tool for Chinese, including word segmentation, part-of-speech tagging & named entity recognition.
- HanLP (Java)
- FastNLP (Python) 一款轻量级的 NLP 处理套件。
- SnowNLP (Python) Python library for processing Chinese text
- YaYaNLP (Python) 纯python编写的中文自然语言处理包,取名于“牙牙学语”
- 小明NLP (Python) 轻量级中文自然语言处理工具
- DeepNLP (Python) Deep Learning NLP Pipeline implemented on Tensorflow with pretrained Chinese models.
- chinese_nlp (C++ & Python) Chinese Natural Language Processing tools and examples
- lightNLP (Python) 基于Pytorch和torchtext的自然语言处理深度学习框架
- Chinese-Annotator (Python) Annotator for Chinese Text Corpus 中文文本标注工具
常用的英文或支持多语言的NLP工具包
NLTK (Python) Natural Language Toolkit
spaCy (Python) Industrial-Strength Natural Language Processing with a online course
OpenNLP (Java) A machine learning based toolkit for the processing of natural language text.
gensim (Python) Gensim is a Python library for topic modelling, document indexing and similarity retrieval with large corpora.
Kashgari - Simple and powerful NLP framework, build your state-of-art model in 5 minutes for named entity recognition (NER), part-of-speech tagging (PoS) and text classification tasks. Includes BERT and word2vec embedding.
中文分词工具包
Jieba 结巴中文分词 (Python及大量其它编程语言衍生) 做最好的 Python 中文分词组件
北大中文分词工具 (Python) 高准确度中文分词工具,简单易用,跟现有开源工具相比大幅提高了分词的准确率。
kcws 深度学习中文分词 (Python) BiLSTM+CRF与IDCNN+CRF
ID-CNN-CWS (Python) Iterated Dilated Convolutions for Chinese Word Segmentation
Genius 中文分词 (Python) Genius是一个开源的python中文分词组件,采用 CRF(Conditional Random Field)条件随机场算法。
loso 中文分词 (Python)
yaha “哑哈”中文分词 (Python)
ChineseWordSegmentation (Python) Chinese word segmentation algorithm without corpus(无需语料库的中文分词)
Go语言高性能分词 (Go) Go efficient text segmentation; support english, chinese, japanese and other.
Ansj中文分词 (java) 基于n-Gram+CRF+HMM的中文分词的java实现
信息提取工具包
MITIE (C++) library and tools for information extraction
Duckling (Haskell) Language, engine, and tooling for expressing, testing, and evaluating composable language rules on input strings.
IEPY (Python) IEPY is an open source tool for Information Extraction focused on Relation Extraction.
Snorkel A training data creation and management system focused on information extraction
Neural Relation Extraction implemented with LSTM in TensorFlow
bert-chinese-ner 使用预训练语言模型BERT做中文NER
Information-Extraction-Chinese Chinese Named Entity Recognition with IDCNN/biLSTM+CRF, and Relation Extraction with biGRU+2ATT 中文实体识别与关系提取
Familia 百度出品的 A Toolkit for Industrial Topic Modeling
Text Classification All kinds of text classificaiton models and more with deep learning. 用知乎问答语聊作为测试数据。
QA & Chatbot 工具包
Rasa NLU (Python) turn natural language into structured data, a Chinese fork at Rasa NLU Chi
Rasa Core (Python) machine learning based dialogue engine for conversational software
Chatstack A Full Pipeline UI for building Chinese NLU System
Snips NLU (Python) Snips NLU is a Python library that allows to parse sentences written in natural language and extracts structured information.
DeepPavlov (Python) An open source library for building end-to-end dialog systems and training chatbots.
ChatScript Natural Language tool/dialog manager, a rule-based chatbot engine.
Chatterbot (Python) ChatterBot is a machine learning, conversational dialog engine for creating chat bots.
Chatbot (Python) 基於向量匹配的情境式聊天機器人
Tipask (PHP) 一款开放源码的PHP问答系统,基于Laravel框架开发,容易扩展,具有强大的负载能力和稳定性。
QuestionAnsweringSystem (Java) 一个Java实现的人机问答系统,能够自动分析问题并给出候选答案。
QA-Snake (Python) 基于多搜索引擎和深度学习技术的自动问答
使用深度学习算法实现的中文阅读理解问答系统 (Python)
AnyQ by Baidu 主要包含面向FAQ集合的问答系统框架、文本语义匹配工具SimNet。
DuReader中文阅读理解Baseline代码 (Python)
基于SmartQQ的自动机器人框架 (Python)
QASystemOnMedicalKG (Python) 以疾病为中心的一定规模医药领域知识图谱,并以该知识图谱完成自动问答与分析服务。
中文语料资源
农业知识图谱 农业领域的信息检索,命名实体识别,关系抽取,分类树构建,数据挖掘
基于不同语料、不同模型(比如BERT、GPT)的中文预训练模型 中文预训练模型框架,支持不同语料、编码器、目标任务的预训练模型(from RUC and Tencent)
OpenCLaP 多领域开源中文预训练语言模型仓库 (from Tsinghua)
UDChinese (for training spaCy POS)
Tencent AI Lab Embedding Corpus for Chinese Words and Phrases
中文GPT2训练代码 可以写诗,新闻,小说,或是训练通用语言模型。
中华新华字典数据库 包括歇后语,成语,词语,汉字。
Synonyms:中文近义词工具包 基于维基百科中文和word2vec训练的近义词库,封装为python包文件。
Chinese_conversation_sentiment A Chinese sentiment dataset may be useful for sentiment analysis.
中文突发事件语料库 Chinese Emergency Corpus
dgk_lost_conv 中文对白语料 chinese conversation corpus
用于训练中英文对话系统的语料库 Datasets for Training Chatbot System
中国股市公告信息爬取 通过python脚本从巨潮网络的服务器获取中国股市(sz,sh)的公告(上市公司和监管机构)
tushare财经数据接口 TuShare是一个免费、开源的python财经数据接口包。
金融文本数据集 SmoothNLP 金融文本数据集(公开) Public Financial Datasets for NLP Researches
保险行业语料库 [52nlp介绍Blog] OpenData in insurance area for Machine Learning Tasks
最全中华古诗词数据库 唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人,21050首词。
中文语料小数据 包含了中文命名实体识别、中文关系识别、中文阅读理解等一些小量数据
Chinese-Literature-NER-RE-Dataset A Discourse-Level Named Entity Recognition and Relation Extraction Dataset for Chinese Literature Text
ChineseTextualInference 中文文本推断项目,包括88万文本蕴含中文文本蕴含数据集的翻译与构建,基于深度学习的文本蕴含判定模型构建.
大规模中文自然语言处理语料 维基百科(wiki2019zh),新闻语料(news2016zh),百科问答(baike2018qa)
中文人名语料库 中文姓名,姓氏,名字,称呼,日本人名,翻译人名,英文人名。
公司名、机构名语料库 公司简称,缩写,品牌词,企业名。
中文敏感词词库 敏感词过滤的几种实现+某1w词敏感词库
中文简称词库 A corpus of Chinese abbreviation, including negative full forms.
中文数据预处理材料 中文分词词典和中文停用词
SentiBridge: 中文实体情感知识库 刻画人们如何描述某个实体,包含新闻、旅游、餐饮,共计30万对。
OpenCorpus A collection of freely available (Chinese) corpora.
ChineseNlpCorpus 情感/观点/评论 倾向性分析,中文命名实体识别,推荐系统
总结
2018 微众银行智能客服问句匹配大赛 针对中文的真实客服语料,进行问句意图匹配;给定两个语句,判定两者意图是否相近。
云孚科技 NLP工具包、知识图谱、文本挖掘、对话系统、舆情分析等
智言科技 专注于深度学习和知识图谱技术突破的人工智能公司
追一科技 主攻深度学习和自然语言处理