HanLP

简介

HanLP 是由何晗(hankcs)开发并开源的自然语言处理工具包,以中文处理见长,功能覆盖分词、词性标注、命名实体识别、依存句法分析、语义依存分析、文本分类与拼音转换等,在中文 NLP 社区应用广泛。

版本

HanLP 1.x 为 Java 实现,基于词典与感知机、CRF 等传统统计模型,轻量且可离线部署;HanLP 2.x 重写为基于 PyTorch/TensorFlow 的深度学习框架,采用多任务学习架构,支持包括中英日在内的多种语言,并提供 RESTful API 服务。

特点

其一是学术与工程并重,模型在公开数据集上训练、语料与规范透明;其二是多任务联合模型可一次调用返回多层语言学分析结果。作者同时著有《自然语言处理入门》一书,与工具包配套。

应用

常用于搜索引擎、内容审核、知识抽取等中文文本处理场景。