NLP深入学习(一):jieba 工具包介绍

发布时间:2024年01月18日


1. jieba 介绍

jieba(结巴)是一款用于中文文本处理的开源分词工具。它是基于 Python 编写的,具有简单易用、高效准确的特点,成为处理中文文本分词任务中常用的工具之一。jieba 的 github 点击这里

以下是jieba分词库的一些主要特点和功能:

  1. 中文分词: jieba主要用于中文分词,可以将连续的中文文本切分成有意义的词语。分词是中文自然语言处理的基础步骤,对于词语的准确切分对后续的文本处理和分析具有重要意义。

  2. 支持多种分词模式: jieba支持三种分词模式,包括精确模式(cut),全模式(cut_all),和搜索引擎模式(cut_for_search)。用户可以根据具体需求选择合适的分词模式。

  3. 支持自定义词典: 用户可以通过添加自定义词典来调整分词效果,使其更符合特定领域或任务的需求。这对于处理领域特定词汇或专业术语非常有帮助。

  4. 高性能: jieba 分词采用了基于前缀词典的分词算法,具有较高的分词速度和准确性。这使得它在实际应用中能够处理大规模文本数据。

  5. 开源: jieba 是开源项目,用户可以自由获取源代码,并根据需求进行修改和定制。同时,由于其开源特性,也能够不断得到社区的更新和维护。

使用jieba分词通常包括以下步骤:

  • 安装jieba库:可以通过pip安装,命令为 pip install jieba
  • 导入jieba库:在Python代码中导入jieba库。
  • 载入词典(可选):可以加载自定义词典以适应特定需求。
  • 进行分词:使用jieba库提供的分词函数进行文本分词。

例如:

import jieba

# 精确模式分词
seg_list = jieba.cut("我喜欢自然语言处理", cut_all=False)
print(" ".join(seg_list))

上述代码将输出:

"我 喜欢 自然 语言 处理"

2. 分词

  1. jieba.cut 方法接受四个输入参数:
    • 需要分词的字符串;
    • cut_all 参数用来控制是否采用全模式;
    • HMM 参数用来控制是否使用 HMM 模型;
    • use_paddle 参数用来控制是否使用paddle模式下的分词模式,paddle模式采用延迟加载方式,通过enable_paddle接口安装paddlepaddle-tiny
  2. jieba.cut_for_search 方法适合用于搜索引擎构建倒排索引的分词,粒度比较细。接受两个参数:
    • 需要分词的字符串;
    • 是否使用 HMM 模型。

示例:

# encoding=utf-8
import jieba

jieba.enable_paddle()# 启动paddle模式。 0.40版之后开始支持,早期版本不支持
strs=["我来到北京清华大学","乒乓球拍卖完了","中国科学技术大学"]
for str in strs:
    seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式
    print("Paddle Mode: " + '/'.join(list(seg_list)))

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 精确模式

seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
print(", ".join(seg_list))

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所,后在日本京都大学深造")  # 搜索引擎模式
print(", ".join(seg_list))

输出:

【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学

【精确模式】: 我/ 来到/ 北京/ 清华大学

【新词识别】:他, 来到, 了, 网易, 杭研, 大厦    (此处,“杭研”并没有在词典中,但是也被Viterbi算法识别出来了)

【搜索引擎模式】: 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

3. 添加自定义词典

3.1 添加词典

用法: jieba.load_userdict(file_name) file_name 为文件类对象或自定义词典的路径。

词典格式和 dict.txt 一样,一个词占一行;每一行分三部分:词语、词频(可省略)、词性(可省略),用空格隔开,顺序不可颠倒。file_name 若为路径或二进制方式打开的文件,则文件必须为 UTF-8 编码。
例如:

创新办 3 i
云计算 5
凱特琳 nz
台中

3.2 调整词典

  1. add_word(word, freq=None, tag=None)del_word(word) 可在程序中动态修改词典。
  2. suggest_freq(segment, tune=True) 可调节单个词语的词频,使其能(或不能)被分出来。

注意:自动计算的词频在使用 HMM 新词发现功能时可能无效。

>>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
如果/放到/post/中将/出错/。
>>> jieba.suggest_freq(('中', '将'), True)
494
>>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
如果/放到/post/中/将/出错/。
>>> print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))
「/台/中/」/正确/应该/不会/被/切开
>>> jieba.suggest_freq('台中', True)
69
>>> print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))
「/台中/」/正确/应该/不会/被/切开

4. 关键词提取

4.1 基于 TF-IDF 算法的关键词抽取

  1. jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())

    • sentence 为待提取的文本
    • topK 为返回几个 TF/IDF 权重最大的关键词,默认值为 20
    • withWeight 为是否一并返回关键词权重值,默认值为 False
    • allowPOS 仅包括指定词性的词,默认值为空,即不筛选
  2. jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例,idf_path 为 IDF 频率文件

示例:

import sys
sys.path.append('../')

import jieba
import jieba.analyse
from optparse import OptionParser

USAGE = "usage:    python extract_tags_idfpath.py [file name] -k [top k]"

parser = OptionParser(USAGE)
parser.add_option("-k", dest="topK")
opt, args = parser.parse_args()


if len(args) < 1:
    print(USAGE)
    sys.exit(1)

file_name = args[0]

if opt.topK is None:
    topK = 10
else:
    topK = int(opt.topK)

content = open(file_name, 'rb').read()

jieba.analyse.set_idf_path("../extra_dict/idf.txt.big");

tags = jieba.analyse.extract_tags(content, topK=topK)

print(",".join(tags))

4.2 基于 TextRank 算法的关键词抽取

  1. jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v')) 直接使用,接口相同,注意默认过滤词性。
  2. jieba.analyse.TextRank() 新建自定义 TextRank 实例

示例:

s = "此外,公司拟对全资子公司吉林欧亚置业有限公司增资4.3亿元,增资后,吉林欧亚置业注册资本由7000万元增加到5亿元。吉林欧亚置业主要经营范围为房地产开发及百货零售等业务。目前在建吉林欧亚城市商业综合体项目。2013年,实现营业收入0万元,实现净利润-139.13万元。"
for x, w in jieba.analyse.textrank(s, withWeight=True):
    print('%s %s' % (x, w))

5. 词性标注

jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器,tokenizer 参数可指定内部使用的 jieba.Tokenizer 分词器。jieba.posseg.dt 为默认词性标注分词器。

示例:

>>> import jieba
>>> import jieba.posseg as pseg
>>> words = pseg.cut("我爱北京天安门") #jieba默认模式
>>> jieba.enable_paddle() #启动paddle模式。 0.40版之后开始支持,早期版本不支持
>>> words = pseg.cut("我爱北京天安门",use_paddle=True) #paddle模式
>>> for word, flag in words:
...    print('%s %s' % (word, flag))
...
我 r
爱 v
北京 ns
天安门 ns

paddle模式词性标注对应表如下:

标签含义标签含义标签含义标签含义
n普通名词f方位名词s处所名词t时间
nr人名ns地名nt机构名nw作品名
nz其他专名v普通动词vd动副词vn名动词
a形容词ad副形词an名形词d副词
m数量词q量词r代词p介词
c连词u助词xc其他虚词w标点符号
PER人名LOC地名ORG机构名TIME时间

6. 参考

https://github.com/fxsjy/jieba

欢迎关注本人,我是喜欢搞事的程序猿; 一起进步,一起学习;

也欢迎关注我的wx公众号:一个比特定乾坤

文章来源:https://blog.csdn.net/qq_36803941/article/details/135652438
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。