Python文本向量化入门(五):自定义中文词袋

发布时间:2024年01月18日

在文本向量化中,使用预训练的词向量,例如Word2Vec、GloVe或FastText等,是常见的做法。这些词向量已经在大量文本数据上进行了训练,为我们提供了现成的词嵌入表示。然而,有时候我们可能希望根据特定的任务或数据集来自定义词向量。这就需要我们自己构建一个词袋模型(Bag of Words)。

在之前的文章中,我们介绍了如何使用Python的CountVectorizer类将文本转换为词频矩阵。但是,CountVectorizer默认将所有文本都视为独立的词汇,而不会考虑中文的词语结构和语义关系。为了更好地处理中文文本,我们可以自定义一个中文词袋模型。

在自定义中文词袋模型之前,我们需要进行中文分词。幸运的是,Python中有一个非常流行的中文分词库——jieba。jieba提供了简单高效的分词功能,能够帮助我们将连续的字符序列切分成单独的词或词素。

首先,我们需要安装jieba库。可以使用pip命令进行安装:

pip install jieba

接下来,我们可以使用jieba对中文文本进行分词处理。以下是一个简单的示例:

import jieba  
  
# 中文文本  
text = "这是第一个文档。"  
  
# 使用jieba进行分词  
words = jieba.cut(text)  
  
# 输出分词结果  
print(" ".join(words))

在得到分词结果后,我们可以将其输入到CountVectorizer中,构建自定义的中文词袋模型。以下是一个完整的示例:

import jieba
from sklearn.feature_extraction.text import CountVectorizer

# 定义文本数据
documents = [
    '这是第一个文档。',
    '这是第二个文档。',
    '这是第三个文档。第三个文档有很多词,但有些词是重复的。',
]

# 使用jieba分词对文本进行预处理
documents = [' '.join(jieba.cut(doc)) for doc in documents]

# 定义自定义词汇表
custom_vocabulary = ['一','二','三','文档']

# 创建CountVectorizer对象
vectorizer = CountVectorizer(vocabulary=custom_vocabulary)

# 将分词结果转换为词频矩阵
vectorized_data = vectorizer.fit_transform(documents)

# 输出词频矩阵
print(vectorized_data.toarray())

# 输出默认的词袋(词汇表)
print(vectorizer.get_feature_names())

输出结果:

[[0 0 0 1]
 [0 0 0 1]
 [0 0 0 2]]
['一', '二', '三', '文档']

文章来源:https://blog.csdn.net/Dxy1239310216/article/details/135649497
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。