Python文本向量化入门(三):查看默认词袋

发布时间:2024年01月16日

在文本分析和自然语言处理中,将文本数据转换为数值型格式是至关重要的第一步。这有助于我们利用机器学习算法进行更高效的数据分析。Scikit-learn库中的CountVectorizer类是一个非常有用的工具,它可以将文本数据转换为词频矩阵。

首先,我们需要导入所需的库和模块:

from sklearn.feature_extraction.text import CountVectorizer

接下来,我们定义了一些文本数据,这些数据包含了一些中文句子。

documents = [ 

	'这是第一个文档。', 

	'这是第二个文档。', 

	'这是第三个文档。第三个文档有很多词,但有些词是重复的。' 

]

然后,我们创建一个CountVectorizer对象。默认情况下,CountVectorizer会使用所有的非停用词作为词袋(即特征)。

vectorizer = CountVectorizer()

接下来,我们使用fit_transform方法将文本数据转换为词频矩阵。这将返回一个稀疏矩阵,其中每一行表示一个文档,每一列表示一个词汇,矩阵中的值表示该词汇在该文档中出现的次数。

vectorized_data = vectorizer.fit_transform(documents)

然后,我们可以打印词频矩阵的数组表示形式,以查看矩阵的内容。

print(vectorized_data.toarray())

最后,我们可以使用get_feature_names方法输出默认的词袋(词汇表)。这个词汇表包含了在我们的文本数据中出现过的所有非停用词。

print(vectorizer.get_feature_names())

输入结果:

['但有些词是重复的', '第三个文档有很多词', '这是第一个文档', '这是第三个文档', '这是第二个文档']

看到这个结果我有很大的疑问,为什么是这样分词的,为什么没有按照中文分词处理。所以我就去查了相关资料,得到了下面的原因

CountVectorizer会将输入的文本数据切分成词汇(主要是对英文),并使用这些词汇作为特征。但是,它并不会对中文文本进行分词处理。对于中文文本,通常需要进行分词处理,即将连续的字符序列切分成单独的词或词素。

文章来源:https://blog.csdn.net/Dxy1239310216/article/details/135617123
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。