Python文本向量化入门（二）：使用自定义词汇表进行文本向量化

在处理文本数据时，特征提取是一个重要的步骤。Scikit-learn库中的CountVectorizer类是一个非常有用的工具，可以将文本数据转换为词频矩阵，以便进一步分析。然而，有时我们可能希望在特定上下文中使用自定义词汇表来分析文本数据。

在本文中，我们将展示如何使用自定义词汇表进行文本向量化。我们将使用CountVectorizer类，并通过指定自定义词汇表来转换文本数据。

首先，我们需要导入所需的库和模块：

from sklearn.feature_extraction.text import CountVectorizer

接下来，我们定义了一些文本数据，并指定了一个自定义词汇表。这个自定义词汇表包括了一些常见的词汇，如“my”、“name”、“is”和“old”。

documents = [  
    'my name is dxy',  
    'my name is aaa',  
    'my name is ccc, 18 years old'  
]  
custom_vocabulary = ['my','name','is','old']

然后，我们创建一个CountVectorizer对象，并指定自定义词汇表。这将用于将文本数据转换为词频矩阵。

vectorizer = CountVectorizer(vocabulary=custom_vocabulary)

接下来，我们将使用fit_transform方法将文本数据转换为词频矩阵。这将返回一个稀疏矩阵，其中每一行表示一个文档，每一列表示一个词汇，矩阵中的值表示该词汇在该文档中出现的次数。

vectorized_data = vectorizer.fit_transform(documents)

最后，我们将打印词频矩阵的数组表示形式。这将以更易于理解的方式显示词频矩阵的内容。

print(vectorized_data.toarray())

打印结果如下：

[[1 1 1 0]
 [1 1 1 0]
 [1 1 1 1]]

完整代码如下：

from sklearn.feature_extraction.text import CountVectorizer

# 定义文本数据
documents = [
    'my name is dxy',
    'my name is aaa',
    'my name is ccc, 18 years old'
]

# 定义自定义词汇表
custom_vocabulary = ['my','name','is','old']

# 创建CountVectorizer对象，并指定自定义词汇表
vectorizer = CountVectorizer(vocabulary=custom_vocabulary)

# 将文本数据转换为词频矩阵
vectorized_data = vectorizer.fit_transform(documents)

# 输出词频矩阵
print(vectorized_data.toarray())

通过使用自定义词汇表进行文本向量化，我们可以更好地控制特征提取的过程，并仅关注我们感兴趣的词汇。这在进行文本分析时非常有用，特别是当我们需要专注于特定的主题或关键词时。