无监督学习 - 层次聚类(Hierarchical Clustering)

发布时间:2024年01月18日

什么是机器学习

层次聚类是一种无监督学习的聚类算法,它以树状结构(层次结构)的形式组织数据集中的样本。这种聚类方法可以分为两类:凝聚层次聚类Agglomerative Hierarchical Clustering)和分裂层次聚类(Divisive Hierarchical Clustering)。

凝聚层次聚类(Agglomerative Hierarchical Clustering):

凝聚层次聚类的基本思想是将每个数据点看作一个簇,然后合并最相似的簇,不断迭代,直到达到指定的簇的数量或达到某个停止条件。常用的合并(凝聚)方法包括单链接(Single Linkage)、完全链接(Complete Linkage)和平均链接(Average Linkage)等。

以下是凝聚层次聚类的基本步骤:

  1. 初始化: 将每个数据点看作一个簇。
  2. 计算相似度: 计算所有簇之间的相似度,可以使用欧氏距离、曼哈顿距离等。
  3. 合并最相似的簇: 选择相似度最高的两个簇,将它们合并成一个新的簇。
  4. 层次聚类: 更新相似度矩阵,反映新簇与其他簇的相似度。
  5. 重复步骤3和步骤4: 重复执行步骤3和步骤4,直到达到指定的簇的数量或达到停止条件。
  6. 输出结果: 最终形成一棵层次树(树状图),可以通过切割树状图来获取不同数量的簇。

分裂层次聚类(Divisive Hierarchical Clustering):

分裂层次聚类是凝聚层次聚类的反向过程。它从整个数据集开始,将其分成两个最不相似的簇,然后逐步分裂每个簇,直到达到指定的簇的数量或满足某个停止条件。

层次聚类的优点包括不需要预先指定簇的数量、结果易于可视化,但在处理大规模数据集时可能计算复杂度较高。

下面是使用Python中的 scikit-learn 库进行凝聚层次聚类的简单示例:

from sklearn.cluster import AgglomerativeClustering
import numpy as np
import matplotlib.pyplot as plt
from scipy.cluster.hierarchy import dendrogram, linkage

# 生成随机数据集
np.random.seed(42)
data = np.random.rand(20, 2)

# 使用凝聚层次聚类(假设要分成3个簇)
agg_cluster = AgglomerativeClustering(n_clusters=3, affinity='euclidean', linkage='ward')
labels = agg_cluster.fit_predict(data)

# 打印分配结果
print("分配结果:")
print(labels)

# 绘制层次聚类的树状图(树状图)
linkage_matrix = linkage(data, "ward")
dendrogram(linkage_matrix)
plt.show()

这只是一个简单的例子,实际应用中需要根据数据集的特点和需求进行调整和优化。

文章来源:https://blog.csdn.net/galoiszhou/article/details/135616245
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。