聚类算法之K-均值聚类

发布时间:2023年12月19日

基本概念

曾经有一个小镇,里面有很多不同种类的商店,例如超市、书店、餐厅等。镇长想要了解这些商店的分布情况,以便更好地规划城镇的建设。但是商店分布情况太复杂了,他需要一种方法来将它们进行分类和聚类。

于是,镇长决定采用聚类分析的方法来解决这个问题。他首先收集了每个商店的位置信息、营业额和经营类型等数据,然后运用K-均值聚类算法对商店进行聚类。

经过多次迭代,最终得到了3个聚类,分别是:

  1. 商业区:其中包括超市、百货商店、银行等营业额高的商店。
  2. 娱乐区:其中包括酒吧、夜店、咖啡厅等主要在夜间营业的商店。
  3. 餐饮区:其中包括各式餐厅、快餐店等餐饮行业的商店。

镇长通过对聚类结果进行分析,发现商业区和餐饮区比较集中,而娱乐区则比较分散,因此他决定在商业区和餐饮区适当扩建和提升设施,以满足居民的需求。同时,在娱乐区,他考虑推出一些吸引人的活动和优惠措施,以吸引更多的人来这里消费。

通过聚类分析,镇长成功地了解到了商店分布情况及其特点,并做出了相应的决策,使城镇的建设更加合理和有序。

概念引入

k均值聚类是一种常见的聚类方法,其基本思想是将数据集分成k个集群,并使得每个数据点与距离最近的集群中心点的距离最小化。

具体步骤如下:

  1. 随机选择k个中心点
  2. 将数据集中的每个数据点指派到距离它最近的中心点的集群中
  3. 根据每个集群中的点重新计算k个中心点的位置
  4. 重复第2和第3步,直到中心点的位置不再改变或达到设定的迭代次数。

k均值聚类的优点包括简单易理解、计算速度快、适用于大规模数据集等。但是,它也存在一些缺点,如对初始中心点位置敏感、容易收敛到局部最优解、对离群值敏感等。

计算过程实例

假设现在有一个数据集,包含了5个样本点:(1,1), (1,2), (2,2), (8,8), (9,8)。现在我们需要使用k均值聚类算法将这些点分为两类。

  1. 初始化 首先,我们需要随机初始化两个聚类中心,比如我们可以选择(2,2)和(8,8)作为初始聚类中心。聚类中心可以是任何数据集中的点,也可以是随机生成的点。

  2. 计算距离 接下来,我们需要计算每个样本点到这两个聚类中心的距离,可以使用欧氏距离或曼哈顿距离等。得到的结果如下表所示。

样本点与聚类中心1距离与聚类中心2距离
(1,1)1.419.22
(1,2)0.718.06
(2,2)0.006.32
(8,8)9.900.71
(9,8)10.941.41
  1. 分配样本点 根据计算出的距离,我们将每个样本点分配给离它最近的聚类中心,得到的结果如下。
样本点分配聚类中心
(1,1)1
(1,2)1
(2,2)1
(8,8)2
(9,8)2
  1. 更新聚类中心 接下来,我们需要重新计算两个聚类中心的位置。计算方法是将分配给同一个聚类中心的样本点的坐标求平均值,得到的结果如下。

聚类中心1:(1,1.67) 聚类中心2:(8.5,8)

  1. 重复步骤2-4 重复步骤2-4,直到聚类中心不再变化为止。在这个例子中,经过两轮迭代之后,聚类中心不再发生变化,此时的聚类结果为:
样本点分配聚类中心
(1,1)1
(1,2)1
(2,2)1
(8,8)2
(9,8)2

最终将样本点分为了两个聚类,聚类中心分别为(1,1.67)和(8.5,8)。

应用场景

k均值聚类算法在很多领域都有应用,如:

  1. 统计学:可以用于分析社会经济数据、市场调查等。例如,可以将消费者按照消费行为聚类到不同的类别中,以便更好地制定市场策略。

  2. 生物学:可以用于生物学中的基因表达聚类分析、群落分析等。例如,可以将相似物种聚类到不同的类别中,以便更好地分析生态系统。

  3. 图像处理:可以用于图像分割、图像分类等。例如,可以将相似的图像或像素点聚类到不同的类别中,以便更好地处理图像。

  4. 无监督学习:作为一种无监督学习的算法,k均值聚类可以用于无标签数据的分类和聚类分析。

总之,k均值聚类广泛应用于数据挖掘、模式识别、图像处理等领域。

文章来源:https://blog.csdn.net/chengbi0653/article/details/132763122
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。