聚类分析中的距离度量选择：欧氏距离、曼哈顿距离与余弦相似度

很多人问我：“为什么我用K-Means做用户分群，特征工程搞了两周，聚类结果还是一团糟？”我一般只回一句：你检查过距离度量了吗？十次里有八次，问题不在特征、不在聚类数K，而在那个最容易被鼠标划过去的参数，metric。

这不是理论推演，是我过去四年在电商、内容推荐和异常检测项目里反复验证出来的结论。这篇文章不会罗列几十种距离度量凑字数，我只讲三个真正高频使用、且选择逻辑彼此对立的核心度量：欧氏距离、曼哈顿距离、余弦相似度。更重要的是，我会给你一套可以直接套用的选择框架，让你下一次在算法里填'euclidean'还是'cosine'时，心里有数。

一、先扔结论：别指望“各有利弊”，你要的是决策树

市面上绝大多数教程讲到这个主题，最后落点都是“没有最好的度量，只有最合适的度量”。这句话没错，但它什么都没帮你选。我要给的是一个可以操作的决策路径，它由三个关键问题驱动：

1. 你的数据是稠密数值型，还是高维稀疏型？
2. 你关心的是样本间的绝对“量级差”，还是相对“形态差”？
3. 你的聚类算法对距离度量有没有硬性约束？

这三个问题问完，该用什么度量就已经有答案了。至于那些“欧氏距离适合低维、曼哈顿距离适合高维”之类的泛泛之谈，等你用真实数据跑过一次就会发现根本靠不住，我见过在200维稠密传感器数据上欧氏距离秒杀曼哈顿距离的案例，也见过20维稀疏文本数据上用欧氏距离聚类基本等于随机分堆的惨剧。维度高低不是关键，数据分布特征才是。

二、从头补起：为什么距离选择是聚类里最被低估的关键环节

这里我不复述聚类分析的定义，跳过。我想讲的是大多数人在项目流程中把这个选择放在哪个位置，以及为什么那个位置是错的。

典型流程是这样的：拿数据→做EDA→选特征→标准化→选K值→跑聚类→调参。距离度量呢？默认欧氏距离，从头到尾没换过。这在很多项目里就像你买了一台专业单反然后一直用自动模式拍，不是不行，但大概率拍不出你想要的东西。

聚类算法本质上只做一件事：基于某种相似性或距离定义，把样本划分成组内差异小、组间差异大的若干子集。这里的“差异”怎么量化，直接影响最终的组内组间结构。换个距离度量，就等于换了一套判断“谁跟谁应该在一起”的底层标准。K-Means收敛了、DBSCAN把点分堆了，不代表这些聚类结果对业务有意义，那只是算法在某个度量空间里完成了它的数学任务而已。

我做内容推荐聚类时掉过一个典型的坑。用户-文章交互矩阵经过SVD降维后得到稠密向量，我图省事直接用欧氏距离跑K-Means，结果发现聚类出来的用户群特征模糊，组间差异远小于组内差异，这意味着聚类基本失效了。后来我做了两个诊断动作：

• 检查了各簇中心在特征空间的分布，发现它们确实在欧氏意义下分开了，但分开的依据是用户活跃时长的绝对值，而不是阅读偏好模式。
• 计算了同一用户在不同时期的行为向量之间的欧氏距离和余弦相似度，发现欧氏距离变化幅度很大（受用户总体活跃度波动影响），而余弦相似度稳定得多。

问题根源找到了：我的业务目标是对阅读偏好分群，而不是对活跃度分群。余弦相似度关心向量方向上的“偏好结构”，欧氏距离关心向量终点上的“绝对能量”。用错了度量，就等于用错了你给聚类算法制定的游戏规则。

三、别把“标准化”和“距离选择”分开看，它们是联动的

讲度量选择之前我必须先把这个前提焊死在文章里，因为太多人在这一步摔跟头了。欧氏距离对特征的量纲极其敏感，这件事虽然被反复提及，但很多人理解的“敏感”只是“值会变大变小”，没意识到这意味着什么。

假设你要聚类用户，选择了两个特征：年龄（范围18-70，单位：岁）和年消费金额（范围0-500000，单位：元）。不做任何处理直接扔进欧氏距离计算，会发生什么？年消费金额会绝对主导距离计算结果，两个样本在年龄维度上差30岁，在欧氏距离公式里的贡献是(30)²=900；在消费金额维度上差10000元，贡献是(10000)²=1亿。后者把前者彻底吞没了，你的“用户多维度聚类”实际上变成了“按消费金额分档”。

这件事的解决方案是标准化。但标准化的方式本身也是选择的一部分：

• Z-score标准化（去均值除标准差）：让每个特征都变成均值为0、标准差为1的分布。这是最常规的做法，适用于大多数稠密数值数据。
• Min-Max缩放：将所有特征压缩到0-1区间。对存在明确边界的数据有意义，但受异常值影响极大。
• L2归一化：将每个样本向量除以其L2范数，使得所有样本落在单位超球面上。这直接把欧氏距离和余弦相似度建立了数学联系，对L2归一化后的向量，欧氏距离和余弦距离是等价的（确切地说，欧氏距离的平方等于2-2倍余弦相似度）。

最后这一点，在实际项目里极其实用但几乎被所有入门教程忽略。如果你对稠密向量做了L2归一化再用欧氏距离，你实际上就是在用余弦相似度在聚类。反过来，如果你对一个已经Sparse到基本只剩方向信息的高维向量求欧氏距离，你会得到一个几乎没有区分度的数值。

所以我的第一层判断逻辑是这样：先确定你手里数据是否需要标准化以及怎么标准化，再讨论选什么度量。很多时候标准化方式一确定，度量选项就自然收窄了。

四、第一问：你的数据是稠密数值还是高维稀疏？这是分叉口

这是判断门槛最低、但最能快速排除错误选项的一问。

场景A：稠密连续型数据，特征之间尺度可比（或已标准化）

这种情况下欧氏距离是默认选项，但需要注意检查特征维度。在我的经验里，当特征维度超过50以后，需要警惕“维度灾难”对欧氏距离的扭曲效应。这个效应可以用一句话描述：随着维度增加，空间中任意两点之间欧氏距离的分布会急剧收窄，最近点和最远点之间的差距会消失。这不是我瞎说的，这是Beyer等人1999年在论文里证明的结论，高维空间中，所有点对之间的距离趋于相等。

但“高维”具体是多高，取决于你的数据分布。我在一个工业设备传感器项目里处理过96维的振动频谱数据，维度够高了，但特征之间有强相关性，实际有效维度只有不到15维，欧氏距离完全没问题。反过来，一个100维的TF-IDF文本向量，即使经过标准化，因为大部分维度都是0，用欧氏距离跑K-Means聚类出来的结果几乎是随机的。

场景B：高维稀疏数据（文本、推荐、基因组学等）

这一类数据有个共同特征：大部分维度取值为0，非零值只出现在少数维度上。判断这类数据的核心不是维度总数，而是稀疏度（非零值占比）。

TF-IDF文本向量是典型例子。一篇文档里出现的词只占词典总量的一小部分，这意味着两个文档向量在绝大多数维度上都是0-0对。欧氏距离会把这些0-0对也计算进去，结果是文档长度对距离的影响远大于文档内容对距离的影响，两篇完全不相关的长文档之间的欧氏距离，很可能比两篇高度相关的长短文档之间的欧氏距离还要小。这个现象我踩过实际的坑：用欧氏距离聚类新闻文章，结果同一簇里既有财经长文又有体育战报，因为它们字数相近；真正的财经相关文章因为长度差异被分到了不同簇。

对于这类数据，余弦相似度是更好的选择，因为它只关心非零维度的方向一致性，天然忽略了由稀疏性带来的“共同0值”对相似度的虚高贡献。这里补充一个很少被提及但极其重要的技术细节：在使用余弦相似度之前，对TF-IDF向量再做一次L2归一化是个稳妥做法，它能确保文档长度完全不影响计算结果，且在某些库的实现中（如scikit-learn的cosine_similarity），输入已经是L2归一化后的向量可以显著提速。

五、第二问：你关心“量级”还是“形态”？这一问区分欧氏和余弦

这是三个问题里最关键但最容易被模糊处理的一问。我用一个真实业务场景来讲清楚。

在电商用户分群中，假设我们构建了这样的特征向量：近30天登录天数、近30天浏览商品数、近30天加入购物车次数、近30天购买次数、近30天消费总金额。经过标准化后，两个用户分别长这样：

• 用户A：[0.8, 1.2, 1.0, 1.5, 2.1]，标准化值都偏高，一个高活跃高消费用户
• 用户B：[0.7, 1.1, 0.9, -0.3, -0.5]，前三个活跃度高，后两个消费行为偏低

欧氏距离的视角：用户A和用户B的差异在于购买次数和消费金额有显著差距，算法会倾向于把消费能力相近的人放在一起。结果是按“购买力层级”分群。

余弦相似度的视角：两个用户在登录、浏览、加购维度上的方向高度一致（都是正值），说明行为模式相似，只是消费环节的转化表现不同。算法会倾向于把行为模式相近的人放在一起。结果是按“行为偏好或用户旅程阶段”分群。

哪种分群方式对业务更有价值？没有绝对答案，取决于你接下来要做什么。如果要做优惠券精准投放、按消费能力分层运营，欧氏距离更合适。如果要分析用户行为漏斗、找转化瓶颈的共性特征，余弦相似度能给出更合理的群组结构。

这是一个核心判断准则：如果你的业务目标是对“谁更大谁更小”敏感，选欧氏距离；如果是对“谁更像谁”敏感，选余弦相似度。更准确地说，欧氏距离衡量绝对位置差异，余弦相似度衡量相对方向差异。方向一致但长度不同的两个向量，在欧氏距离下可能很远，但在余弦相似度下会非常接近。

这个特性还有一个不常被提及的应用场景：异常检测。如果你关注的是“行为模式的突变”而非“行为量的突变”，余弦相似度是更好的度量。一个用户购买金额从2000元涨到3000元，这在欧氏距离下变化很大，但购买品类比例保持稳定，这是正常用户的价值升级，不是行为异常。另一个用户购买金额不变，但购买品类结构突然完全变掉，余弦相似度能敏锐地捕捉到这种模式偏离。

六、第三问：你的算法对度量有硬性约束吗？

这一问直接过滤掉那些理论上不错但实操上用不了的选项。

K-Means的限制

K-Means可能是被误解最多的聚类算法。很多人以为只要把metric参数一换就可以随意切换距离度量，但K-Means的数学机理决定了它和欧氏距离是深度绑定的。原因在于K-Means更新簇中心时用的是簇内样本的均值（mean），而均值是使簇内欧氏距离平方和最小化的唯一最优解。如果你用曼哈顿距离，对应的簇中心应该是中位数（median），而不是均值。这就是为什么K-Medoids算法（如PAM算法）才是曼哈顿距离的正确搭档，它以实际样本点作为簇中心，通过最小化簇内点到中心点的曼哈顿距离之和来优化。

简单总结：标准K-Means请老老实实用欧氏距离。如果你判断曼哈顿距离更合适，请换到K-Medoids或者PAM。有些库（比如scikit-learn里非公开发布的某些变体）声称支持K-Means + 曼哈顿距离，但实际运行时可能会有收敛问题或聚类质量退化，需要额外验证。我在一个项目中尝试过K-Means配合曼哈顿距离聚类用户地理位置数据，结果迭代过程中簇中心频繁震荡，收敛轮次从欧氏距离下的15轮左右暴涨到超过80轮才勉强稳定。

层次聚类与DBSCAN的灵活性

这两个算法对距离度量的选择宽容得多。层次聚类（Agglomerative Clustering）只要距离矩阵满足对称性和非负性就能跑，欧氏、曼哈顿、余弦（需先转换为距离，即1-余弦相似度）都支持。DBSCAN的核心是ε邻域的定义，欧氏距离和曼哈顿距离都可以直接用来定义邻域，但余弦距离需要谨慎，因为高维稀疏数据在余弦距离下，邻域的几何含义和低维空间很不一样，ε的设定可能需要重新校准。

还有一个实践细节：scikit-learn的DBSCAN默认metric='euclidean'，但通过metric='cosine'可以直接使用余弦距离，背后会自动处理距离矩阵的计算。不过如果你用metric='manhattan'，要知道DBSCAN的邻域在曼哈顿距离下是一个菱形而非欧氏距离下的圆形，这会略微影响ε参数的调参直觉。

谱聚类的特殊场景

谱聚类在底层使用的是相似度矩阵而非距离矩阵，所以它天然更适配余弦相似度这类相似度量。但谱聚类也可以接受欧氏距离，通过高斯核（RBF核）将其转换为相似度。这里的关键参数是gamma，它控制着“多远算远”的衰减速度。用欧氏距离+高斯核的谱聚类，本质上和直接使用余弦相似度的谱聚类，关注的数据结构不同：前者对绝对距离敏感（受gamma调节），后者对角度敏感。

七、曼哈顿距离凭什么被低估？讲清楚L1 vs L2的真正分水岭

曼哈顿距离在教程里的出场方式通常是“纽约街区类比”配一个网格图，然后就没下文了。真正在项目里用过曼哈顿距离的人会发现它的价值不在“街区”比喻，而在它对异常值和噪声的鲁棒性，以及在高维场景下的某些独特表现。

先说鲁棒性。欧氏距离因为用了平方项，会把大偏差放大。一个离群点在欧氏距离下会让簇中心被拉向它，曼哈顿距离用绝对值代替平方，对离群点的惩罚是线性的，拉偏效应弱得多。这一点在金融风控中尤其有价值，交易金额的分布是典型的重尾分布，少数超大额交易如果用欧氏距离聚类会严重扭曲簇结构。我做过一个信用卡交易行为聚类，原始数据包含交易金额特征，用欧氏距离跑出来簇中心的值远高于簇内中位数，说明簇中心已经被少数大额交易“绑架”；换成曼哈顿距离配合K-Medoids之后，簇中心更贴近大多数样本的实际行为水平。

再说高维表现。有一个理论观点流传很广：曼哈顿距离在高维空间比欧氏距离更有区分度。这个说法的来源是Aggarwal等人2001年关于高维距离度量对比的研究，结论是L1范数（曼哈顿）对维度增长的敏感度低于L2范数（欧氏）。但这里有一个重大前提常被省略：当高维数据的非零值分布在多个维度上且分布较为均匀时，曼哈顿距离确实能保持更好的对比度；但如果数据是极端稀疏的（绝大多数维度为0），余弦相似度才是更优解。

怎么区分？如果你的数据是基因表达矩阵（样本×基因），每个样本可能有几千个基因的表达值，其中表达值普遍非零但水平各异，曼哈顿距离是值得考虑的选项。如果你的数据是文本TF-IDF矩阵，每个文档只激活了词典中极小比例的维度，这时候优先考虑余弦相似度，曼哈顿距离虽然比欧氏距离好一些，但依然不是最优。

八、余弦相似度不是万能药：它也有失效场景

余弦相似度近几年在推荐系统和NLP领域被捧得很高，几乎成了“文本聚类标配”。但它的局限性很少有人讲透，这里补上。

失效场景一：零向量问题。如果样本向量是全零向量（比如某个用户在过去30天没有任何行为记录，TF-IDF文档向量如果做了去除停用词后某些短文本可能只剩零），余弦相似度的分母为零，计算直接报错或者返回NaN。在你的pipeline里如果没做零向量过滤，跑聚类跑到一半突然崩溃的经历应该不少人都遇到过。处理方式是预先识别并剔除零向量样本，或者对零向量赋予一个极小的扰动值让计算能通过（但这不是好办法，会引入人为偏差）。

失效场景二：方向信息不足以区分时。这是更容易被忽视的问题。余弦相似度的高区分度建立在向量有足够多的非零维度、且非零取值有足够的变化性基础上。如果数据经过太激进的降维（比如SVD降到了2维或者3维），大部分向量的方向开始趋同，余弦相似度会失去分辨力。我在一个项目中把128维的文本嵌入降到3维做可视化，发现用余弦相似度聚类时几乎所有样本的成对相似度都在0.85以上，区分度极低，这不是文本不相似，是降维损失了方向信息。

失效场景三：负值特征处理。余弦相似度的取值范围是[-1,1]，但实际聚类中经常把负余弦相似度截断为0（因为大部分聚类算法要求距离矩阵非负）。如果你的数据特征本身就包含有意义的负值（比如情感分析中的情感得分可正可负），那么简单的截断会丢失反相关信号。两个用户如果都讨厌同一类商品（均为负值特征），他们其实是“相似”的，但原始余弦相似度可能是正值（方向一致），这没问题；但如果一个用户喜欢（正值）另一个讨厌（负值），他们方向相反，余弦相似度会正确给出负值，而截断为0后就变成了“不相似也不反相关”的中间态，丢失了信息。处理办法是视业务场景决定是否保留负值信息，若需要保留，要把余弦相似度映射到0-2范围（距离=1-余弦相似度），而不是截断。

九、一个被严重忽视的因素：聚类的可解释性要求

非技术利益相关者（产品经理、业务负责人、甚至你自己在做汇报时）需要理解“为什么这些用户被分到了一个组”。这个要求会反推你的距离度量选择。

欧氏距离聚类的可解释性是三种度量里最好的。你可以清晰地说：“这个簇的用户在近30天消费金额和登陆频率上都处于高位，他们和其他簇的核心差异是绝对值上的差距。”业务方能听懂。

曼哈顿距离的可解释性稍弱，但依然在接受范围内。它的解释框架和欧氏距离类似，只是“差异计算方式不同”，对大多数非技术听众来说这个区别不影响理解。

余弦相似度的可解释性是一个硬骨头。你需要向业务方解释：“这两个用户消费金额差了三倍，但因为购买品类的比例相似，所以被分到了一起。”这要求业务方接受的不仅是聚类结果，还包括一套新的“相似性”定义。如果你的stakeholder对数据成熟度不高，这会是一个沟通成本很高、甚至会导致结果不被采纳的环节。

我的做法是这样：在实际项目中，如果聚类结果需要直接交付给业务团队使用，我会优先评估欧氏距离（在标准化后）的聚类质量。如果欧氏距离确实因为数据特性而产生不合理分群，再考虑切换到其他度量，并且准备好对应的可解释性叙述。这是一个工程上的取舍，不是数学问题。

十、一个可复用的选择框架：整合三问

我把前面分散在各章的判断逻辑收敛成一个整合框架。当你面对一个新项目，按以下顺序走一遍：

步骤1：检查算法约束。

• 如果用K-Means，度量锁定为欧氏距离（或L2归一化后的等价余弦）。如果数据特性要求用其他度量，换算法（K-Medoids、层次聚类等）。
• 如果用层次聚类或DBSCAN，度量选项开放，进入下一步。

步骤2：检查数据特性。

• 高维稀疏数据（稀疏度>80%，非零值集中在少数维度）→ 余弦相似度优先。
• 稠密数据，特征已标准化 → 欧氏距离优先。
• 稠密数据，存在已知的异常值且不打算剔除 → 曼哈顿距离考虑（注意算法兼容性）。

步骤3：对齐业务目标。

• 业务关心绝对值差异（“这个用户消费额是那个的5倍”） → 欧氏距离。
• 业务关心模式差异（“这个用户和那个用户买的东西类型很像”） → 余弦相似度。
• 业务对异常值敏感，不希望极端值主导聚类 → 曼哈顿距离。

步骤4：验证与迭代。

• 聚类完成后检查簇内紧密度和簇间分离度（用轮廓系数或多重指标交叉验证）。
• 检查每个簇的业务可解释性，至少抽查簇中心的特征取值是否符合直觉。
• 如果聚类质量不理想，返回步骤2重新评估，不要陷在单一度量的局部最优里。

十一、混合使用与边界地带：有些场景单一度量不够

到这一步你可能已经能独立完成大部分场景下的度量选择，但现实中还有一类情况让这套框架显得不够用：数据特性混合、业务目标混合。

一个典型棘手场景：电商平台要做全生命周期用户分群，特征里既有用户的基本属性（年龄、注册天数，量级差异大），又有行为偏好特征（品类偏好TF-IDF向量，高维稀疏），还有消费能力指标（近一年消费总额，长尾分布）。你看，三种度量的适用场景同时出现，怎么办？

这类情况的标准解是分阶段聚类或者多视图聚类，而不是硬选一个度量套在所有特征上。实操上可以这么拆：

• 先用余弦相似度对行为偏好特征做第一层聚类，得到“偏好原型”。
• 再在每一个偏好原型内部，用欧氏距离（标准化后）或曼哈顿距离对消费能力和基本属性做第二层聚类，得到“价值分层”。

这样两层下来，你既有偏好的精细化分群，又有价值的高低分层，比硬用一个度量在所有特征上能给出更有业务深度的分群结构。类似思路也可以用在混合距离矩阵的构建上，对不同类型的特征组分别计算对应的距离/相似度矩阵，然后加权融合成一个综合距离矩阵，送入层次聚类或谱聚类。

这种做法增加了复杂度，但在用户分群、客户细分等对结果质量要求高的场景里是完全值得的投入。相比“选了错误的度量跑出错误的聚类然后做错误的业务决策”的成本，多一点工程复杂度根本不算什么。

十二、总结：选度量不是仪式，是你对数据和业务的判断投射

距离度量很容易被当成聚类算法的附属参数，但实际上它是你在告诉算法“两个样本在什么意义上是相似的”。这个选择的本质，是你对数据结构的判断、对业务问题的理解，以及你愿意为聚类结果付出的解释成本，三者之间的权衡结果。

我用一句话来锚定本文的核心主张：做聚类之前，先问自己，如果两个样本被我判定为“应该在一起”，那判断依据是它们在特征空间里的绝对位置相近，还是它们的特征方向一致，还是我不希望少数极端样本影响这个判断？三个选项分别指向欧氏距离、余弦相似度和曼哈顿距离。

下一步是什么？如果你手头正有一个聚类项目，打开代码，找到metric或者affinity那个参数，按本文的四步框架重新审视一次你的选择。如果选的还是默认的欧氏距离，问自己一句：我是因为做了分析后确认它合适，还是因为我从来没想过要换？如果是后者，花30分钟跑一遍替换方案做对比，轮廓系数的变化会告诉你答案。

如果你读完之后觉得“好像选哪个都有道理，还是不确定”，这是正常的，因为真正让选择变难的从来不是数学公式的区别，而是你对数据的理解还不够深。这种情况下，优先把精力花在做更细致的探索性数据分析上，而不是纠结于度量选择本身。对数据有了深刻理解之后，度量选择会变成一个自然涌现的决定，而非一个有标准答案的考试题。