聚类分析

这是分析结果的原话：“你们这次 RFM 分群出来的‘高价值客户’，在最近一次大促里，对专属折扣的响应率，还没群发组的零头高。”会议室里空气凝固了。我看着桌上的报告，轮廓系数 0.82，高维可视化里三个群分得漂漂亮亮，肘部图也指向 K=3，几乎所有教科书式的指标都在告诉我们：这模型做对了。可现实给了我们一记响亮的耳光。 那是我第一次真正理解，聚类分析在黑板上教你的，和它在真实数据里对你做的事，根本是…

我浪费了三个月，才明白聚类效果差的根源不在算法 去年这个时候，我带的一个数据科学项目正陷入僵局。老板要我从几十万用户里切出五到八个有价值的细分人群，用来做精准营销。我信心满满地写了K-Means代码，数据一扔进去，跑了几十次，每一次出来的结果都不一样。更让人崩溃的是，轮廓系数永远在0.2附近徘徊，业务方看了我的分组结果，给的评价是：“这几个群不是看起来差不多吗？” 我当时的第一反应是算法有问题。是…

去年我在做一个电商用户分群项目时，遇到了一个让我头疼了整整三天的场景。 K-Means 聚类跑完之后，我看着三条不同的评估曲线陷入了沉默。肘部法则给出的拐点在 K=4 附近，轮廓系数在 K=6 时达到了峰值 0.42，而 Calinski-Harabasz 指数干脆告诉我 K=3 是最优解。 三个指标，三个答案。运营团队就在会议室外面等着我的分群结果做下一季度的投放策略，而我在三个 K 值之间反复…

去年双十一复盘会上，运营团队把一份“高价值用户名单”投在我面前。四万多条记录，按“最近一次购买时间在30天内、累计消费金额大于800元”筛选出来的。短信、PUSH、私域券全打了一遍，最终转化率只有0.27%，比平台平均还低了接近一半。运营负责人问我：画像是不是跑偏了？我回了一句让她愣了半天的话：“不是画像跑偏了，是你定义的‘高价值用户’里，至少混进去了三种压根不搭界的角色。” 做电商用户画像这么多…

你对着一堆评论数据，准备做主题挖掘。同事说“用 TF-IDF 加 K-Means 跑一下就好了”，你在网上搜了一圈，又看到有人说“TF-IDF 太老了，语义都抓不住，用词向量才靠谱”。两边听起来都有道理，但你拿自己的短评数据一试，词向量那组聚类结果像一锅粥，TF-IDF 那组勉强能看但又总觉得缺了点什么。 这类场景我经历过不下七八次，踩过的坑能填满一个 Git 提交记录。这篇文章要解决的正是这个问…

去年帮一家消费金融公司排查坏账异常时，我们撞上了一堵墙。规则引擎每天推送上百条可疑交易，业务团队逐条排查，三个月后精力耗尽；引入孤立森林做粗筛，确实把大部分明显离群点抓了出来，但一批“看起来正常、金额不高、时间分散、账户年龄两年以上”的团伙作案全部漏过。最后是 DBSCAN 救的场：这批老账户在交易频次维度上形成了几个人口密度极低的小簇，被 DBSCAN 标记为噪声。平均单笔损失只有几百块，但总量…

层次聚类与K-Means：聚类分析算法的全面对比 上周三凌晨两点，我盯着屏幕上的轮廓系数，0.18。这是我第三次用K-Means跑用户分群，K值从5试到15，标准化做了两遍，结果依然像随机分堆。业务方第二天要方案，我说“再给我一小时”，然后切到层次聚类，同样的数据，树状图一出来，我立刻意识到问题在哪：我的数据根本不是凸球形分布，而是层层嵌套的消费层级结构。 这不是一个调参问题。这是一个选算法的问题…

很多人问我：“为什么我用K-Means做用户分群，特征工程搞了两周，聚类结果还是一团糟？”我一般只回一句：你检查过距离度量了吗？十次里有八次，问题不在特征、不在聚类数K，而在那个最容易被鼠标划过去的参数，metric。 这不是理论推演，是我过去四年在电商、内容推荐和异常检测项目里反复验证出来的结论。这篇文章不会罗列几十种距离度量凑字数，我只讲三个真正高频使用、且选择逻辑彼此对立的核心度量：欧氏距离…

在一次为某中型电商平台做用户运营咨询时，我遇到了一个典型困局：团队手里有300万条用户交易记录，老板要求“用数据驱动精细化运营”，结果他们产出的客户分层只有三类，高价值、中价值、低价值。这不是个例。过去五年，我亲眼见过太多企业把客户细分做成了“按消费金额排序，然后切三刀”。每次看到这种分法，我都忍不住想问一句：难道月消费5000元、只买母婴产品的新手妈妈，和月消费5000元、只买数码产品的学生，在…

接触过上百个真实业务场景后，我越发确信一件事：聚类分析从来都不是一个纯粹的技术问题，而是一道用算法翻译业务语言的阅读理解题。 半年前，一家连锁零售品牌的运营总监找到我，甩过来一张表：“我们有300万会员的消费数据，你把用户分成高价值、中等价值和低价值三类，我好做精准营销。”听起来很简单，对吧？随便跑个K-means，K=3，完事。 结果那天晚上，我的K-means模型吐出来的三个“用户群”把他给气…