数据清洗
-
从Excel迁移至i人事系统后员工自助查询模块的启用门槛评估
大概在去年第三季度，我帮一家 340 人的医疗器械公司做薪酬体系梳理时，IT 部门负责人私下问我：系统我们已经买了，Excel 里的数据也导进去了，但员工自助查询这块，我们到底要不要一次性全开？他怕一开，员工的疑问、投诉、密码重置请求会直接淹没 IT 和 HR。 这不是孤例。过去两年我参与过 11 家企业在 i人事上线过程中的数据迁移和模块启用评估，启用门槛这个词，被严重误读了。 多数人以为它是技…
-
用 claude code 将 Excel 数据转换成 Python 处理脚本
去年双十一，我帮朋友处理一份电商后台导出的Excel订单表。整整 87 个 Sheet，每个 Sheet 的列名都不统一，“买家姓名”有的叫“收件人”、有的叫“收货人姓名”、有的干脆是“name”，日期格式更是千奇百怪。朋友说他们财务为了做对账，三个人手工整理了一周，最后还弄错了好几十条记录。我花了大概 20 分钟，在 Claude Code 里用几句话描述了数据结构和我想要的结果，它帮我生成了一…
-
claude code 在 Jupyter Notebook 中的交互式编程体验
上周四凌晨两点，我盯着 Jupyter Notebook 上一个报错已经四十分钟。数据清洗脚本跑到第三个 Cell 就挂了，KeyError: 'purchase_date'，但我在 CSV 文件里分明看到这个列名。检查过编码、检查过分隔符、检查过列名空格，一切看起来都对。 按传统流程，我应该继续逐行 print、查 df.columns、写一串防御性代码。但我那天换了种做法：…
-
ChatGPT数据训练过程：从海量文本到智能对话
去年有个做AI创业的朋友问我一个问题：“我们团队花了三个月时间，把市面上能找到的几十万篇中文文章喂给一个开源的Transformer模型，为什么它生成的内容还是像在背课本，完全没有ChatGPT那种‘懂得举一反三’的感觉？” 我让他把整个训练链路复述一遍之后，发现了一个特别典型的问题，他们以为自己在复现ChatGPT的训练过程，但实际上只完成了整个流程里最不重要的那30%。大部分人聊ChatGPT…
-
数据分析实战：从0到1搭建用户画像
很多人一听到“用户画像”四个字，脑子里立刻弹出一张庞大的架构图：Hadoop集群、Spark流处理、数据仓库分层、算法挖掘标签……仿佛没有个十人团队和三个月工期就不配开工。 但真实世界不是这样运转的。我去年帮一个做精品咖啡烘焙的朋友搭过一版画像，数据源就三个Excel，服务器是一台16G内存的办公电脑，工具是SQL加Python脚本。跑完第一轮，圈出来的种子用户让新品首周复购率达到39%，不是模型…
-
hr软件数据迁移避坑手册
每当有团队告诉我“我们只是把HR数据从老系统迁到新系统，应该很快”，我就知道，这个项目的实际难度可能被低估了至少三倍。过去两年，我以独立顾问的角色参与并救回了四个数据迁移项目，最严重的一个案例中，客户在UAT的最后一周发现，过去三年的绩效评分由于映射逻辑错误全部偏移了两个等级。这不是技术故障，这是认知塌方。 一、核心结论：数据迁移不是搬家，是重新装修 在聊具体操作前，必须先打破最大的幻觉。多数HR…
