识别样本污染的关键,不是看总流量涨跌,而是先确认同一批访客是否被稳定分配到同一个版本。最直接的动作是给每个版本打上可观测标记,再按“来源—落地版本—后续行为”拆开对比;如果标记无法稳定对应版本,后续所有比较都应暂停,先修分配逻辑。
你可能会遇到一种情况:站点总访问量没有明显异常,但旧版和新版的转化率、停留时长或页面深度出现方向相反的波动。比如旧版转化率下降,新版也下降,可合并看却接近持平。这时不要急着归因于内容质量或算法变化,先怀疑样本污染——同一类访客被随机或错误地分到了不同版本,导致每个版本的样本都不再代表原本人群。
样本污染不等于流量造假,也不等于统计工具坏了。它更常见于旧系统退出、旧合作关系结束或旧内容迁移期间:分流规则、缓存、跳转链路或客户端脚本仍在部分生效,访客进入的版本和后台记录的版本不一致。
第一种解释是分流规则失效。原本按比例分配访客的逻辑被旧缓存、旧跳转或残留脚本干扰,部分用户实际看到A版本,却被记录成B版本。第二种解释是统计口径错位。第三方估算、搜索引擎报告和站内统计对“访问”的定义不同,有的按会话,有的按页面加载,有的按去重用户;当版本切换涉及跳转或异步加载时,同一访客可能被重复计入不同版本。
两者的共同点是分版本数据不可比,区别在于:前者是分配错误,后者是记录错误。你需要用证据把两者分开,而不是直接合并数据做结论。
先做一个小范围验证,假设旧版仍保留10%流量,新版承接90%。给两个版本分别加上稳定的版本标识,例如在页面模板中输出一个可被统计工具读取的字段:
<meta name="page-version" content="v2">
然后按来源拆分,观察同一来源的访客是否始终落在同一版本。如果某来源的访客在多次访问中版本标识频繁跳变,偏向分流规则失效;如果版本标识稳定,但站内统计的会话数明显高于第三方估算的独立访客数,偏向统计口径错位。
接下来检查跳转链路。旧合作关系退出时,常留下旧域名或旧路径的跳转。用一次完整的访问记录看:访客从入口到落地,中间是否经过额外跳转,跳转后版本标识是否被覆盖。若覆盖发生在跳转环节,优先修跳转;若覆盖发生在客户端脚本执行之后,优先修脚本加载顺序。
还要区分“访问量归零”的合理解释。某个旧版本访问量突然归零,可能是分流已完全关闭,也可能是统计标记被移除,还可能是缓存导致旧标记不再上报。单独一个归零现象不能证明分流处理正确,必须结合版本标识是否仍存在、跳转是否仍生效、站内搜索日志是否还有对应入口来判断。
在证据不足时,实际动作是冻结分版本对比:不再用旧版和新版的转化率做决策,只保留总访问量和来源趋势作为背景。冻结后,集中验证三件事:版本标识是否稳定、跳转链路是否唯一、同一访客是否被重复计数。
如果版本标识稳定且跳转唯一,但重复计数仍存在,下一步是统一统计口径,而不是继续调整分流比例。如果版本标识不稳定,下一步是清理旧缓存、旧脚本和旧跳转,再重新开启小流量对比。这个顺序能避免在污染样本上反复调参。
旧内容、旧系统或旧合作关系退出时,不必全部删除。判断保留与否,看它是否仍能稳定承接特定来源,并且不干扰版本分配。假设某旧页面仍带来少量但稳定的直接访问,可以先保留页面,但移除其参与分流的逻辑,让它只作为独立落地页存在。这样既保留入口价值,又不污染新版对比样本。
如果旧页面必须参与分流,就给它单独标记并单独统计,不和新版混在同一组对比里。只有当版本分配、跳转链路和统计口径三者都能稳定对应时,分版本数据才值得用来做下一步决策。