本文共 450 字，大约阅读时间需要 1 分钟。

线下AUC提升，线上AB测试无提升

1. 判断线上线下特征提取是否一致？

2. 数据是否泄露，简言之，倒因为果，某特征跟目标有很高相关性？

3. 是否需要一味地添加特征？

4. 线上线下样本空间分布是否一致？比如：推荐系统中，训练数据集合，仅包含有点击行为的用户，过滤了无点击行为的用户，这样的过滤是否合理，是否通过随机负采样保留仅负样本用户数据，通过AB测试检验

5. 训练数据中，高活跃user bias 是否去除，比如高活跃用户每天产生100个点击行为，而低活跃度用户，每天仅1-2个点击行为，这样，这样为处理的数据，训练出来的模型受高活跃用户影响较大，实际需要，降采样高活跃用户行为数据样本，使不同活跃用户样本基本一致 -- Youtube早期论文做法

6. 理解业务，负样本一定是负样本么？举例：某电影推荐场景，每次推荐6部电影，用户可能点击其中某一部，而，因为时间等因素，用户看完一部之后，不再看其它电影，而其他电影一定是负样本么？ 这时，负样本应该怎么处理呢？这个值得考虑

未完待续。。

转载地址：http://jucqb.baihongyu.com/