过度拟合(overfitting)是指数据模型在训练集里表现非常满意,但是一旦应用到真实业务实践时,效果大打折扣;换成学术化语言描述,就是模型对样本数据拟合非常好,但是对于样本数据外的应用数据,拟合效果非常差。在我们数据分析挖掘业务实践中,就是“模型搭建时表现看上去非常好,但是应用到具体业务实践时,模型效果显著下降,包括准确率、精度、效果等等显著下降”。

过拟合的第一个原因,就是建模样本抽取错误,包括(但不限于)样本数量太少,抽样方法错误,抽样时没有足够正确考虑业务场景或业务特点,等等导致抽出的样本数据不能有效足够代表业务逻辑或业务场景;

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

过拟合的第二个原因,就是样本里的噪音数据干扰过大,大到模型过分记住了噪音特征,反而忽略了真实的输入输出间的关系;

过拟合的第三个原因,就是在决策树模型搭建中,如果我们对于决策树的生长没有合理的限制和修剪的话,决策树的自由生长有可能每片叶子里只包含单纯的事件数据(event)或非事件数据(no event),可以想象,这种决策树当然可以完美匹配(拟合)训练数据,但是一旦应用到新的业务真实数据时,效果是一塌糊涂。

过拟合的第四个原因,就是建模时的“逻辑假设”到了模型应用时已经不能成立了。任何预测模型都是在假设的基础上才可以搭建和应用的,常用的假设包括:假设历史数据可以推测未来,假设业务环节没有发生显著变化,假设建模数据与后来的应用数据是相似的,等等。如果上述假设违反了业务场景的话,根据这些假设搭建的模型当然是无法有效应用的。

过拟合的第五个原因,就是建模时使用了太多的输入变量,这跟上面第二点(噪音数据)有些类似,数据挖掘新人常常犯这个错误,自己不做分析判断,把所有的变量交给软件或者机器去“撞大运”。须知,一个稳定优良的模型一定要遵循建模输入变量“少而精”的原则的。

上面的原因都是现象,但是其本质只有一个,那就是“业务理解错误造成的”,无论是抽样,还是噪音,还是决策树,神经网络等等,如果我们对于业务背景和业务知识非常了解,非常透彻的话,一定是可以避免绝大多数过拟合现象产生的。因为在模型从确定需求,到思路讨论,到搭建,到业务应用验证,各个环节都是可以用业务敏感来防止过拟合于未然的。

入世,出世,都是一样的“道”,所谓“道”从来不离开我们半步,只是看我们自身是否足够清净,足够醒悟,足够真实而已。佛法有八万四千法门,但是这些林林总总的都是不同的方便路径,归根结底,佛法的根本只是“认识我们与生俱来的本来面目,真如自性”而已。

过拟合的产生,原因种种,不一而足,但是这种分类和剖析只是人为的方便而已,防止过拟合的终极思路就是真正透彻理解业务背景和业务逻辑,有了这个根本,我们一定可以正确抽样,一定可以发现排除噪声数据,一定可以在决策树、神经网络等算法中有效防止过拟合产生的。

当然,除了上面“业务透彻了解”这个根本外,也有一些技术层面的方法来防止过拟合的产生,虽然是“术”的层面,但是很多人热衷于这些技巧,所以,在这里也顺便列举如下:

最基本的技术手段,就是合理、有效抽样;包括分层抽样,过抽样,等等,用不同的样本去检验模型;

另外,事前准备几个不同时间窗口,不同范围的测试数据集、验证数据集,把模型在不同的数据集里分别“交叉检验”,是目前业界防止过拟合的最常用的手段了;

第三,建模时目标观测值的数量太少,如何分割训练集和验证集的比例,需要建模人员灵活掌握;

第四,如果数据太少的话,谨慎使用神经网络模型,只有足够多的数据的情况下,神经网络模型才可以有效防止过拟合的产生。并且,使用神经网络时,一定要事先有效筛选输入变量,千万不能一股脑把所有变量放进去。

 

机器学习中的欠拟合

欠拟合指的是模型在训练和预测时表现都不好的情况。

一个欠拟合的机器学习模型不是一个良好的模型并且由于在训练数据上表现不好这是显然的。

欠拟合通常不被讨论,因为给定一个评估模型表现的指标的情况下,欠拟合很容易被发现。矫正方法是继续学习并且试着更换机器学习算法。虽然如此,欠拟合与过拟合形成了鲜明的对照。

 

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄