机器学习的数学基础 - 信息论

 

SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

信息论

信息论本来是通信中的概念，但是其核心思想“熵”在机器学习中也得到了广泛的应用。比如决策树模型ID3，C4.5中是利用信息增益来划分特征而生成一颗决策树的，而信息增益就是基于这里所说的熵。所以它的重要性也是可想而知。

 

 

熵

 机器学习的数学基础 - 信息论 人工智能 第1张                       

 

联合熵

 机器学习的数学基础 - 信息论 人工智能 第2张 

 

条件熵

 机器学习的数学基础 - 信息论 人工智能 第3张

 机器学习的数学基础 - 信息论 人工智能 第4张

 

 机器学习的数学基础 - 信息论 人工智能 第5张

  

相对熵

 机器学习的数学基础 - 信息论 人工智能 第6张

  

互信息

机器学习的数学基础 - 信息论 人工智能 第7张

  机器学习的数学基础 - 信息论 人工智能 第8张

机器学习的数学基础 - 信息论 人工智能 第9张 

 

 

最大熵模型

 

 机器学习的数学基础 - 信息论 人工智能 第10张

 机器学习的数学基础 - 信息论 人工智能 第11张

 

 

 

 

 

扫码关注我们
微信号：SRE实战
拒绝背锅 运筹帷幄