变分深度嵌入(Variational Deep Embedding, VaDE)

作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/

    这篇博文主要是对论文“Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering”的整理总结，阅读这篇博文的前提条件是：了解高斯混合模型用于聚类的算法，了解变分推断与变分自编码器。在知道高斯混合模型(GMM)与变分自编码器(VAE)之后，VaDE实际上是将这两者结合起来的一个产物。与VAE相比，VaDE在公式推导中多了一个变量c。与GMM相比，变量c就相当于是GMM中的隐变量z，而隐层得到的特征z相当于原来GMM中的数据x。下面主要介绍VaDE模型的变分下界(损失函数)L(x)的数学推导过程。推导过程用到了概率论与数理统计的相关知识。

SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

1. 前提公式

变分深度嵌入(Variational Deep Embedding, VaDE) 算法 第1张

变分深度嵌入(Variational Deep Embedding, VaDE) 算法 第2张

2. VaDE损失函数公式推导过程

变分深度嵌入(Variational Deep Embedding, VaDE) 算法 第3张

变分深度嵌入(Variational Deep Embedding, VaDE) 算法 第4张

最终的聚类结果是由q(c|x)得到的，q(c|x)相当于GMM中的隐变量的后验概率γ。

变分深度嵌入(Variational Deep Embedding, VaDE) 算法 第5张

 下面将损失函数拆成5项，并一项一项进行求解。

变分深度嵌入(Variational Deep Embedding, VaDE) 算法 第6张

变分深度嵌入(Variational Deep Embedding, VaDE) 算法 第7张

变分深度嵌入(Variational Deep Embedding, VaDE) 算法 第8张

变分深度嵌入(Variational Deep Embedding, VaDE) 算法 第9张

变分深度嵌入(Variational Deep Embedding, VaDE) 算法 第10张

变分深度嵌入(Variational Deep Embedding, VaDE) 算法 第11张

3. VaDE算法总体流程

变分深度嵌入(Variational Deep Embedding, VaDE) 算法 第12张

4. 参考文献

[1] 聚类——GMM - 凯鲁嘎吉 - 博客园

[2] 变分推断与变分自编码器 - 凯鲁嘎吉 - 博客园

[3] Jiang Z , Zheng Y , Tan H , et al. Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering[J]. 2016.

[4] VaDE代码：

     GitHub - slim1017/VaDE: Python code for paper - Variational Deep Embedding : A Generative Approach to Clustering

      GitHub - GuHongyang/VaDE-pytorch: the reproduce of Variational Deep Embedding : A Generative Approach to Clustering Requirements by pytorch

扫码关注我们
微信号：SRE实战
拒绝背锅 运筹帷幄