这一讲中的近似推断具体描述在深度生成模型中的近似推断。推断的目的有下面几个部分：
- 推断本身，根据结果（观测）得到原因（隐变量）。
- 为参数的学习提供帮助。
但是推断本身是一个困难的额任务，计算复杂度往往很高，对于无向图，由于节点之间的联系过多，那么因子分解很难进行，并且相互之间都有耦合，于是很难求解，仅仅在某些情况如 RBM 中可解，在有向图中，常常由于条件独立性问题，如两个节点之间条件相关（explain away），于是求解这些节点的条件概率就很困难，仅仅在某些概率假设情况下可解如高斯模型，于是需要近似推断。
事实上，我们常常讲推断问题变为优化问题，即：
%0A#card=math&code=Log-likehood%3A%5Csum%5Climits_%7Bv%5Cin%20V%7D%5Clog%20p%28v%29%0A#crop=0&crop=0&crop=1&crop=1&id=A01jo&originHeight=51&originWidth=256&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)
对上面这个问题，由于：
%3D%5Clog%5Cfrac%7Bp(v%2Ch)%7D%7Bp(h%7Cv)%7D%3D%5Clog%5Cfrac%7Bp(v%2Ch)%7D%7Bq(h%7Cv)%7D%2B%5Clog%5Cfrac%7Bq(h%7Cv)%7D%7Bp(h%7Cv)%7D%0A#card=math&code=%5Clog%20p%28v%29%3D%5Clog%5Cfrac%7Bp%28v%2Ch%29%7D%7Bp%28h%7Cv%29%7D%3D%5Clog%5Cfrac%7Bp%28v%2Ch%29%7D%7Bq%28h%7Cv%29%7D%2B%5Clog%5Cfrac%7Bq%28h%7Cv%29%7D%7Bp%28h%7Cv%29%7D%0A#crop=0&crop=0&crop=1&crop=1&id=zYqqF&originHeight=59&originWidth=433&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)
左右两边对 
积分：
%5Ccdot%20q(h%7Cv)dh%3D%5Clog%20p(v)%0A#card=math&code=%5Cint_h%5Clog%20p%28v%29%5Ccdot%20q%28h%7Cv%29dh%3D%5Clog%20p%28v%29%0A#crop=0&crop=0&crop=1&crop=1&id=paCUC&originHeight=51&originWidth=280&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)
右边积分有：
%7D%5B%5Clog%5Cfrac%7Bp(v%2Ch)%7D%7Bq(h%7Cv)%7D%5D%2BKL(q(h%7Cv)%7C%7Cp(h%7Cv))%3D%5Cmathbb%7BE%7D%7Bq(h%7Cv)%7D%5B%5Clog%20p(v%2Ch)%5D%2BH(q)%2BKL(q%7C%7Cp)%0A#card=math&code=%5Cmathbb%7BE%7D%7Bq%28h%7Cv%29%7D%5B%5Clog%5Cfrac%7Bp%28v%2Ch%29%7D%7Bq%28h%7Cv%29%7D%5D%2BKL%28q%28h%7Cv%29%7C%7Cp%28h%7Cv%29%29%3D%5Cmathbb%7BE%7D_%7Bq%28h%7Cv%29%7D%5B%5Clog%20p%28v%2Ch%29%5D%2BH%28q%29%2BKL%28q%7C%7Cp%29%0A#crop=0&crop=0&crop=1&crop=1&id=K9gvL&originHeight=59&originWidth=716&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)
其中前两项是 ELBO，于是这就变成一个优化 ELBO 的问题。
