非负矩阵分解

单词向量空间与话题向量空间 单词向量空间 话题向量空间 潜在语义分析算法 矩阵奇异值分解算法 例子 非负矩阵分解算法 非负矩阵分解 潜在语义分析模型 非负矩阵分解的形式 算法 来源： CSDN 作者： mkopvec 链接： https://blog.csdn.net/mkopvec/article/details/103866468

数据可以表示为一个矩阵 $V$，列 $v_n$ 是采样点而行代表特征features。我们想把这个矩阵$V$因式分解为两个未知的矩阵 $W$ 和 $H$ $$ V \approx \hat{V} \equiv WH$$ 这里面 $W$ 是一个经常性出现的patterns的字典(比如音乐中的鼓点)，而 $H$ 中的每一列 $h_n$ 表示每一个采样点 $v_n$ 中估测存在的patterns。我们可以把 $W$ 称为字典(dictionary)而 $H$ 成为激活矩阵(activation matrix)。同时我们也约定 $V$ 的维度是F $\times$ N。 $W$ 为 F $\times$ K，$H$ 为 K $\times$ N。 上面的式子中的因式分解在其他的领域里面也叫做字典学习(dictionary learning)低维估计(low-rank approximation)等等。最有名的方法是PCA，通过最小化$V$和$WH$的二次距离。别的方法有PCA的变体ICA，稀疏编码(sparse coding)，而NMF则用在非负的数据上，并限制$W$和$H$为非负矩阵。 下图是一个NMF工作的模式图，首先把音频转化为时频图，然后我们可以把他分解为特征字典和激活矩阵。 NMF 同样可以用在图像中，我们可以发现经过NMF分解，人脸可以分为各个部分（眼睛、鼻子、嘴巴）