频谱残差算法，主要是通过对原图像进行傅里叶变换后获取图像的幅度谱和相位谱。而图像的幅度谱代表的是图像各像素点的亮度信息，幅度谱的中心是低频部分，越亮的地方代表的幅度越大。幅度谱中“十”字形亮线表示原图像中水平和垂直方向的分量较其他方向要多，因为在人们周围的自然场景中水平和垂直的线条出现的可能性较大。幅度谱如下图所示：
接下来对幅度谱进行log变换则，则主要是对幅度谱的图像进行低灰度值的扩展以及对高灰度值的压缩。将其动态范围变换到一个合适区间，这样就能够显示更多的细节。
其次在对log 处理后的幅度谱进行均值滤波平滑处理即可得到背景图像估计，然后有log幅度谱减去平滑后的log幅度谱，即可得到目标的显著性图。