尽管高斯消元法是解线性方程组的标准算法，但是当我们希望从数据中将重要信息与次要信息（噪声）分离时它就无能无力的。在线性代数中，我们要量化“好的与坏的基向量（basis vectors）。不严格的说，好的基向量是那些基本线性独立的向量，接近于正交。下面，就来领略如何利用正交向量进行计算。
在前面介绍最小二乘问题时，了解当选择了不恰当的基向量时会导致病态的正规方程。下面看个例子，两个非常相似的矩阵。从图中可见它们的列向量张成了空间中相同的平面，矩阵B的列向量是正交的，它们更好的确定此平面。而矩阵A的列向量则非常靠近。
在向量空间中采用正交向量有很多好处，下面就介绍正交向量集和正交矩阵的重要性质。