AR模型

§1.AR模型
1.白噪声序列
如果时间序列$\{\varepsilon_t，t=1，\cdots，T\}$满足：
$\begin{array}{lcl} E(\varepsilon_t)=0，Var(\varepsilon_t)=\sigma^2\\ 对任意s≠t，\varepsilon_t和\varepsilon_s不相关，即E(\varepsilon_t\varepsilon_s)=0\\ 则称\{\varepsilon_t，t=1，\cdots，T\}为白噪声序列，简称白噪声(white\,\, noise) \end{array}$

2.自回归模型的定义
设$\{x_t\}$为时间序列，$\{\varepsilon_t\}$为白噪声序列，且对任意的$s<t，E(x_s\varepsilon_t)=0$，则称满足等式$x_t=\alpha_0+\alpha_1x_{t-1}+\alpha_2x_{t-2}+\cdots+\alpha_px_{t-p}+\varepsilon_t$的时间序列为$p$阶自回归序列，上式为$p$阶自回归模型，记做$AR(p)$。
此回归模型描述了数据序列内部递推的线性回归关系。
一般的，$AR(p)$模型中的系数多项式
$\alpha_u=1-\alpha_0-\alpha_1u-\alpha_2u^2-\cdots-\alpha_pu^p$

称为$AR(p)$模型的自回归系数多项式。
若$\alpha(u)=0$的根都在单位圆外，称此为平稳的$AR(p)$模型，否则为非平稳的$AR(p)$模型，或广义的$AR(p)$模型。
条件$\alpha(u)=0$的根都在单位圆外，称为平稳性条件。

3.中心化的$AR(p)$模型
设$\{x_t\}$为平稳序列，且有
$x_t=\alpha_0+\alpha_1x_{t-1}+\alpha_2x_{t-2}+\cdots+\alpha_px_{t-p}+\varepsilon_t$
则对上式两端同取数学期望，即得：
$Ex_t=\alpha_0+\alpha_1Ex_{t-1}+\alpha_2Ex_{t-2}+\cdots+\alpha_pEx_{t-p}+E\varepsilon_t$
由于$\{x_t\}$为平稳序列，故
$Ex_t=常数=\mu，且E\varepsilon_t=0$
即得：
$\begin{array}{lcl} \mu=\alpha_0+\alpha_1\mu+\alpha_2\mu+\cdots+\alpha_p\mu+0\\\quad=\alpha_0+(\alpha_1+\alpha_2+\cdots+\alpha_p) \mu\end{array}$

所以可得：$\mu=\alpha_0(1-\alpha_1-\alpha_2-\cdots-\alpha_p)^{-1}$
此时若令$w_t=x_t-\mu$
可以得到一个均值为0的新序列：
$w_t=\alpha_0+\alpha_1w_{t-1}+\alpha_2w_{t-2}+\cdots+\alpha_pw_{t-p}+\varepsilon_t$
此时$w_t$称为$x_t$的平稳中心化序列。
接下来我们讨论的一般都是平稳的中心化序列，也即：
$x_t=\alpha_0+\alpha_1x_{t-1}+\alpha_2x_{t-2}+\cdots+\alpha_px_{t-p}+\varepsilon_t$
其中，$\forall t，Ex_t=0，且E\varepsilon_t=0;\forall s<t，E(x_s\varepsilon_t)=0$

4.平稳模型的平稳解
设平稳的$AR(p)$模型为：
$x_t=\alpha_1x_{t-1}+\alpha_2x_{t-2}+\cdots+\alpha_px_{t-p}+\varepsilon_t$
式中$\{\varepsilon_t\}$为白噪声序列，且$\forall k>0，E(x_t\varepsilon_{t+k})=0$
系数$\alpha_1，\alpha_2，\cdots，\alpha_p$满足平稳条件：系数多项式$\alpha(u)=0$根都在单位圆外。
4.1后移算子
如果算子$B$满足等式$Bx_t=x_{t-1}$，则称$B$为后移算子，即$B$作用$x_t$后使其转化为$x_{t-1}$。则有：
$\begin{array}{lcl} B^2x_t=B(Bx_t)=Bx_{t-1}=x_{t-2}\\B^kx_t=x_{t-k}\,，k=0,1,2\cdots \end{array}$

于是$AR(p)$模型可以表示为：
$x_t=\alpha_1Bx_t+\alpha_2B^2x_t+\cdots+\alpha_pB^px_t+\varepsilon_t\\=(\alpha_1B+\alpha_2B^2+\cdots+\alpha_pB^p)x_t+\varepsilon_t$

即得一差分方程：$\alpha(B)x_t=\varepsilon_t$
其中$\alpha(B)$为后移算子多项式，即称为自回归算子：
$\alpha(B)=1-\alpha_1B-\alpha_2B^2-\cdots-\alpha_pB^p$

我们可以把$\alpha(B)$看成一个自回归滤波器，我们输入某种平稳序列$\{x_t\}$，在经过滤波器之后，输出的是白噪声序列$\{\varepsilon_t\}$。滤波器成为一个对时间序列进行变换的实体，变换前的序列称为输入，经滤波器变换得到的序列称为输出。
4.2 $AR(p)$序列的平稳域
$AR(p)$序列的平稳域为其系数取值的集合：
$\{(\alpha_1，\alpha_2，\cdots，\alpha_p)|\alpha(u)=0的根都在单位圆外\}$
4.3 $AR(1)$序列平稳解与自相关函数
若对$AR(1)$序列$x_t=\alpha x_{t-1}+\varepsilon_t$
进行反复的迭代运算，则对任何自然数$n$，有：
$\begin{array}{lcl} x_t=\alpha x_{t-1}+\varepsilon_t=\alpha(\alpha x_{t-2}+\varepsilon_{t-1})+\varepsilon_t\\=\alpha^2x_{t-2}+\alpha\varepsilon_{t-1}+\varepsilon_t\\=\alpha^3x_{t-3}+\alpha^2\varepsilon_{t-2}+\alpha\varepsilon_{t-1}+\varepsilon_t\\=\alpha^nx_{t-n}+\alpha^{n-1}\varepsilon_{t-n+1}+\alpha^{n-2}\varepsilon_{t-n+2}+\cdots+\alpha\varepsilon_{t-1}+\varepsilon_t \end{array}$

$x_t=\alpha^nx_{t-n}+\sum_{k=0}^{n-1}\alpha^k\varepsilon_{t-k}$

于是对于平稳时间序列，如果有$|\alpha|<1$，则：
$E[x_t-\sum_{k=0}^{n-1}\alpha^k\varepsilon_{t-k}]^2=E(\alpha^{2n}x_{t-n}^2)=\alpha^{2n}E(x_{t-n}^2)\stackrel{n\to \infty}{\longrightarrow}0$

因此，在$|\alpha|<1$时，$\alpha(u)=1-\alpha u=0$，其根$|u|=|\frac{1}{\alpha}|>1$
此时$x_t=\sum_{k=0}^{\infty}\alpha^k\varepsilon_{t-k}=\underset{n\to \infty}{lim}\sum_{k=0}^{n-1}\alpha^k\varepsilon_{t-k}$为一平稳线性序列。
即它是满足$AR(1)$模型的平稳解。
当$k>0$时，其自相关函数：
$\begin{array}{lcl} R_x(t,t+k)=E(x_tx_{t+k})=E(\sum_{i=0}^{\infty}\alpha^i\varepsilon_{t-i}\sum_{l=0}^{\infty}\alpha^l\varepsilon_{t-l+k})\\\qquad\qquad\quad=E(\sum_{i=0}^{\infty}\sum_{l=0}^{\infty}\alpha^i\alpha^l\varepsilon_{t-i}\varepsilon_{t-l+k})=\sum_{i=0}^{\infty}\sum_{l=0}^{\infty}\alpha^i\alpha^lE(\varepsilon_{t-i}\varepsilon_{t-l+k})\\\qquad\qquad\stackrel{l=k+i}{=}\sigma^2\sum_{k=0}^{\infty}\alpha^{2i+k}=\sigma^2\alpha^k\cdot\frac{1}{1-\alpha^2}=\frac{\sigma^2\alpha^k}{1-\alpha^2} \end{array}$

类似的，当$k<0$时，其自相关函数为：
$\begin{array}{lcl} R_x(t,t+k)=E(x_tx_{t+k})=E(x_{t+k+|k|}x_{t+k})=\sigma^2\sum_{k=0}^{\infty}\alpha^{2i+|k|}=\frac{\sigma^2\alpha^{|k|}}{1-\alpha^2} \end{array}$

特别的，$AR(1)$序列的方差函数为：
$D_x(t)=R_x(t,t+0)=\frac{\sigma^2}{1-\alpha^2}$

其自相关系数为：
$\rho(k)=\frac{R_x(t,t+k)}{\sqrt{D_x(t)}\sqrt{D_x(t+k)}}=\frac{\frac{\sigma^2\alpha^{|k|}}{1-\alpha^2}}{\sqrt{\frac{\sigma^2}{1-\alpha^2}}\cdot\sqrt{\frac{\sigma^2}{1-\alpha^2}}}=\alpha^{|k|}$

因为$|\alpha|<1$，故相关系数依指数规律向零衰减。
4.4 $AR(2)$序列的平稳解和自相关函数
$x_t=\alpha_1x_{t-1}+\alpha_2x_{t-2}+\varepsilon_t\qquad即\alpha(B)x_t=\varepsilon_t$
其中$\alpha(B)=1-\alpha_1B-\alpha_2B^2$
设线性转移函数为$\psi(B)$，则此$AR(2)$模型的平稳解为：
$x_t=\psi(B)\varepsilon_t$
因此，求$AR(2)$模型的平稳解，即化为求线性转移函数为$\psi(B)$的权系数问题。
4.4.1 线性转移函数的权系数求法
因为$\alpha(B)\psi(B)=1$
即$(1-\alpha_1B-\alpha_2B^2)(1+\psi_1B+\psi_2B^2+\cdots)=1$
对比上式两端$B$的同次幂系数，可得系数方程组：
$1+(\psi_1-\alpha_1)B+(\psi_2-\alpha_1\psi_1-\alpha_2)B^2+\cdots=1$
$\begin {cases} \psi_1-\alpha_1\psi_0=0\\ \psi_2-\alpha_1\psi_1-\alpha_2\psi_0=0\\ \cdots\\ \psi_k-\alpha_1\psi_{k-1}-\alpha_2\psi_{k-2}=0\qquad k=2,3,\cdots \end{cases}$

得到：
$\begin {cases} \psi_k-\alpha_1\psi_{k-1}-\alpha_2\psi_{k-2}=0\qquad k=2,3,\cdots\\ \psi_0=1\\ \psi_1=\alpha_1 \end{cases}$

因此，$\alpha(B)\psi_k=0$
则：$x_t=\sum_{k=0}^{\infty}\psi_k\varepsilon_{t-k}$为$AR(2)$模型的平稳解。
4.4.2 采取$Yule-Walker$方程求解$AR(2)$序列的自相关函数
设$h>0$，在$AR(2)$模型等式两端乘以$x_{t-h}$，再同取期望有：
$\begin{array}{lcl} x_{t-h}x_t=\alpha_1x_{t-h}x_{t-1}+\alpha_2x_{t-h}x_{t-2}+x_{t-h}\varepsilon_t\\ Ex_{t-h}x_t=\alpha_1Ex_{t-h}x_{t-1}+\alpha_2Ex_{t-h}x_{t-2}\\ R_x(h)=\alpha_1R_x(h-1)+\alpha_2R_x(h-2) \end{array}$

将自相关系数$\rho(k)=\frac{Ex_tx_{t+k}}{Ex_tx_t}$称为自相关函数。
则有：$\rho(k)=\alpha_1\rho(k-1)+\alpha_2\rho(k-2)$
其初值为$\rho(0)=1,\rho(1)=\frac{\alpha_1}{1-\alpha_2}$，注意$\rho(k)=\rho(-k)$

§2.AR模型估计量的有偏性
严格外生的（Strict Exogeneity）：时间序列或综列数据模型中的解释变量的一个特点，以所有时期的解释变量为条件的、任何时期的误差项都是有0均值。
考虑AR(1)模型：$y_t=\rho y_{t-1}+\varepsilon_t\qquad\rho\in(-1,1)\qquad\varepsilon_t\sim iid(0,\sigma^2)$
问题在于，$y_{t-1}$是前定的而不是严格外生的。
$\begin{array}{lcl} E(y_{t}\varepsilon_{t+k})=0 \qquad\forall k>0\\ E(y_{t-1}\varepsilon_{t-1})=E[(\rho y_{t-2}+\varepsilon_{t-1})\varepsilon_{t-1}]=E(\varepsilon_{t-1}\varepsilon_{t-1})=\sigma^2 \\E(y_{t-1}\varepsilon_{t-2})=E[(\rho y_{t-2}+\varepsilon_{t-1})\varepsilon_{t-2}]=\rho E(y_{t-2}\varepsilon_{t-2})=\rho \sigma^2\\ E(y_{t-1}\varepsilon_{t-3})=E[(\rho y_{t-2}+\varepsilon_{t-1})\varepsilon_{t-3}]=\rho E(y_{t-2}\varepsilon_{t-3})=\rho E[(\rho y_{t-3}+\varepsilon_{t-2})\varepsilon_{t-3}]=\rho^2\sigma^2 \end{array}$

后果：$OLS$估计量有偏但一致。

来源：CSDN

作者：凛冬_将至

链接：https://blog.csdn.net/qq_45669448/article/details/103430846