5 Hilbert空间中的平稳序列

5.1 Hilbert空间

本章中设\(\{X_t\}\)是平稳序列。 \(X_t\)可以用线性组合\(\sum_{j=1}^k a_j x_{t-j}\)预测。 应该推广到用无穷的线性组合\(\sum_{j=1}^\infty a_j x_{t-j}\)预测。 这就需要研究这样的无穷线性组合的性质。

在线性代数的欧式空间理论中, 一个向量\(\boldsymbol y\)到一个子空间\(S\)的最短距离, 是\(\boldsymbol y\)\(\boldsymbol y\)\(S\)上的投影向量的距离。 将预测误差按均方误差度量, 也可以得到类似结论, 但是需要考虑无穷维空间的问题。

所有二阶矩有限的随机变量组成的一个无穷维函数空间\(L^2\), 所有\(\{X_t\}\)及其有限和无穷线性组合也构成一个无穷维函数空间, 是\(L^2\)的子空间。 下面从有限线性组合讲起。

5.1.1 平稳列导出的线性空间

\(\{X_t\}\)是平稳序列。令 \[ L^2(X) = \left\{ \left. \sum_{j=1}^k a_j X(t_j) \right| a_j \in \mathbb R, t_j \in \mathbb Z, 1 \leq j \leq k, k \in \mathbb N_+ \right\} \] \(\forall X, Y, Z \in L^2(X), a, b \in \mathbb R\)

  1. \(X+Y =Y+X\in L^2(X)\), \((X+Y)+Z=X+(Y+Z)\);
  2. \(0 \in L^2(X)\), \(X+0=X\), \(X+(-X)=0 \in L^2(X)\);
  3. \(a(X+Y)=aX+aY\in L^2(X)\), \((a+b)X=aX+bX\), \(a(bX)=(ab)X\).

\(L^2(X)\)是一个线性空间。

5.1.2 将线性空间推广为Hilbert空间

\(L^2 = \{Y: E Y^2 < \infty \}\), 易见\(L^2\)是线性空间, \(L^2(X)\)\(L^2\)空间的子空间。

\(L^2\)中定义内积\(\langle X,Y\rangle =E(XY)\), 则 \[\begin{aligned} & \langle X,Y\rangle =\langle Y,X\rangle \\ & \langle aX+bY,Z\rangle =a\langle X,Z\rangle +b\langle Y,Z\rangle \end{aligned}\] \(\langle X,X\rangle \geq 0\), 并且 \(\langle X,X\rangle =0\)当且仅当 \(X=0\) , a.s., 所以 \(L^2\) 又是内积空间. \(L^2\)中的0元素, 定义为a.s.等于0的随机变量。

内积有Schwarz不等式(习题1.6.2) \[ |<X,Y>| \leq [<X,X> <Y,Y>]^{1/2} \]

我们还需要对无穷线性组合的封闭性。需要极限的概念。

由内积定义模(范数) \[ \| X \| = (\langle X, X\rangle )^{1/2} \] Schwarz不等式可以写成 \[ |<X,Y>| \leq \|X \| \cdot \| Y \| . \] 有Schwarz不等式可以证明模满足三角不等式 \[ \| X + Y \| \leq \| X \| + \| Y \| . \]

由模定义距离 \[ \| X-Y \| = (\langle X-Y,X-Y\rangle )^{1/2} \]\(\|X-Y\| = \|Y-X\| \geq 0\), 且\(\|X-Y\|=0\)当且仅当 \(X=Y\), a.s. 距离满足三角不等式: \[ \|X-Y\| \leq \|X-Z\| + \|Z-Y\| \]

对有限维空间,定义了内积已经足够。 对无穷维空间,要考虑极限问题。

定义5.1 \(\xi_n \in L^2\), \(\xi_0 \in L^2\):

  1. 如果\(\lim_{n\to \infty}\| \xi_n - \xi_0\| = 0\), 则称\(\xi_n\)\(L^2\)中(或均方)收敛到\(\xi_0\), 记做 \(\xi_n \stackrel{\text{m.s.}}{\to} \xi_0\)\(\xi_n \stackrel{L^2}{\to} \xi_0\).
  2. 如果当\(n,\ m \to \infty\)时, \(\| \xi_n-\xi_m\| \to 0\), 则称\(\{\xi_n\}\)\(L^2\)中的基本列 或Cauchy列.
定理5.1 如果\(\{\xi_n\}\)\(L^2\)中的基本列, 则(在a.s.的意义下)有惟一的\(\xi \in L^2\)使得 \(\xi_n \stackrel{\text{m.s.}}{\to} \xi\).

证明略。(同学们自学)

完备的内积空间: 每个基本列都有极限在空间内的内积空间。 又称Hilbert空间。

由定理5.1\(L^2\)是Hilbert空间。

\(\bar L^2(X)\)表示\(L^2\)中包含\(L^2(X)\)的最小闭子空间, 则 \(\bar L^2(X)\) 是Hilbert空间, 称为由平稳序列\(\{X_t\}\)生成的Hilbert空间。

5.1.3 内积的连续性

定理5.2 (内积的连续性) 在内积空间中, 如果 \(\| \xi_n - \xi\| \to 0\), \(\| \eta_n - \eta \| \to 0\) 则有

  1. \(\| \xi_n\| \to \| \xi \|\),
  2. \(\langle \xi_n, \eta_n \rangle \to \langle \xi,\eta\rangle\).

注意:由第2条当然有 \[\begin{aligned} \langle \xi_n, \eta \rangle \to \langle \xi, \eta \rangle \end{aligned}\]

证明:

\[\begin{alignat*}{2} & (1)\ & & \left|\, \| \xi_n \| - \| \xi \| \, \right| \\ & & \leq& \| \xi_n - \xi \| \to 0 \ (n\to\infty)\\ & (2)\ & & | \langle \xi_n, \eta_n \rangle - \langle \xi, \eta \rangle | \\ & & =& | \langle \xi_n, \eta_n - \eta \rangle + \langle \xi_n - \xi, \eta \rangle | \\ & & \leq& | \langle \xi_n, \eta_n - \eta \rangle | + | \langle \xi_n - \xi, \eta \rangle | \\ & & \leq& \|\xi_n\| \cdot \|\eta_n - \eta\| + \|\xi_n - \xi\| \cdot \|\eta \| \\ & & \to& 0 \ (n\to\infty) \end{alignat*}\]

例5.1 (n维欧式空间) \(\mathbb R^n\)是线性空间,定义内积 \(\langle \boldsymbol{a}, \boldsymbol{b} \rangle = \boldsymbol{a}^T \boldsymbol{b}\) 则为内积空间。

\(\mathbb R^n\)是完备的内积空间。 \(| \boldsymbol{a} | = \sqrt{\boldsymbol{a}^T \boldsymbol{a}}\) 为欧氏模。 此空间有限维:由\(n\)个元素(\(n\)维向量)组成基。

5.1.4 平稳列的有限维欧式空间

\(\{X_t\}\)是零均值平稳列,\(\boldsymbol{X} = (X_1,\dots,X_n)\)。 令\(L_n = \text{sp}\{ X_1, \dots, X_n \} = \{\boldsymbol{a}^T \boldsymbol{X}: \boldsymbol{a} \in \mathbb R^n \}\), 则\(L_n\)是Hilbert空间, 称为由\(\boldsymbol{X}\)生成的Hilbert空间。

\(L_n\)是线性空间和内积空间易验证,下面证明其完备性。

先设 \(\{X_t\}\)是标准白噪声WN\((0,1)\)。 对任何线性组合\(\xi_k = \boldsymbol a_k^T \boldsymbol X\), 只要 \[ \| \xi_k-\xi_m\| ^2 = \| \boldsymbol{a}^T_k \boldsymbol X - \boldsymbol{a}^T_m \boldsymbol{X} \| ^2 =(\boldsymbol{a}_k - \boldsymbol{a}_m)^T (\boldsymbol a_k - \boldsymbol a_m)\to 0, \] 由例5.1知道有\(\boldsymbol{a} \in \mathbb R^n\) 使得 \[ | \boldsymbol a_k -\boldsymbol a |\to 0 \]\(k \to \infty\), 取 \(\xi = \boldsymbol a ^T\boldsymbol X\) 时, \[ \| \xi_k - \xi \|^2 =(\boldsymbol a_k - \boldsymbol a)^T(\boldsymbol a_k - \boldsymbol a )\to 0. \] 可见\(\{X_t\}\)是标准白噪声WN\((0,1)\)\(L_n\) 是完备的.

对一般的零均值平稳序列, 可以设协方差阵\(\Gamma=E(\boldsymbol X \boldsymbol X^T)\)的秩是\(m\), \(m\leq n\). 对\(\Gamma\)做特征值分解得(注意这是随机向量的常用手法) \[\begin{aligned} \Gamma =& P^T \Lambda P \\ \Lambda =& \text{diag}\{ \lambda_1, \dots, \lambda_m, 0, \dots, 0 \} \end{aligned}\]\[\begin{aligned} A =& \text{diag}\{ \lambda_1^{-1/2}, \dots, \lambda_m^{-1/2}, 1, \dots, 1 \} \stackrel{\triangle}{=} \Lambda^{-1/2} \\ \boldsymbol Y =& A P \boldsymbol X, \quad \boldsymbol X = P^T A^{-1} \boldsymbol Y \end{aligned}\]\[\begin{aligned} \text{Var}(\boldsymbol Y) =& A P \text{Var}(\boldsymbol X) P^T A = A P P^T \Lambda P P^T A \\ =& \text{diag}\{ 1,\dots,1, 0, \dots, 0 \} \end{aligned}\] 因此\(Y_1, \dots, Y_m\)是某零均值白噪声列的某段。 \(\boldsymbol X\)的线性组合即\(Y_1,\dots, Y_m\)的线性组合。 因此\(L_n\)是完备的。

○○○○○○

5.1.5 \(L^2\)意义下的线性序列

考虑\(L^2\)中的零均值白噪声列\(\{\varepsilon_t\}\), 设\(\text{Var}(\varepsilon_t)=\sigma^2\). 设\(\{a_j\} \in l_2\). 令 \[ \xi_n(t) = \sum_{j=-n}^n a_j \varepsilon_{t-j}, \ t \in \mathbb Z \]\(\xi_n(t) \in L^2\)。 对\(m<n\),当\(m \to \infty\)\[\begin{aligned} \| \xi_n - \xi_m \|^2 =& \| \sum_{m<|j|\leq n} a_j \varepsilon_{t-j} \|^2 \\ =& \sigma^2 \sum_{m<|j|\leq n} a_j^2 \leq \sigma^2 \sum_{|j| > m} a_j^2 \to 0 \end{aligned}\]\(L^2\)完备性知存在\(X_t \in L^2\)使得 \(\xi_n(t) \stackrel{\text{m.s.}}{\to} X_t\)

\(\xi_n(t)\)\(L^2\)中的极限\(X_t\)\[ X_t = \sum_{j=-\infty}^\infty a_j \varepsilon_{t-j}, \ t \in \mathbb Z \] 来证明\(\{ X_t \}\)平稳。

\(L^2\)中内积连续性得 \[\begin{aligned} E X_t = \lim_{n\to\infty} \langle \xi_n(t), 1 \rangle = \lim_n E \xi_n(t) = 0 \end{aligned}\] 以及 \[\begin{aligned} E X_t X_{t+k} =& \lim_n \langle \xi_n(t), \xi_n(t+k) \rangle \\ =& \lim_n \langle \sum_{j=-n}^n a_j \varepsilon_{t-j}, \sum_{l=-n}^n a_l \varepsilon_{t+k-l} \rangle \\ =& \lim_n \sum_{j=-n}^n \sum_{l=-n}^n a_j a_l \delta_{k-l+j} \sigma^2 \\ =& \sigma^2 \sum_{j=-\infty}^\infty a_j a_{j+k} \end{aligned}\] 这就证明了\(\{X_t \}\)为平稳列。

○○○○○○

5.2 复值时间序列

\(X, Y\)为随机变量, \(Z = X + i Y\)称为复值随机变量。 \(E Z = E X + i E Y\). \[ \text{Cov}(Z_1, Z_2) = E\left( (Z_1 - E Z_1) (Z_2 - E Z_2)^* \right) \] (\(Z^*\)表示\(Z\)的共轭转置)

对于两个复随机向量\(\boldsymbol Z_1\), \(\boldsymbol Z_2\)\[ \text{Cov}(\boldsymbol Z_1, \boldsymbol Z_2) = E \left( (\boldsymbol Z_1 - E \boldsymbol Z_1) (\boldsymbol Z_2 - E \boldsymbol Z_2)^* \right) \]

\(E |Z|^2 = E X^2 + E Y^2 < \infty\)时称\(Z\)是二阶矩有限的复随机变量。 所有二阶矩有限复随机变量的集合\(H\)在定义内积\(<X,Y>=E(X Y^*)\)后构成Hilbert空间。

复值随机变量的序列\(\{Z_n\}\)称为复值时间序列. 若\(E Z_n = \mu\), \(\text{Cov}(Z_n, Z_m) = \gamma_{n-m}\)\(\forall n,m \in \mathbb Z\), 则称\(\{Z_n\}\)复值平稳序列

\[ \gamma_{-k} = \gamma_k^* . \]

若复值零均值平稳列\(\{\varepsilon_t \}\)满足 \[\begin{aligned} \text{Cov}(\varepsilon_n, \varepsilon_m)=\sigma^2 \delta_{n-m}, \quad \forall n,m \in \mathbb Z \end{aligned}\] 则称\(\{\varepsilon_t\}\)复值零均值白噪声

例5.2 \(Y \sim \text{U}[-\pi, \pi]\)。 定义 \[\begin{aligned} \varepsilon_n=e^{i n Y}, \ n\in \mathbb Z. \end{aligned}\]\[\begin{aligned} E \varepsilon_n =&\delta_n \\ E (\varepsilon_n \bar \varepsilon_m) =&\frac{1}{2\pi}\int_{-\pi}^{\pi} e^{i(n-m)y} \, dy \\ =& \delta_{n-m} \end{aligned}\]\(\{\varepsilon_t\}\)为复值白噪声。

对于平方可和的实数列\(\{a_j\}\), 定义 \[\begin{aligned} Z_n = \sum_{j=-\infty}^{\infty} a_j \varepsilon_{n-j} = \sum_{j=-\infty}^{\infty} a_je^{i(n-j)Y}, \ \ n\in \mathbb Z. \end{aligned}\] 由内积的连续性得到 \[\begin{aligned} E Z_n =& \sum_{j=-\infty}^{\infty} a_j E \varepsilon_{n-j} = a_n \\ E (Z_n \bar Z_m) =& \sum_{j=-\infty}^{\infty} \sum_{k=-\infty}^{\infty} a_j a_k E(\varepsilon_{n-j} \varepsilon_{m-k}) \\ =& \sum_{j=-\infty}^{\infty} \sum_{k=-\infty}^{\infty} a_j a_k \delta_{n-m-j+k} \\ =& \sum_{k=-\infty}^{\infty} a_k a_{k+n-m} \end{aligned}\] \(\{Z_n \}\)不是复值平稳列。

另一方面, \[\begin{aligned} & E (Z_n \bar Z_m) \\ =& E \left[ \sum_{j=-\infty}^{\infty} a_j e^{i(n-j)Y} \sum_{k=-\infty}^{\infty} a_k e^{-i(m-k)Y} \right] \\ =& \frac{1}{2\pi} \int_{-\pi}^{\pi} \left( \sum_{j=-\infty}^{\infty} a_j e^{i(n-j)y} \right) \left( \sum_{k=-\infty}^{\infty} a_k e^{-i(m-k)y} \right) \; dy \\ =& \frac{1}{2\pi} \int_{-\pi}^{\pi} \left|\sum_{j=-\infty}^{\infty} a_j e^{-ijy} \right|^2 e^{i(n-m)y} \; dy \end{aligned}\]\[\begin{aligned} \sum_{j=-\infty}^{\infty} a_j a_{j+k} = \frac{1}{2\pi}\int_{-\pi}^{\pi} \left|\sum_{j=-\infty}^{\infty} a_je^{-ijy} \right|^2 e^{iky}\; dy. \end{aligned}\]

定义 \[\begin{aligned} f(\lambda) =& \frac{\sigma^2}{2\pi} \left| \sum_{j=-\infty}^{\infty} a_j e^{-ij\lambda} \right|^2 = \frac{\sigma^2}{2\pi} \left| \sum_{j=-\infty}^{\infty} a_j e^{ij\lambda} \right|^2 \end{aligned}\] 就得到公式 \[\begin{align} \sigma^2 \sum_{j=-\infty}^\infty a_j a_{j+k} = \int_{-\pi}^{\pi}f(y) e^{iky}\, dy \tag{5.1} \end{align}\]

○○○○○○

5.3 附录:补充知识

5.3.1 线性空间和内积空间

实数域上的线性空间 某个集合\(H\)如果定义了如下的加法运算“\(+\)”和数乘运算“\(\cdot\)”,使得 \[\begin{aligned} (1) & \text{若}\boldsymbol x, \boldsymbol y \in H, \text{则}\boldsymbol x + \boldsymbol y \in H, \text{且} \\ & \boldsymbol x + \boldsymbol y = \boldsymbol y + \boldsymbol x \\ & (\boldsymbol x + \boldsymbol y) + \boldsymbol z = \boldsymbol x + (\boldsymbol y + \boldsymbol z), \text{其中} \boldsymbol z \in H \\ & \text{存在零元素} \boldsymbol 0, \text{使得} \boldsymbol x + \boldsymbol 0 = \boldsymbol x, \forall \boldsymbol x \in H \\ & \forall \boldsymbol x \in H, \text{存在负元素} \boldsymbol z \text{使得} \boldsymbol x + \boldsymbol z = \boldsymbol 0 \\ (2) & \text{对标量} \alpha, \beta \in \mathbb R, \text{向量} \boldsymbol x, \boldsymbol y \in H, \text{数乘结果} \alpha \cdot \boldsymbol x \in H, \text{且} \\ & (\alpha + \beta) \cdot \boldsymbol x = \alpha \cdot \boldsymbol x + \beta \cdot \boldsymbol x \\ & \alpha \cdot (\boldsymbol x + \boldsymbol y) = \alpha \cdot \boldsymbol x + \alpha \cdot \boldsymbol y \\ & (\alpha \beta) \cdot \boldsymbol x = \alpha \cdot (\beta \cdot \boldsymbol x) \\ & 1 \cdot \boldsymbol x = \boldsymbol x \end{aligned}\] 则称\(H\)为实数域\(\mathbb R\)上的线性空间。

内积: 实数域\(\mathbb R\)上的线性空间\(H\) 中向量\(\boldsymbol x\)\(\boldsymbol y\)的实值二元函数 \(<\boldsymbol x, \boldsymbol y>\)称为一个内积, 如果满足如下条件: \[\begin{aligned} (1) & <\boldsymbol x, \boldsymbol y> = <\boldsymbol y, \boldsymbol x>, \forall \boldsymbol x, \boldsymbol y \in H \\ (2) & <\boldsymbol x + \boldsymbol y, \boldsymbol z> = <\boldsymbol x, \boldsymbol z> + <\boldsymbol y, \boldsymbol z>, \forall \boldsymbol x, \boldsymbol y, \boldsymbol z \in H \\ (3) & <\alpha \boldsymbol x, \boldsymbol y> = \alpha <\boldsymbol x, \boldsymbol y>, \forall \alpha \in \mathbb R, \boldsymbol x, \boldsymbol y \in H \\ (4) & <\boldsymbol x, \boldsymbol x> \geq 0, \forall \boldsymbol x \in H \\ (5) & <\boldsymbol x, \boldsymbol x>=0 \Longleftrightarrow \boldsymbol x = \boldsymbol 0 . \end{aligned}\] 定义了内积的线性空间称为内积空间\(n\)维欧式空间\(\mathbb R^n\)是内积空间, 内积空间是\(\mathbb R^n\)的推广。

从内积可以导出向量的模(长度、范数): \[ \| \boldsymbol x \| = \sqrt{<\boldsymbol x, \boldsymbol x>} \] \(\| \boldsymbol x \| = 0\)当且仅当\(\boldsymbol x = \boldsymbol 0\)

实数域上的内积空间的内积和内积对应的模总满足Cauchy-Schwarz不等式: \[ |<\boldsymbol x, \boldsymbol y>| \leq \| \boldsymbol x \| \; \| \boldsymbol y \| \] 等号成立当且仅当\(\boldsymbol y = \alpha \boldsymbol x\)\(\boldsymbol x = \beta \boldsymbol y\)。 证明参见(Brockwell and Davis 1987) P.44 §2.1式(2.1.4)的证明。

内积导出的模满足三角不等式: \[ \| \boldsymbol x + \boldsymbol y \| \leq \| \boldsymbol x \| + \| \boldsymbol y \| \] 这可以用Cauchy-Schwarz不等式证明。

范数(模)的定义: 实数域\(\mathbb R\)上的线性空间\(H\)上的实值函数\(\| \bullet \|\)称为一个范数(模), 如果满足如下条件: \[\begin{aligned} (1) & \| \boldsymbol x \| \geq 0, \forall \boldsymbol x \in H \\ (2) & \| \boldsymbol x \| = 0 \Longleftrightarrow \boldsymbol x = \boldsymbol 0, \forall \boldsymbol x \in H \\ (3) & \| \boldsymbol x + \boldsymbol y \| \leq \| \boldsymbol x \| + \| \boldsymbol y \|, \forall \boldsymbol x, \boldsymbol y \in H \\ (4) & \| \alpha \boldsymbol x \| = |\alpha| \; \| \boldsymbol x \|, \forall \alpha \in \mathbb R, \boldsymbol x \in H \end{aligned}\] 定义了范数(模)的线性空间称为度量空间或者赋范空间。

由内积导出的模满足以上的一般范数定义。

在定义了范数以后, 可以定义空间中的元素极限。 对\(\boldsymbol x_n\), \(\boldsymbol x\), 称\(\lim_{n\to\infty} \boldsymbol x_n = \boldsymbol x\), 如果\(\lim_{n\to\infty} \| \boldsymbol x_n - \boldsymbol x \| = 0\)

如果\(H\)是内积空间, 内积有如下的连续性: 若\(\boldsymbol x_n, \boldsymbol y_n, \boldsymbol x, \boldsymbol y \in H\), 且\(\lim_{n\to\infty} x_n = \boldsymbol x\), \(\lim_{n\to\infty} y_n = \boldsymbol y\), 则 \[\begin{aligned} (1) & \| \boldsymbol x_n \| \to \| \boldsymbol x \|, \ n \text{当}\to \infty \\ (2) & <\boldsymbol x_n, \boldsymbol y_n> \to <\boldsymbol x, \boldsymbol y>, \ \text{当}n \to \infty \end{aligned}\] 证明与前面关于\(L^2\)的证明相同。

5.3.2 Hilbert空间

\(H\)为实数域上的内积空间, 序列\(\boldsymbol x_n \in H\), 若\(\lim_{n, m \to \infty} \| \boldsymbol x_n - \boldsymbol x_m \| = 0\), 则称\(\{ \boldsymbol x_n \}\)\(H\)的Cauchy列或基本列。 称\(H\)是完备的(complete), 如果所有Cauchy列都有极限且极限也属于\(H\)。 完备的内积空间又称Hilbert空间

欧式空间\(\mathbb R^n\)是Hilbert空间。

概率空间\((\Omega, \mathscr F, P)\)上所有二阶矩有限的实值随机变量的集合记作\(L^2\)\(L^2\)是Hilbert空间, 内积为\(<X, Y> = E(XY)\)。 0元素是a.s.等于零意义上, 两个元素相等也是a.s.相等意义上。 \(L^2\)的完备性证明略困难一些。

完备性证明: 设\(\{ X_n \}\)\(L^2\)的Cauchy列, 则存在\(\{ n \}\)的子序列\(n_k\), 使得当\(n, m \geq n_k\)时, \[ \| X_n - X_m \| \leq 2^{-3k} \] 由切比雪夫不等式 \[ P(|X_n - X_m| \geq 2^{-k}) \leq 2^{2k} E(X_n - X_m)^2 \leq 2^{-k} \] 由单调收敛定理得 \[\begin{aligned} & E \sum_{k=1}^\infty I[|X_{n_{k+1}} - X_{n_k} \geq 2^{-k}] \\ =& \sum_{k=1}^\infty E I[|X_{n_{k+1}} - X_{n_k} \geq 2^{-k}] \\ =& \sum_{k=1}^\infty P(|X_{n_{k+1}} - X_{n_k} \geq 2^{-k}) \\ \leq& \sum_{k=1}^\infty 2^{-k} < \infty \end{aligned}\] 从而 \[ \sum_{k=1}^\infty I[|X_{n_{k+1}} - X_{n_k}| \geq 2^{-k}] < +\infty, \ \text{a.s.} \] 存在\(\Omega^* \subset \Omega\), \(P(\Omega^*)=1\), 使得\(\forall \omega \in \Omega^*\), 存在\(K_0\)使得\(k \geq k_0\)\(|X_{n_{k+1}} - X_{n_k}| < 2^{-k}\)。 于是\(k\)充分大时 \[ |X_{n_{k+m}} - X_{n_k}| \leq \sum_{j=1}^m | X_{n_{j+1}} - X_{n_j} | \leq \sum_{j=1}^m 2^{-(k + j)} \leq 2^{-k + 1} \] 于是对每个\(\omega \in \Omega^*\), 存在子序列\(X_{n_k}\)使得\(\{ X_{n_k} \}\)是实数基本列,存在极限\(X\)。 利用Fatou引理, \[\begin{aligned} E(X_n - X)^2 =& E \lim_{k\to\infty} [X_n - X_{n_k}]^2 \\ \leq& \varliminf_{k\to\infty} E(X_n - X_{n_k})^2 \\ \to& 0, \ \text{当} n \to \infty \end{aligned}\] 由三角不等式, \[ \sqrt{E X^2} = \| X \| \leq \| X_n - X \| + \| X_n \| < \infty \] 所以极限\(X \in L^2\)。 这就证明了\(L^2\)的完备性。 因为\(L^2\)中的元素是在a.s.相等意义下的, 所以\(X\)可以是a.s.可测的。

○○○○○○

平方可积函数的Hilber空间\(L^2(d\lambda)\): 这是定义在有限区间\((a,b)\)上的平方可积函数全体,在其中定义内积 \[\begin{aligned} <f,g> = \int_a^b f g d \lambda \end{aligned}\]

5.3.3 投影

\(H\)为Hilbert空间, 若\(<\boldsymbol x, \boldsymbol y>=0\)则称\(\boldsymbol x\)\(\boldsymbol y\)正交, 记作\(\boldsymbol x \perp \boldsymbol y\)

\(S\)\(H\)的子线性空间, 如果\(S\)中的收敛序列的极限都在\(S\)中, 称\(S\)\(H\)闭子空间,也称为子Hilbert空间。

\(S\)\(H\)的闭子空间。 若\(\forall \boldsymbol z \in S\)都有\(\boldsymbol x \perp \boldsymbol z\), 称\(\boldsymbol x\)\(S\)正交, 记作\(\boldsymbol x \perp S\)

记所有与\(S\)正交的元素组成集合为\(S^\perp\), 这也是\(H\)的闭子空间,称为\(S\)正交补空间\(\boldsymbol x \perp S\)当且仅当\(\boldsymbol x \in S^\perp\)

定理5.3 (投影存在性) \(H\)为Hilbert空间, \(S\)\(H\)的子Hilbert空间。

(1)?对\(\forall \boldsymbol y \in H\), 存在唯一的\(\boldsymbol x \in S\), 使得 \[ \| \boldsymbol y - \boldsymbol x \| = \inf_{\boldsymbol z \in S} \| \boldsymbol y - \boldsymbol z \| \]\(\boldsymbol x\)\(\boldsymbol y\)在闭子空间\(S\)上的投影, 记作\(\mathop{\mathrm{Proj}}_{S} \boldsymbol y\)

(2)?对\(\forall \boldsymbol y \in H\)\(\boldsymbol x \in S\)\(\boldsymbol y\)\(S\)上的投影当且仅当\(\boldsymbol y - \boldsymbol x \perp S\)

证明: (1) \(d = \inf_{\boldsymbol z \in S} \| \boldsymbol y - \boldsymbol z \|\)必存在且\(d \geq 0\)。 存\(\{ \boldsymbol z_n \} \subset S\)使得\(\| \boldsymbol z_n - \boldsymbol y \| \to d\)(\(n\to\infty\))。 来证明\(\{ \boldsymbol z_n \}\)是基本列。 利用恒等式 \[ \| \boldsymbol x - \boldsymbol y \|^2 + \| \boldsymbol x + \boldsymbol y \|^2 = 2 \| \boldsymbol x \|^2 + 2 \| \boldsymbol y \|^2 \] 可得 \[\begin{aligned} \| \boldsymbol z_n - \boldsymbol z_m \|^2 =& \| (\boldsymbol z_n - \boldsymbol y) - (\boldsymbol z_m - \boldsymbol y) \|^2 \\ =& - \| \boldsymbol z_n + \boldsymbol z_m - 2 \boldsymbol y \|^2 + 2 \| \boldsymbol z_n - \boldsymbol y \|^2 + 2 \| \boldsymbol z_m - \boldsymbol y \|^2 \\ =& -4 \| \frac{\boldsymbol z_n + z_m}{2} - \boldsymbol y \|^2 + 2 \| \boldsymbol z_n - \boldsymbol y \|^2 + 2 \| \boldsymbol z_m - \boldsymbol y \|^2 \\ \leq& -4d + 2 \| \boldsymbol z_n - \boldsymbol y \|^2 + 2 \| \boldsymbol z_m - \boldsymbol y \|^2 \\ \to& 0 \ (n, m \to \infty) \end{aligned}\]

所以\(\{ \boldsymbol z_n \}\)是基本列, 存在\(\boldsymbol x \in H\)使得\(\| \boldsymbol z_n - \boldsymbol x \| \to 0\)。 因为\(S\)是闭子空间所以\(\boldsymbol x \in S\)。由内积的连续性可得 \[ \| \boldsymbol y - \boldsymbol x \| = \lim_{n\to\infty} \| \boldsymbol y - \boldsymbol z_n \| = d \]

再来证明唯一性。 如果有\(\boldsymbol x' \in S\)使得\(\| \boldsymbol y - \boldsymbol x \| = d\), 则 \[\begin{aligned} 0 \leq& \| \boldsymbol x - \boldsymbol x' \|^2 \\ =& \| (\boldsymbol x - \boldsymbol y) - (\boldsymbol x' - \boldsymbol y) \|^2 \\ =& - \| \boldsymbol x + \boldsymbol x' - 2 \boldsymbol y \|^2 + 2 \| \boldsymbol x - \boldsymbol y \|^2 + 2 \| \boldsymbol x' - \boldsymbol y \|^2 \\ =& -4 \| \frac{\boldsymbol x + \boldsymbol x'}{2} - \boldsymbol y \|^2 + 2 \| \boldsymbol x - \boldsymbol y \|^2 + 2 \| \boldsymbol x' - \boldsymbol y \|^2 \\ \leq& -4d + 2d + 2d = 0 \end{aligned}\]\(\boldsymbol x' = \boldsymbol x\)

(2)?先证明充分性。 设\(\boldsymbol x \in S\)使得\(\boldsymbol y - \boldsymbol x \perp S\), 则\(\forall z \in S\), 有 \[\begin{aligned} \| \boldsymbol y - \boldsymbol z \|^2 =& \| (\boldsymbol y - \boldsymbol x) + (\boldsymbol x - \boldsymbol z) \|^2 \\ =& \| \boldsymbol y - \boldsymbol x \|^2 + \| \boldsymbol x - \boldsymbol z \|^2 + 2 < \boldsymbol y - \boldsymbol x, \boldsymbol x - \boldsymbol z > \\ =& \| \boldsymbol y - \boldsymbol x \|^2 + \| \boldsymbol x - \boldsymbol z \|^2 \\ \geq& \| \boldsymbol y - \boldsymbol x \|^2 \end{aligned}\] 所以\(\boldsymbol x\)\(\boldsymbol y\)\(S\)的投影。

再来证明必要性。用反证法。 设\(\boldsymbol x \in S\)使得 \[ \| \boldsymbol y - \boldsymbol x \| = \inf_{\boldsymbol z \in S} \| \boldsymbol y - \boldsymbol z \| \] 如果\(\boldsymbol y - \boldsymbol x \perp S\)不成立, 则存在\(\boldsymbol z' \in S\)使得\(a = <\boldsymbol y - \boldsymbol x, \boldsymbol z'> \neq 0\), 显然\(\boldsymbol z' \neq 0\)。 令 \[ \boldsymbol x' = \boldsymbol x + \frac{a}{\| \boldsymbol z' \|^2} \boldsymbol z \]\(\boldsymbol x' \in S\),且 \[\begin{aligned} \| \boldsymbol y - \boldsymbol x' \|^2 =& \| (\boldsymbol y - \boldsymbol x) + (\boldsymbol x - \boldsymbol x') \|^2 \\ =& \| (\boldsymbol y - \boldsymbol x) - \frac{a}{\| \boldsymbol z' \|^2} \boldsymbol z' \|^2 \\ =& \| \boldsymbol y - \boldsymbol x \|^2 + \frac{a^2}{\| \boldsymbol z' \|^4} \| \boldsymbol z' \|^2 - \frac{2 a}{\| \boldsymbol z' \|^2} <\boldsymbol y - \boldsymbol x, \boldsymbol z'> \\ =& \| \boldsymbol y - \boldsymbol x \|^2 - \frac{a^2}{\| \boldsymbol z' \|^2} \\ <& \| \boldsymbol y - \boldsymbol x \|^2 \end{aligned}\] 矛盾。定理证毕。

○○○○○○

定理说明, 如果需要用闭子空间\(S\)上的元素\(\boldsymbol x\)最优地逼近\(\boldsymbol y \in H\)\(\boldsymbol x = \mathop{\mathrm Proj}_{S} \boldsymbol y\)是这个问题的唯一的解。 这里“最优逼近”是用\(\| \boldsymbol x - \boldsymbol y \|\)作为两个元素的距离时距离最小的近似。 最优逼近\(\boldsymbol x\)的条件也可以写成 \[ <\boldsymbol y - \boldsymbol x, \boldsymbol z> = 0, \ \forall \boldsymbol z \in S \]

对Hilbert空间\(H\)和闭子空间\(S\)\(\mathop{\mathrm Proj}_{S}\)是从\(H\)\(S\)的一个线性映射。 记\(I\)\(H\)上的恒等映射, 则\(\forall \boldsymbol y \in H\), \[ \| \boldsymbol y \|^2 = \| \mathop{\mathrm{Proj}}_{S} \boldsymbol y \|^2 + \| (I - \mathop{\mathrm{Proj}}_{S}) \boldsymbol y \|^2 \] 其中\((I - \mathop{\mathrm{Proj}}_{S}) \boldsymbol y = \boldsymbol y - \mathop{\mathrm{Proj}}_{S} \boldsymbol y\)。 且存在唯一的分解 \[ \boldsymbol y = \boldsymbol y_1 + \boldsymbol y_2 = \mathop{\mathrm{Proj}}_{S} \boldsymbol y + (I - \mathop{\mathrm{Proj}}_{S}) \boldsymbol y \] 其中\(\boldsymbol y_1 \in S\), \(\boldsymbol y_2 \in S^\perp\)。 显然\(\boldsymbol y_1 = \mathop{\mathrm{Proj}}_{S} \boldsymbol y\)\(\boldsymbol y_2 = (I - \mathop{\mathrm{Proj}}_{S}) \boldsymbol y\)满足分解; 如果还有\(\boldsymbol x_1 \in S\)\(\boldsymbol x_2 \in S^\perp\) 满足\(\boldsymbol y = \boldsymbol x_1 + \boldsymbol x_2\), 则有 \[ [\boldsymbol x_1 - \mathop{\mathrm{Proj}}_{S} \boldsymbol y] + [\boldsymbol x_2 - (I - \mathop{\mathrm{Proj}}_{S}) \boldsymbol y] = 0 \] 两边与\(\boldsymbol x_1 - \mathop{\mathrm{Proj}}_{S} \boldsymbol y\)作内积得 \[ \| \boldsymbol x_1 - \mathop{\mathrm{Proj}}_{S} \boldsymbol y \|^2 + 0 = 0 \] 所以\(\boldsymbol x_1 = \mathop{\mathrm{Proj}}_{S} \boldsymbol y\), 即分解式唯一。 记这样的分解为 \[ \boldsymbol y = \boldsymbol y_1 \oplus \boldsymbol y_2, \ \boldsymbol y_1 \in S, \boldsymbol y_2 \in S^\perp \]

映射\(\mathop{\mathrm{Proj}}_{S}\)有连续性: 如果\(\| \boldsymbol y_n - \boldsymbol y \| \to 0\), 则\(\| \mathop{\mathrm{Proj}}_{S} \boldsymbol y_n - \mathop{\mathrm{Proj}}_{S} \boldsymbol y\| \to 0\)。 事实上, \[\begin{aligned} & \| \mathop{\mathrm{Proj}}_{S} \boldsymbol y_n - \mathop{\mathrm{Proj}}_{S} \boldsymbol y\|^2 = \| \mathop{\mathrm{Proj}}_{S} (\boldsymbol y_n - \boldsymbol y) \|^2 \\ =& \| \boldsymbol y_n - \boldsymbol y \|^2 - \| (I - \mathop{\mathrm{Proj}}_{S}) (\boldsymbol y_n - \boldsymbol y) \|^2 \\ \leq& \| \boldsymbol y_n - \boldsymbol y \|^2 \to 0 \end{aligned}\]

\(\boldsymbol y \in S\)当且仅当\(\mathop{\mathrm{Proj}}_{S} \boldsymbol y = \boldsymbol y\)

\(\boldsymbol y \in S^\perp\)当且仅当\(\mathop{\mathrm{Proj}}_{S} \boldsymbol y = \boldsymbol 0\)

\(S\)为闭子空间\(M\)的闭子空间, 则当\(\boldsymbol y \in M\)\(\mathop{\mathrm{Proj}}_{S} \boldsymbol y \in S \subset M\)\(\mathop{\mathrm{Proj}}_{S} \boldsymbol y \in M\), 同时\((I - \mathop{\mathrm{Proj}}_{S}) \boldsymbol y = \boldsymbol y - \mathop{\mathrm{Proj}}_{S} \boldsymbol y \in M\)。 对一般的\(\boldsymbol y \in H\),有 \[ \mathop{\mathrm{Proj}}_{S} \boldsymbol y = \mathop{\mathrm{Proj}}_{S} \mathop{\mathrm{Proj}}_{M} \boldsymbol y \]

5.3.4 绝对可和系数的线性序列与L2的线性序列

系数绝对可和的线性平稳列是系数平方可和的线性平稳列的特例。 系数绝对可和的线性平稳列的极限是a.s.极限, 设\(\sum_j |a_j| < \infty\), \[\begin{aligned} X_t = \sum_{j=-\infty}^\infty a_j \varepsilon_{t-j}, \ \text{a.s.} \end{aligned}\]\[\begin{aligned} Y_t = \sum_{j=-\infty}^\infty a_j \varepsilon_{t-j}, \ (L^2) \end{aligned}\]\[\begin{aligned} \xi_n = \sum_{j=-n}^n a_j \varepsilon_{t-j}, \end{aligned}\]\[\begin{aligned} \xi_n \to X_t, \ \text{a.s.}, \quad \xi_n \to Y_t, \ (L^2) \end{aligned}\] 这时 \[\begin{aligned} \xi_n \stackrel{\text{Pr}}{\to} X_t, \quad \xi_n \stackrel{\text{Pr}}{\to} Y_t, \end{aligned}\] 由测度论可知同一序列如果有两个依概率的极限 则这两个极限a.s.相等。

5.3.5 随机过程的均方连续性

定义5.2 (均方连续) \[\begin{aligned} \lim_{h \to 0} \| \xi_{t_0 + h} - \xi_{t_0} \| = 0 \end{aligned}\]\(\{\xi_t \}\)\(t=t_0\)均方连续, 如果对所有\(t_0 \in \mathbb R\)都成立则称称\(\{\xi_t \}\)\(\mathbb R\)上均方连续。

均方连续不一定轨道连续。 若\(\{ \xi_t \}\)是平稳过程(连续时),则 \(\{ \xi_t \}\)\(\mathbb R\)上均方连续 \(\Longleftrightarrow\) \(\{ \xi_t \}\)\(t=0\)均方连续 \(\Longleftrightarrow\) \(\gamma(\tau)\)\(\mathbb R\)连续 \(\Longleftrightarrow\) \(\gamma(\tau)\)\(\tau=0\)连续。

References

Brockwell, P. J., and R. A. Davis. 1987. Time Series: Theory and Methods. Springer-Verlag.