國立臺灣大學九十一學年度研究所碩士班入學考試試題：微積分與矩陣運算

1. ($30$ 分) Suppose that $A$ is a symmetric matrix, has the eigen-values $\lambda_1\geq\lambda_2\geq\cdots\geq\lambda_k$ with the corresponding normalized eigenvectors $\tilde p_1,\tilde p_2,\cdots,\tilde p_k$. Please show that
   1. $A=\lambda_1\tilde p_1\tilde p_1'+\lambda_2\tilde p_2\tilde p_2'+\cdots+\lambda_k\tilde p_k\tilde p_k'$;
   2. $\tilde p_1\tilde p_1'+\tilde p_2\tilde p_2'+\cdots+\tilde p_k\tilde p_k'=I$, (the $k$-by-$k$ identity matrix);
   3. $\tilde p_i'\cdot A\cdot\tilde p_i=\lambda_i$ for all $i$.
訣竅
按照特徵值與特徵向量的定義表達並計算即可，特別地去考慮到矩陣 $A$ 的對稱性以證明特徵向量的正交性。
解法
1. 首先由特徵值與特徵向量的特性可知對所有 $i\in\left\{1,\cdots,k\right\}$ 有 $A\tilde p_i=\lambda_i\tilde p_i$。考慮矩陣 $P=\begin{pmatrix}\tilde p_1&\cdots&\tilde p_k\end{pmatrix}$ 以及 $\Lambda=\mbox{diag}\left(\lambda_1,\cdots,\lambda_k\right)$，此表對角線上由左上至右下依序為 $\lambda_1,\cdots,\lambda_k$ 的對角矩陣，那麼有

   $AP=P\Lambda$.

   並且由於矩陣 $A$ 對稱，故有 $PP'=P'P=I$【見第二小題】，因此有 $A=P\Lambda P'$。而右式可以展開如下

   $P\Lambda P'=\begin{pmatrix}\tilde p_1&\cdots&\tilde p_k\end{pmatrix}\begin{pmatrix}\lambda_1&\cdots&0\\\vdots&\ddots&\vdots\\0&\cdots&\lambda_k\end{pmatrix}\begin{pmatrix}\tilde p_1'\\\vdots\\\tilde p_k'\end{pmatrix}=\begin{pmatrix}\lambda_1\tilde p_1&\cdots&\lambda_k\tilde p_k\end{pmatrix}\begin{pmatrix}\tilde p_1'\\\vdots\\\tilde p_k'\end{pmatrix}=\lambda_1\tilde p_1\tilde p_1'+\cdots+\lambda_k\tilde p_k\tilde p_k'$.

   證明完畢。
2. 現在我們說明為何 $PP'=P'P=I$【注意，我們在第一小題中直接使用了這項結果！】。
   
   首先，假若對於相異的特徵值時，我們證明他們對應的特徵向量會正交。明確的說，設 $A\tilde p_i=\lambda_i\tilde p_i$ 且 $A\tilde p_j=\lambda_j\tilde p_j$ 並且 $\lambda_i\neq\lambda_j$，那麼可以觀察到

   $\tilde p_j'A\tilde p_i=\tilde p_j'\lambda_i\tilde p_i=\lambda_i\tilde p_j'\tilde p_i$.

   另一方面，有

   $\tilde p_j'A\tilde p_i=\tilde p_j'A'\tilde p_i=\left(A\tilde p_j\right)'\tilde p_i=\lambda_j\tilde p_j'\tilde p_i$.

   至此有 $\left(\lambda_i-\lambda_j\right)\tilde p_j'\tilde p_i=0$，但因 $\lambda_i\neq\lambda_j$，故有 $\tilde p_j'\tilde p_i=0$，即 $\tilde p_i$ 與 $\tilde p_j$ 正交。
   
   進一步，我們需要說明重根時所對應的特徵向量們ˊ也能彼此正交。我們運用反證法，假設矩陣 $A$ 的正交特徵向量至多僅有 $m<k$ 個，記為 $\tilde p_{s_1},\cdots\tilde p_{s_m}$。現考慮 $\mathbb R^k$ 中的向量子空間

   $W=\mbox{span}\left\{\tilde p_{s_1},\cdots,\tilde p_{s_m}\right\}$.

   那麼對於 $w\in W$ 存在唯一的線性組合滿足

   $w=c_1\tilde p_{s_1}+\cdots+c_m\tilde p_{s_m}$.

   那麼

   $Aw=c_1\lambda_{s_1}\tilde p_{s_1}+\cdots+c_m\lambda_{s_m}\tilde p_{s_m}\in W$.

   此表明 $W$ 為 $A$ 的不變子空間。而 $W^{\bot}$ 也會是 $A$ 的不變子空間，並且按照假設可知 $W^{\bot}\neq\left\{0\right\}$，故必存在特徵向量 $\tilde p_s\in W^{\bot}$ 滿足 $A\tilde p_s=\lambda_s\tilde p_s$，這就與反證法前提中假設的最大性矛盾，故矩陣 $A$ 恰有 $k$ 個正交特徵向量。
3. 由 $A\tilde p_i=\lambda_i\tilde p_i$ 同左乘以 $\tilde p_i'$ 並由 $\tilde p_i'\tilde p_i=1$ 可立即完成證明。


2. ($15$ 分) Let $L\left(x;\mu,\sigma^2\right)$ be the product of the $n$ function $\exp\left\{-\left(x_i-\mu^2\right)/\left(2\sigma^2\right)\right\}$, with $i$ running from $1$ to $n$. Please find the supermum $LN\left(x\right)$ of $L\left(x;\mu,\sigma^2\right)$ for $\mu\leq\mu_0$ and $\sigma^2\geq0$; find the supremum $LD\left(x\right)$ of $L\left(x;\mu,\sigma^2\right)$ for all real values of $\mu$ and all $\sigma^2\geq0$; and finally find $h\left(x\right)=LN\left(x\right)/LD\left(x\right)$.
訣竅
將函數 $L$ 明確的表達清楚後分別觀察函數變化的趨勢求出最下上界值函數即可。
解法
按照題意可知
$\displaystyle\begin{aligned}L\left(x;\mu,\sigma^2\right)&=\prod_{i=1}^n\exp\left\{-\left(x_i-\mu\right)^2/\left(2\sigma^2\right)\right\}=\exp\left\{-\frac1{2\sigma^2}\sum_{i=1}^n\left(x_i-\mu\right)^2\right\}\\&=\exp\left\{-\frac1{2\sigma^2}\left[\sum_{i=1}^nx_i^2-2\mu\sum_{i=1}^nx_i+n\mu^2\right]\right\}\\&=\exp\left\{-\frac{n}{2\sigma^2}\left(\mu-\frac1n\sum_{i=1}^nx_i\right)^2+\frac1{2n\sigma^2}\left[\left(\sum_{i=1}^nx_i\right)^2-n\sum_{i=1}^nx_i^2\right]\right\}.\end{aligned}$
由 Cauchy 不等式可以留意到
$\displaystyle n\sum_{i=1}^nx_i^2=\left(\sum_{i=1}^n1^2\right)\left(\sum_{i=1}^nx_i^2\right)\geq\left(\sum_{i=1}^nx_i\right)^2$.
因此取 $\sigma^2$ 盡可能的大可使函數 $L$ 中的指數部分盡可能的大，從而無論 $\mu$ 是否小於 $\mu_0$ 其最小上界函數恆為 $\exp\left(0\right)=1$，亦即我們有 $LN\left(x\right)\equiv1$ 與 $LD\left(x\right)\equiv1$，最終有 $h\left(x\right)=1$。


3. ($15$ 分) 試將 $X'AX$ 對 $X$ 微分，其中 $X$ 為 $k\times1$ 的向量，$A$ 為 $k\times k$ 的對稱矩陣。
訣竅
對向量微分的意義即為對各個分量微分後寫為行向量。
解法

設矩陣 $A=\left(A_{ij}\right)_{k\times k}$ 以及 $X=\left(x_i\right)_{k\times1}$，那麼有

$\displaystyle\begin{aligned}X'AX&=\begin{pmatrix}x_1&\cdots&x_k\end{pmatrix}\begin{pmatrix}A_{11}&\cdots&A_{1k}\\\vdots&\ddots&\vdots\\A_{k1}&\cdots&A_{kk}\end{pmatrix}\begin{pmatrix}x_1\\\vdots\\x_k\end{pmatrix}\\&=\begin{pmatrix}\displaystyle\sum_{i=1}^kA_{i1}x_i&\cdots&\displaystyle\sum_{i=1}^kA_{ik}x_i\end{pmatrix}\begin{pmatrix}x_1\\\vdots\\x_k\end{pmatrix}\\&=\sum_{j=1}^k\sum_{i=1}^kA_{ij}x_ix_j=\sum_{i=1}^kA_{ii}x_i^2+\sum_{i=1}^kx_i\sum_{j\neq i}A_{ij}x_j.\end{aligned}$

如此對 $x_n$ 求導有

$\displaystyle\frac{\partial}{\partial x_n}X'AX=2A_{nn}x_n+\sum_{j\neq n}A_{nj}x_j+\sum_{i\neq n}x_iA_{in}=2A_{nn}x_n$.

由於 $A_{ij}=A_{ji}$，故有

$\displaystyle\frac{\partial}{\partial x_n}X'AX=2\sum_{i=1}^kA_{in}x_i$.

至此有

$\displaystyle\frac d{dX}X'AX=\begin{pmatrix}\displaystyle\frac{\partial}{\partial x_1}X'AX\\\vdots\\\displaystyle\frac{\partial}{\partial x_k}X'AX\end{pmatrix}=\begin{pmatrix}\displaystyle2\sum_{i=1}^kA_{i1}x_i\\\vdots\\\displaystyle2\sum_{i=1}^kA_{ik}x_i\end{pmatrix}=2AX$.



4. ($15$ 分) 令 $f\left(\beta\right)=\left(Y-X\beta\right)'\left(Y-X\beta\right)$，其中 $Y$ 為 $k\times1$ 之已知向量，$X$ 為 $k\times d$ 之已知矩陣，$\beta$ 為 $d\times1$ 之未知向量，求解 $\hat{\beta}$ 使得 $f\left(\beta\right)$ 有極大值或極小值（注意：不需求二階微分來證明極大或極小）並以矩陣表達 $\hat\beta$。
訣竅
展開後對 $\beta$ 求導並且解一階偏導為零的位置。
解法
首先將函數 $f$ 展開表達如下
$f\left(\beta\right)=\left(Y'-\beta'X'\right)\left(Y-X\beta\right)=Y'Y-Y'X\beta-\beta'X'Y+\beta'X'X\beta=Y'Y-2Y'X\beta+\beta'X'X\beta$.
如此對 $\beta$ 求導有
$f'\left(\beta\right)=-2Y'X+2X'X\beta$.
因此解 $f'\left(\beta\right)=0$ 可得 $\left(X'X\right)\beta=Y'X$，故取
$\hat{\beta}=\left(X'X\right)^-Y'X+\left[I-\left(X'X\right)^-X'X\right]\omega$,
其中 $\left(X'X\right)^-$ 為 $X'X$ 的廣義反方陣，而 $\omega$ 為任意的 $d\times1$ 矩陣。


5. ($15$ 分) 現有一矩陣 $A$ 為 $\begin{pmatrix}25&-2&4\\-2&4&1\\4&1&9\end{pmatrix}$，試求 $A^{-1}$。
訣竅
求其餘因子矩陣或古典伴隨矩陣，據此獲得反方陣。
解法

考慮餘因子矩陣如下

$\mbox{cof}\left(A\right)=\begin{pmatrix}C_{11}&C_{12}&C_{13}\\C_{21}&C_{22}&C_{23}\\C_{31}&C_{32}&C_{33}\end{pmatrix}=\begin{pmatrix}\left|\begin{matrix}4&1\\1&9\end{matrix}\right|&-\left|\begin{matrix}-2&1\\4&9\end{matrix}\right|&\left|\begin{matrix}-2&4\\4&1\end{matrix}\right|\\-\left|\begin{matrix}-2&4\\1&9\end{matrix}\right|&\left|\begin{matrix}25&4\\4&9\end{matrix}\right|&-\left|\begin{matrix}25&4\\-2&1\end{matrix}\right|\\\left|\begin{matrix}-2&4\\4&1\end{matrix}\right|&-\left|\begin{matrix}25&4\\-2&1\end{matrix}\right|&\left|\begin{matrix}25&-2\\-2&4\end{matrix}\right|\end{pmatrix}=\begin{pmatrix}35&22&-18\\25&209&-33\\-18&-33&96\end{pmatrix}$.

由於 $A$ 為對稱方陣，故古典伴隨矩陣 $\mbox{adj}\left(A\right)=\mbox{cof}\left(A\right)$。再者，矩陣 $A$ 的行列式值為

$\displaystyle\det\left(A\right)=\left|\begin{matrix}25&-2&4\\-2&4&1\\4&1&9\end{matrix}\right|=900-8-8-64-25-36=759$.

從而所求的反方陣為

$\displaystyle A^{-1}=\frac1{759}\begin{pmatrix}35&22&-18\\25&209&-33\\-18&-33&96\end{pmatrix}$.



6. ($10$ 分) 現有一矩陣 $A$ 同上題，試求 $A^{-\frac12}$。
訣竅
本命題似有誤，因其特徵值與特徵向量皆無法使用簡易的形式表達而獲得。
解法
理論上，我們試圖求出矩陣 $A$ 的特徵根與特徵向量，從而獲得這樣的形式
$\displaystyle A=P\Lambda P^{-1}$.
從而取 $\displaystyle-\frac12$ 次以獲得所求為
$A^{-\frac12}=P\Lambda^{-\frac12}P^{-1}$.
但今 $P$ 與 $\Lambda$ 的形式難以由特徵多項式求得【讀者或許可由三次多項式的公式得到相當複雜的表達式，但或許以考試時間而言不可能完成作答】。