國立臺灣大學九十學年度研究所碩士班入學考試試題：微積分與矩陣運算

1. For two real numbers $a$ and non-zero $b$,
   1. ($5$ points) Please find the two eigen-values and the related eigen-vectors of the $2$-by-$2$ matrix $A$ and
   2. ($5$ points) Please find the two eigen-values and the related eigen-vectors of the transpose $A'$ of $A$ below:

      $A=\begin{pmatrix}0&1\\-\left(a^2+b^2\right)&2a\end{pmatrix}$

訣竅
按照特徵值的定義求特徵多項式的根，並由此觀察對應的特徵向量。
解法
1. 考慮 $A$ 的特徵多項式為

   $p\left(x\right)=\det\left(xI-A\right)=\begin{vmatrix}x&-1\\a^2+b^2&x-2a\end{vmatrix}=x^2-2ax+a^2+b^2=\left(x-a\right)^2+b^2$.

   故解 $p\left(x\right)=0$ 可得 $x=a\pm bi$。
   • 當 $x=a+bi$ 時所對應的特徵向量為 $\begin{pmatrix}1\\a+bi\end{pmatrix}$；
   • 當 $x=a-bi$ 時所對應的特徵向量為 $\begin{pmatrix}1\\a-bi\end{pmatrix}$。
2. 由於轉置矩陣 $A'$ 的特徵多項式與 $A$ 的相同，故特徵根相同。藉由觀察可以知道
   • 當 $x=a+bi$ 時所對應的特徵向量為 $\begin{pmatrix}a-bi\\-1\end{pmatrix}$
   • 當 $x=a-bi$ 時所對應的特徵項向量為 $\begin{pmatrix}a+bi\\-1\end{pmatrix}$。


2. ($10$ points) Please find a Jordan normal form for $A$ given above.
訣竅
由於前一小題確認其有兩個相異的特徵根，從而可對角化。
解法

由於矩陣 $A$ 可對角化，故其 Jordan normal form 為

$\begin{pmatrix}a+bi&0\\0&a-bi\end{pmatrix}$.



3. Let us define as follows the exponential function of $tA$ for a real number $t$ and for the square matrix $A$ given above

   $\exp\left[tA\right]=I+tA+\cdots+\left[tA\right]^k/k!+\cdots$

   Please find for $\exp\left[tA\right]$
   1. ($5$ points) the inverse,
   2. ($5$ points) the derivative on $t$ and
   3. ($5$ points) the integral on $t$.
訣竅
利用對角化的方式表達矩陣 $A$，從而求指數矩陣。
解法
取 $P=\begin{pmatrix}1&1\\a+bi&a-bi\end{pmatrix}$ 以及 $\Lambda=\begin{pmatrix}a+bi&0\\0&a-bi\end{pmatrix}$，此時有
$A=P\Lambda P^{-1}$.
如此便有
$\displaystyle\begin{aligned}\exp\left[tA\right]&=P\exp\left[t\Lambda\right]P^{-1}=-\frac1{2bi}\begin{pmatrix}1&1\\a+bi&a-bi\end{pmatrix}\begin{pmatrix}e^{\left(a+bi\right)t}&0\\0&e^{\left(a-bi\right)t}\end{pmatrix}\begin{pmatrix}a-bi&-1\\-a-bi&1\end{pmatrix}\\&=-\frac1{2bi}\begin{pmatrix}e^{\left(a+bi\right)t}&e^{\left(a-bi\right)t}\\\left(a+bi\right)e^{\left(a+bi\right)t}&\left(a-bi\right)e^{\left(a-bi\right)t}\end{pmatrix}\begin{pmatrix}a-bi&-1\\-a-bi&1\end{pmatrix}\\&=-\frac1{2bi}\begin{pmatrix}\left(a-bi\right)e^{\left(a+bi\right)t}-\left(a+bi\right)e^{\left(a-bi\right)t}&-e^{\left(a+bi\right)t}+e^{\left(a-bi\right)t}\\\left(a^2+b^2\right)\left(e^{\left(a+bi\right)t}-e^{\left(a-bi\right)t}\right)&-\left(a+bi\right)e^{\left(a+bi\right)t}+\left(a-bi\right)e^{\left(a-bi\right)t}\end{pmatrix}.\end{aligned}$
據此有下列結果：
1. $\exp\left[tA\right]$ 的反方陣可計算如下

   $\begin{aligned}\left(\exp\left[tA\right]\right)^{-1}&=\left(P\exp\left[t\Lambda\right]P^{-1}\right)^{-1}=P\exp\left[-t\Lambda\right]P^{-1}\\&=-\frac1{2bi}\begin{pmatrix}1&1\\a+bi&a-bi\end{pmatrix}\begin{pmatrix}e^{-\left(a+bi\right)t}&0\\0&e^{-\left(a-bi\right)t}\end{pmatrix}\begin{pmatrix}a-bi&-1\\-a-bi&1\end{pmatrix}\\&=-\frac1{2bi}\begin{pmatrix}\left(a-bi\right)e^{-\left(a+bi\right)t}-\left(a+bi\right)e^{-\left(a-bi\right)t}&-e^{\left(a+bi\right)t}+e^{-\left(a-bi\right)t}\\\left(a^2+b^2\right)\left(e^{-\left(a+bi\right)t}-e^{-\left(a-bi\right)t}\right)&-\left(a+bi\right)e^{-\left(a+bi\right)t}+\left(a-bi\right)e^{-\left(a-bi\right)t}\end{pmatrix}.\end{aligned}$

   【註】　事實上有 $\left(\exp\left[tA\right]\right)^{-1}=\exp\left[-tA\right]$。
2. 求導有

   $\displaystyle\frac{d}{dt}\exp\left[tA\right]=P\left(\frac d{dt}\exp\left[t\Lambda\right]\right)P^{-1}=P\Lambda\exp\left[t\Lambda\right]P^{-1}=\left(P\Lambda P^{-1}\right)\left(P\exp\left[t\Lambda\right]P^{-1}\right)=A\exp\left[tA\right]$.

3. 對 $t$ 取不定積分可得

   $\displaystyle\int\exp\left[tA\right]\,dt=A^{-1}\exp\left[tA\right]+C$,

   此處 $C$ 為二階常數方陣。


4. ($30$ points) Let $A$ be the matrix $\begin{pmatrix}1&2\\-1&4\end{pmatrix}$. Please complete the following questions.
   1. Derive its eigenvalues and corresponding eigenvectors.
   2. Compute its determinant $\left|A\right|$.
   3. Compute $\mbox{trace}(A)$.
   4. Calculate $A^{1/2}$.
   5. Is $A$ idempotent? Why or why not?
訣竅
按照特徵值的定義求解，並且留意到行列式值為特徵值之積而跡為特徵值之和。再者矩陣之根號可對角化後開平方求得，最後按冪等的定義確認即可。
解法
1. 矩陣 $A$ 的特徵多項式為

   $p\left(x\right)=\det\left(xI-A\right)=\begin{vmatrix}x-1&-2\\1&x-4\end{vmatrix}=x^2-5x+6=\left(x-2\right)\left(x-3\right)$.

   故其特徵值為 $2$ 與 $3$。
   • 當 $x=2$ 時所對應的特徵向量為 $\begin{pmatrix}2\\1\end{pmatrix}$；
   • 當 $x=3$ 時所對應的特徵向量為 $\begin{pmatrix}1\\1\end{pmatrix}$。
2. 矩陣 $A$ 的行列式為特徵根之乘積，因此 $\left|A\right|=2\cdot3=6$。行列式值亦可直接計算為 $1\cdot4-2\cdot\left(-1\right)=4+2=6$。
3. 矩陣的跡為特徵值之和，即為 $\mbox{trace}\left(A\right)=2+3=5$。跡亦可由對角線和得 $\mbox{trace}\left(A\right)=1+4=5$。
4. 運用第一小題的結果，我們取 $P=\begin{pmatrix}2&1\\1&1\end{pmatrix}$ 以及 $\Lambda=\begin{pmatrix}2&0\\0&3\end{pmatrix}$，如此滿足

   $A=P\Lambda P^{-1}$.

   如此所求為

   $A^{1/2}=P\Lambda^{1/2}P^{-1}=\begin{pmatrix}2&1\\1&1\end{pmatrix}\begin{pmatrix}\pm\sqrt2&0\\0&\pm\sqrt3\end{pmatrix}\begin{pmatrix}1&-1\\-1&2\end{pmatrix}=\begin{pmatrix}\pm2\sqrt2\mp\sqrt3&\mp2\sqrt2\pm2\sqrt3\\\pm\sqrt2\mp\sqrt3&\mp\sqrt2\pm2\sqrt3\end{pmatrix}$.

   即 $A^{1/2}$ 有四種可能的矩陣。
5. 由於 $A$ 的特徵根不全為 $0$ 或 $1$ 故非冪等矩陣。亦可直接檢驗計算如下

   $A^2=\begin{pmatrix}1&2\\-1&4\end{pmatrix}^2=\begin{pmatrix}-1&10\\-5&14\end{pmatrix}\neq A$

   如可其非冪等矩陣。


5. ($15$ points) Define $y=x'Ax$ where $x$ is a $3\times1$ vector and $A$ is a $3\times3$ symmetric matrix. Please derive the derivative of $y$ with respect to $x$.
訣竅
對向量微分的意義即為對各個分量微分後寫為行向量。
解法

設矩陣 $A=\begin{pmatrix}a&b&c\\b&d&e\\c&e&f\end{pmatrix}$ 而 $x=\begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix}$，如此有

$y=\begin{pmatrix}x_1&x_2&x_3\end{pmatrix}\begin{pmatrix}a&b&c\\b&d&e\\c&e&f\end{pmatrix}\begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix}=ax_1^2+dx_2^2+fx_3^2+2\left(bx_1x_2+cx_1x_3+ex_2x_3\right)$.

如此所求為

$\displaystyle\frac{dy}{dx}=\begin{pmatrix}\displaystyle\frac{dy}{dx_1}\\\displaystyle\frac{dy}{dx_2}\\\displaystyle\frac{dy}{dx_3}\end{pmatrix}=\begin{pmatrix}2ax_1+2bx_2+2cx_3\\2bx_1+2dx_2+2ex_3\\2cx_1+2ex_2+2fx_3\end{pmatrix}=2Ax$.



6. ($20$ points) Let $y$ be a known $3\times1$ vector, $X$ be a $3\times3$ invertible constant matrix, $\Sigma=\sigma^2I$ where $I$ is a $3\times3$ identity matrix, and $\beta$ be a $3\times1$ vector. Both $\sigma^2$ and $\beta$ are unknown. Now define function

   $\displaystyle f\left(\beta,\sigma^2\right)=\left(2\pi\right)^{-3/2}\left|\Sigma\right|^{-1/2}\exp\left\{-\frac1{2\sigma^2}\left(y-X\beta\right)'\left(y-X\beta\right)\right\}$.

   Please derive $\hat{\beta}$ and $\hat{\sigma}^2$ such that $\log f\left(\beta,\sigma^2\right)$ is maximized at $\hat{\beta}$ and $\hat{\sigma}^2$.
   (Note: You do not need to verify the second derivative.)
訣竅
利用一階偏導為零處求其極值候選點。【原命題有誤，我們更正函數 $f$。】
解法

命 $g\left(\beta,\sigma^2\right)=\log f\left(\beta,\sigma^2\right)$，那麼

$\displaystyle g\left(\beta,\sigma^2\right)=-\frac1{2\sigma^2}\left(y-X\beta\right)'\left(y-X\beta\right)-\frac32\log\left(2\pi\right)-\frac32\log\sigma^2$.

對 $\sigma^2$ 求導有 $\displaystyle\frac{\partial g}{\partial\sigma^2}=\frac1{2\left(\sigma^2\right)^2}\left(y-X\beta\right)'\left(y-X\beta\right)-\frac3{2\sigma^2}$，那麼解 $\displaystyle\frac{\partial g}{\partial\sigma^2}=0$ 可得關係式 $3\sigma^2=\left(y-X\beta\right)'\left(y-X\beta\right)$。另一方面，函數 $g$ 亦可寫為

$\displaystyle g\left(\beta,\sigma^2\right)=-\frac1{2\sigma^2}\left(y'y-y'X\beta-\beta'X'y+\beta'X'X\beta\right)-\frac32\log\left(2\pi\right)-\frac32\log\sigma^2$.

此外注意到 $\beta'X'y=y'X\beta$。從而對 $\beta$ 求導可得

$\displaystyle\frac{\partial g}{\partial\beta}=\frac1{2\sigma^2}\left(2y'X-2X'X\beta\right)$.

因此 $\displaystyle\frac{\partial g}{\partial\beta}=0$ 給出 $\left(X'X\right)\beta=y'X$。

假若 $X$ 為可逆方陣，那麼可得 $\hat\beta=\left(X'X\right)^{-1}y'X$。另一方面，有

$\displaystyle\sigma^2=\frac{\left(y-\left(X'\right)^{-1}y'X\right)'\left(y-\left(X'\right)^{-1}y'X\right)}3$.

假若 $X$ 不為可逆矩陣，則運用 $X'X$ 的廣義反方陣表達得

$\beta=\left(X'X\right)^-y'X+\left[I-\left(X'X\right)^-X'X\right]\omega$.

此處 $\omega$ 為任意的 $3\times1$ 向量，同樣可得 $\sigma^2$ 的表達式。