$ \mathrm{tr} A = \mathrm{tr} (P^{-1}AP) $ が成り立つので、 $a=-1$ がわかる。
$3$ 次の単位行列を $E$ とする。 $A$ の固有値を $\lambda$ とすると、 \begin{align} 0 &= \det \left( A - \lambda E \right) \\ &= -(\lambda-1)^2(\lambda+2) \\ \therefore \ \ \lambda &= 1, -2 \end{align} がわかる。
(i) 固有値 $\lambda=1$ に属する固有ベクトルを求めるため、 \begin{align} \left( A - E \right) \begin{pmatrix} x \\ y \\ z \end{pmatrix} &= \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} \\ \therefore \ \ \begin{pmatrix} -1 & 2 & 0 \\ 1 & -2 & 1 \\ 0 & 0 & 0 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} &= \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} \end{align} とおくと、 $x=2y,z=0$ がわかるので、 \begin{align} \boldsymbol{u} = \begin{pmatrix} 2 \\ 1 \\ 0 \end{pmatrix} \end{align} は固有値 $\lambda=1$ に属する固有ベクトルである。
(ii) 固有値 $\lambda=1$ に属する一般化固有ベクトルを求めるため、 \begin{align} \left( A - E \right) \begin{pmatrix} x \\ y \\ z \end{pmatrix} &= \boldsymbol{u} \\ \therefore \ \ \begin{pmatrix} -1 & 2 & 0 \\ 1 & -2 & 1 \\ 0 & 0 & 0 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} &= \begin{pmatrix} 2 \\ 1 \\ 0 \end{pmatrix} \end{align} とおくと、 $-x+2y=2, z=3$ がわかるので、 \begin{align} \boldsymbol{v} = \begin{pmatrix} -2 \\ 0 \\ 3 \end{pmatrix} \end{align} は固有値 $\lambda=1$ に属する一般化固有ベクトルである。
(iii) 固有値 $\lambda=-2$ に属する固有ベクトルを求めるため、 \begin{align} \left( A + 2E \right) \begin{pmatrix} x \\ y \\ z \end{pmatrix} &= \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} \\ \therefore \ \ \begin{pmatrix} 2 & 2 & 0 \\ 1 & 1 & 1 \\ 0 & 0 & 3 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} &= \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} \end{align} とおくと、 $x+y=0,z=0$ がわかるので、 \begin{align} \boldsymbol{w} = \begin{pmatrix} 1 \\ -1 \\ 0 \end{pmatrix} \end{align} は固有値 $\lambda=-2$ に属する固有ベクトルである。
(i), (ii), (iii) より、 \begin{align} Q &= \begin{pmatrix} \boldsymbol{u} & \boldsymbol{v} & \boldsymbol{w} \end{pmatrix} \\ &= \begin{pmatrix} 2 & -2 & 1 \\ 1 & 0 & -1 \\ 0 & 3 & 0 \end{pmatrix} \end{align} とおくと、 \begin{align} Q^{-1} A Q &= \begin{pmatrix} 1 & 1 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & -2 \end{pmatrix} \end{align} が成り立ち、これは求める $P$ の条件を満たす。 つまり、 \begin{align} P &= \begin{pmatrix} 2 & -2 & 1 \\ 1 & 0 & -1 \\ 0 & 3 & 0 \end{pmatrix} \end{align} とすればよい（一意的ではない）。