$ \mathrm{tr} A = \mathrm{tr} (P^{-1}AP) $ が成り立つので、 $a=-1$ がわかる。
$3$ 次の単位行列を $E$ とする。 $A$ の固有値を $\lambda$ とすると、 \begin{align} 0 &= \det \left( A - \lambda E \right) \\ &= -(\lambda-1)^2(\lambda+2) \\ \therefore \ \ \lambda &= 1, -2 \end{align} がわかる。 固有値 $\lambda=1$ に属する固有ベクトルを求めるため、 \begin{align} \left( A - E \right) \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} \end{align} とおくと、 $x=2y,z=0$ がわかるので、規格化された固有ベクトルとして、 \begin{align} \boldsymbol{u} = \frac{1}{\sqrt{5}} \begin{pmatrix} 2 \\ 1 \\ 0 \end{pmatrix} \end{align} を得る。 固有値 $\lambda=1$ に属する一般化固有ベクトルを求めるため、 \begin{align} \left( A - E \right) \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \boldsymbol{u} \end{align} とおくと、 $-x+2y=2/\sqrt{5}, z=3/\sqrt{5}$ がわかるので、 \begin{align} \boldsymbol{v} = \frac{1}{\sqrt{5}} \begin{pmatrix} -2 \\ 0 \\ 3 \end{pmatrix} \end{align} とすればよい。 固有値 $\lambda=-2$ に属する固有ベクトルを求めるため、 \begin{align} \left( A + 2E \right) \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} \end{align} とおくと、 $x+y=0,z=0$ がわかるので、規格化された固有ベクトルとして、 \begin{align} \boldsymbol{w} = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ -1 \\ 0 \end{pmatrix} \end{align} を得る。 以上より、求める $P$ は \begin{align} P &= \begin{pmatrix} \boldsymbol{u} & \boldsymbol{v} & \boldsymbol{w} \end{pmatrix} \\ &= \begin{pmatrix} \frac{2}{\sqrt{5}} & -\frac{2}{\sqrt{5}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{5}} & 0 & -\frac{1}{\sqrt{2}} \\ 0 & \frac{3}{\sqrt{5}} & 0 \end{pmatrix} \end{align} である。