$A$ の固有値を $\lambda$ とすると、 \begin{align} 0 &= \det \begin{pmatrix} a - \lambda & 0 & b \\ 0 & a - \lambda & 0 \\ b & 0 & a - \lambda \end{pmatrix} \\ &= (a - \lambda)^3 - b^2(a - \lambda) \\ &= - (\lambda - a)(\lambda - a - b)(\lambda - a + b) \\ \therefore \ \ \lambda &= a-b, a, a+b \end{align} $b \ne 0$ なので、この3つは異なり、3つの固有値 $a-b,a,a+b$ を持つことがわかる。
固有値 $a-b$ に属する固有ベクトルを求めるために、 \begin{align} \begin{pmatrix} a - (a-b) & 0 & b \\ 0 & a - (a-b) & 0 \\ b & 0 & a - (a-b) \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} \end{align} とおくと、 $b \ne 0$ を考慮して、 $x+z=0, y=0$ を得るので、固有ベクトル \begin{align} \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ 0 \\ -1 \end{pmatrix} \end{align} を得る。 同様にして、固有値 $a, a+b$ のそれぞれに属する固有ベクトル \begin{align} \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix} , \ \ \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ 0 \\ 1 \end{pmatrix} \end{align} を得る。
(1)で求めた固有ベクトルを使って、 \begin{align} P = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 & 0 & 1 \\ 0 & \sqrt{2} & 0 \\ -1 & 0 & 1 \end{pmatrix} \end{align} とすれば、これは直交行列で、 \begin{align} P^{-1} = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 & 0 & -1 \\ 0 & \sqrt{2} & 0 \\ 1 & 0 & 1 \end{pmatrix} \end{align} であり、 \begin{align} P^{-1} A P = \begin{pmatrix} a-b & 0 & 0 \\ 0 & a & 0 \\ 0 & 0 & a+b \end{pmatrix} \end{align} となる。