\begin{align} f_x(x,y) &= 3x^2 - 3y^2 \\ f_y(x,y) &= -6xy + 6y^2 \end{align}
$f(x,y)=0$ の両辺を $x$ で微分して整理すると、 \begin{align} (x-y) \left\{ (x+y) - 2y \frac{dy}{dx} \right\} = 0 \end{align} となるが、 $f(x,x) = 4 \neq 0$ なので $x \neq y$ と考えてよく、 \begin{align} (x+y) - 2y \frac{dy}{dx} = 0 \end{align} を得るので、 $dy/dx=0$ が成り立つためには $x+y=0$ が必要であることがわかる。 さらに、 \begin{align} f(x, -x) &= -4x^3 + 4 \\ &= -4(x-1)(x^2+x+1) \end{align} であるので、まとめると、 $f(x,y)=0, dy/dx=0$ が成り立つのは $(x,y)=(1,-1)$ のときであることがわかる。
$A$ の固有値を $\lambda$ とすると、 \begin{align} 0 &= \det \begin{pmatrix} 1 - \lambda & 2 & a \\ 2 & 1 - \lambda & a^2 \\ 0 & 0 & 3 - \lambda \end{pmatrix} \\ &= - (\lambda+1)(\lambda-3)^2 \\ \therefore \ \ \lambda &= -1, 3 \end{align} がわかる。
$A$ が対角化可能であるのは、 固有値 $3$ に属する1次独立な固有ベクトルが2つ存在する場合である。 固有値 $3$ に属する固有ベクトルを求めるため、 \begin{align} \begin{pmatrix} -2 & 2 & a \\ 2 & -2 & a^2 \\ 0 & 0 & 0 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} \end{align} とおくと、2つの条件式 \begin{align} -2x+2y+az &= 0, \\ 2x-2y+a^2z &= 0 \end{align} を得るが、両辺足して整理すると、 \begin{align} a(a+1)z = 0 \end{align} となる。 そこで (i) $a=0$ (ii) $a=-1$ (iii) $a \neq 0, -1$ の3通りに場合分けして考える。
(i) $a=0$ のとき、 3つの未知数 $x,y,z$ に対して条件式は1つ $x=y$ しかないので、 固有値 $3$ に属する2つの1次独立な固有ベクトルが存在する。 例えば、 \begin{align} \begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} , \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix} \end{align} である。
(ii) $a=-1$ のとき、 3つの未知数 $x,y,z$ に対して条件式は1つ $2x-2y+z=0$ しかないので、 固有値 $3$ に属する2つの1次独立な固有ベクトルが存在する。 例えば、 \begin{align} \begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} , \begin{pmatrix} 1 \\ 0 \\ -2 \end{pmatrix} \end{align} である。
(iii) $a \neq 0, -1$ のとき、 3つの未知数 $x,y,z$ に対して条件式は2つ $x=y,z=0$ あるので、 固有値 $3$ に属する2つの1次独立な固有ベクトルは存在しない。 固有ベクトルは、例えば、 \begin{align} \begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} \end{align} である。
以上より、 $A$ が対角化可能となる $a$ の値は $a=0,-1$ である。