$V$ は3次元であり、 $1, x, x^2$ はその基底である。 \begin{align} \begin{pmatrix} S(1) & S(x) & S(x^2) \end{pmatrix} &= \begin{pmatrix} a & 2ax+2 & 3ax^2+4x \end{pmatrix} \\ &= \begin{pmatrix} 1 & x & x^2 \end{pmatrix} \begin{pmatrix} a & 2 & 0 \\ 0 & 2a & 4 \\ 0 & 0 & 3a \end{pmatrix} \end{align} なので、 $V$ の基底 $1,x,x^2$ に関する $S$ の表現行列は \begin{align} \tilde{S} &= \begin{pmatrix} a & 2 & 0 \\ 0 & 2a & 4 \\ 0 & 0 & 3a \end{pmatrix} \end{align} である。 よって、 $S$ の固有値を $s$ とすると、 \begin{align} 0 &= \det \begin{pmatrix} a-s & 2 & 0 \\ 0 & 2a-s & 4 \\ 0 & 0 & 3a-s \end{pmatrix} \\ &= (a-s)(2a-s)(3a-s) \end{align} である。
(i) $a \ne 0$ のときは、 $S$ には相異なる3つの固有値 $a,2a,3a$ があるので、 $S$ は対角化可能である。
(ii) $a=0$ のときは、 $S$ の固有値は $0$ のみである。 $S$ の固有値 $0$ に属する固有空間を求めるため \begin{align} \begin{pmatrix} 0 & 0 & 0 \\ 2 & 0 & 0 \\ 0 & 4 & 0 \end{pmatrix} \begin{pmatrix} u \\ v \\ w \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} \end{align} とおくと、 $u=v=0$ を得るので、固有空間は1次元であることがわかる。 よって、この場合は $S$ は対角化可能でない。
(i), (ii) より、求める必要十分条件は $a \ne 0$ である。
(1) と同様に考えると、 $V$ の基底 $1,x,x^2$ に関する $T$ の表現行列は \begin{align} \tilde{T} &= \begin{pmatrix} 0 & 3 & 0 \\ 0 & b & 6 \\ 0 & 0 & 2b \end{pmatrix} \end{align} であることがわかり、 $T$ の固有値を $t$ として \begin{align} 0 &= \det \begin{pmatrix} -t & 3 & 0 \\ 0 & b-t & 6 \\ 0 & 0 & 2b-t \end{pmatrix} \\ &= -t(b-t)(2b-t) \end{align} であることがわかり、 $T$ が対角化可能であるための必要十分条件は $b \ne 0$ であることがわかる。
$S,T$ が同時対角化可能であるためには、 $S,T$ のそれぞれが対角化可能である必要があり、 $a \ne 0$ かつ $b \ne 0$ でなければならない。
さらに、 \begin{align} \tilde{S} \tilde{T} &= \begin{pmatrix} 0 & 6a & 12 \\ 0 & 2ab & 18a+4b \\ 0 & 0 & 6ab \end{pmatrix} , \\ \tilde{T} \tilde{S} &= \begin{pmatrix} 0 & 3a+2b & 12 \\ 0 & 2ab & 12a+8b \\ 0 & 0 & 6ab \end{pmatrix} \end{align} なので、 $\tilde{S} \tilde{T} = \tilde{T} \tilde{S}$ となるのは $3a=2b$ のときである。
以上より、求める必要十分条件は、 $a \ne 0$ かつ $3a=2b$ である。