$A$ の固有値を $\lambda$ とすると、 \begin{align} 0 &= \det \begin{pmatrix} 1 - \lambda & -s \\ s-1 & 2s - \lambda \end{pmatrix} \\ &= \left( \lambda - s \right) \left( \lambda - s - 1 \right) \\ \therefore \ \ \lambda &= s, s+1 \end{align} がわかる。
与えられた方程式は、固有値が $3$ ということを意味するので、 $s=2$ または $s=3$ である。
$s=2$ とすると、 \begin{align} \begin{pmatrix} 1 & -2 \\ 1 & 4 \end{pmatrix} \begin{pmatrix} t^2+1 \\ -2t \end{pmatrix} = 3 \begin{pmatrix} t^2+1 \\ -2t \end{pmatrix} \end{align} から $t=1$ を得る。
$s=3$ とすると、 \begin{align} \begin{pmatrix} 1 & -3 \\ 2 & 6 \end{pmatrix} \begin{pmatrix} t^2+1 \\ -3t \end{pmatrix} = 3 \begin{pmatrix} t^2+1 \\ -3t \end{pmatrix} \end{align} から $t=(9 \pm \sqrt{65})/4$ を得る。
以上より、求める実数の組 $(s,t)$ は \begin{align} (s,t) = (2, 1) , \left( 3, \frac{9 + \sqrt{65}}{4} \right) , \left( 3, \frac{9 - \sqrt{65}}{4} \right) \end{align} である。