\begin{align} AX &= \begin{bmatrix} a\lambda+g & b\lambda+h & c\lambda+i \\ d\lambda & e\lambda & f\lambda \\ a+d+g\lambda & b+e+h\lambda & c+f+i\lambda \end{bmatrix} \\ XA &= \begin{bmatrix} a\lambda+c & b\lambda+c & a+c\lambda \\ d\lambda+f & e\lambda+f & d+f\lambda \\ g\lambda+i & h\lambda+i & i\lambda+g \end{bmatrix} \end{align} なので、 $AX=XA$ を満たすとき \begin{align} d=0, \ e=a-b, \ f=0, \ g=c, \ h=c, \ i=a \end{align} であり、 $0$ になるのは $d,f$ であることがわかる。
\begin{align} f \left( \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} \right) &= \begin{bmatrix} 2x_1-x_2 \\ 3x_2+2x_3 \end{bmatrix} = \begin{bmatrix} 2 & -1 & 0 \\ 0 & 3 & 2 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} \\ g \left( \begin{bmatrix} y_1 \\ y_2 \end{bmatrix} \right) &= \begin{bmatrix} y_1+3y_2 \\ -2y_1+y_2 \end{bmatrix} = \begin{bmatrix} 1 & 3 \\ -2 & 1 \end{bmatrix} \begin{bmatrix} y_1 \\ y_2 \end{bmatrix} \end{align} なので、 \begin{align} A &= \begin{bmatrix} 2 & -1 & 0 \\ 0 & 3 & 2 \end{bmatrix} \\ B &= \begin{bmatrix} 1 & 3 \\ -2 & 1 \end{bmatrix} \end{align} がわかる。
\begin{align} \left( g \circ f \right) \left( \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} \right) &= g \left( f \left( \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} \right) \right) \\ &= B \left( A \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} \right) \\ &= \left( BA \right) \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} \end{align} から $C=BA$ がわかり、 \begin{align} C &= BA \\ &= \begin{bmatrix} 1 & 3 \\ -2 & 1 \end{bmatrix} \begin{bmatrix} 2 & -1 & 0 \\ 0 & 3 & 2 \end{bmatrix} \\ &= \begin{bmatrix} 2 & 8 & 6 \\ -4 & 5 & 2 \end{bmatrix} \end{align} を得る。