与えられた行列 $A$ を列基本変形して、次のようにできる： \begin{align} \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ a+1 & -1 & a \end{pmatrix} . \end{align} よって、 $a \ne 0$ のときは $A$ の階数は $3$ であり、 $a=0$ のときは $A$ の階数は $2$ である。
(i) $a \ne 0$ のとき、 $\mathrm{Ker} (f)$ は $0$ 次元であり、 \begin{align} \mathrm{Ker} (f) = \left\{ \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} \right\} \end{align} である。
(ii) $a=0$ のとき、 $\mathrm{Ker} (f)$ は $1$ 次元である。 \begin{align} \begin{pmatrix} 1 & 1 & 0 \\ 1 & 0 & -1 \\ 0 & -1 & -1 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} \end{align} とおくと $x=-y=z$ であるから、 \begin{align} \mathrm{Ker} (f) = \left\{ t \begin{pmatrix} 1 \\ -1 \\ 1 \end{pmatrix} \middle| t \in \boldsymbol{R} \right\} \end{align} である。
(i) $a \ne 0$ のとき、 $\mathrm{Im} (f)$ は $3$ 次元であり、 $A$ を構成する3つの列ベクトル \begin{align} \begin{pmatrix} 1 \\ 1 \\ a \end{pmatrix} , \ \ \begin{pmatrix} 1 \\ 0 \\ -1 \end{pmatrix} , \ \ \begin{pmatrix} a \\ -1 \\ -1 \end{pmatrix} \end{align} は $\mathrm{Im} (f)$ の基底である。
(ii) $a=0$ のとき、 $\mathrm{Im} (f)$ は $2$ 次元であり、 $A$ を構成する3つの列ベクトルのうちの2つ \begin{align} \begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} , \ \ \begin{pmatrix} 1 \\ 0 \\ -1 \end{pmatrix} \end{align} は $\mathrm{Im} (f)$ の基底である。
\begin{align} f'(x) &= \cos x , \ \ f''(x) = - \sin x , \ \ f'''(x) = - \cos x \\ g'(x) &= -2e^{-2x} , \ \ g''(x) = 4e^{-2x} , \ \ g'''(x) = -8e^{-2x} \end{align} なので、 \begin{align} a_0 &= f(0) = 0 \\ a_1 &= f'(0) = 1 \\ a_2 &= \frac{1}{2} f''(0) = 0 \\ a_3 &= \frac{1}{6} f'''(0) = - \frac{1}{6} \\ b_0 &= g(0) = 1 \\ b_1 &= g'(0) = -2 \\ b_2 &= \frac{1}{2} g''(0) = 2 \\ b_3 &= \frac{1}{6} g'''(0) = \frac{4}{3} \end{align} である。
また、 \begin{align} \lim_{x \to 0} \left( \frac{1}{2 \sin x} + \frac{1}{e^{-2x} - 1} \right) &= \lim_{x \to 0} \left( \frac{1}{2} \frac{1}{x - \frac{1}{6} x^3 + o(x^3) } + \frac{1}{-2x + 2x^2 - \frac{4}{3}x^3 + o(x^3)} \right) \\ &= \lim_{x \to 0} \frac{1}{2x} \left( \left( 1 + o(x^2) \right) - \left( 1 + x + o(x^2) \right) \right) \\ &= \lim_{x \to 0} \frac{1}{2} \left( -1 + o(x) \right) \\ &= - \frac{1}{2} \end{align} である。
$a \ne -1$ のとき、 \begin{align} \int x^a \log x dx &= \frac{1}{a+1} x^{a+1} \log x - \frac{1}{a+1} \int x^a dx \\ &= \frac{1}{a+1} x^{a+1} \log x - \frac{1}{(a+1)^2} x^{a+1} + \text{ 積分定数 } \end{align} なので、 $a+1 \gt 0$ すなわち $a \gt -1$ のとき与えられた広義積分は収束し \begin{align} \int_0^1 x^a \log x dx &= \left[ \frac{1}{a+1} x^{a+1} \log x - \frac{1}{(a+1)^2} x^{a+1} \right]_0^1 \\ &= - \frac{1}{(a+1)^2} \end{align} であり、 $a+1 \lt 0$ すなわち $a \lt -1$ のとき与えられた広義積分は収束しない。
$a = -1$ のとき、 \begin{align} \int x^{-1} \log x dx &= \left( \log x \right)^2 - \int x^{-1} \log x dx \\ \therefore \ \ \int x^{-1} \log x dx &= \frac{1}{2} \left( \log x \right)^2 + \text{ 積分定数 } \end{align} なので、与えられた広義積分は収束しない。
以上より、与えられた広義積分が収束するのは $a \gt -1$ のときであり、このとき、 \begin{align} \int_0^1 x^a \log x dx &= - \frac{1}{(a+1)^2} \end{align} である。