$\left( B^T B \right)^T = B^T B$ なので、$B^T B$ は実対称行列であり、 その固有ベクトルは実ベクトルに選べる。
$B^T B$ の固有値を $\lambda$ 、これに属する固有ベクトルを $x$ とする （その成分はすべて実数とする）。 \begin{align} B^T B x = \lambda x \end{align} これの両辺に左から $x^T$ をかけると、 \begin{align} x^T B^T B x &= \lambda x^T x \\ (Bx)^T B x &= \lambda x^T x \end{align} $x^T x$ はベクトル $x$ の成分の2乗和なので正、 $(Bx)^T Bx$ はベクトル $Bx$ の成分の2乗和なので非負、 よって $\lambda$ は非負であることがわかる。
\begin{align} B^T B = \begin{pmatrix} 0 & 0 \\ \sqrt{3} & 0 \\ 1 & 2 \end{pmatrix} \begin{pmatrix} 0 & \sqrt{3} & 1 \\ 0 & 0 & 2 \end{pmatrix} = \begin{pmatrix} 0 & 0 & 0 \\ 0 & 3 & \sqrt{3} \\ 0 & \sqrt{3} & 5 \end{pmatrix} \end{align} $B^T B$ の固有値を $\lambda$ とすると、 \begin{align} 0 = \det \begin{pmatrix} -\lambda & 0 & 0 \\ 0 & 3-\lambda & \sqrt{3} \\ 0 & \sqrt{3} & 5-\lambda \end{pmatrix} = - \lambda (\lambda - 2) (\lambda - 6) \end{align} よって、$\lambda = 0, 2, 6$ である。
固有値 $2$ の固有ベクトルを求めるため、 \begin{align} \begin{pmatrix} 0 & 0 & 0 \\ 0 & 3 & \sqrt{3} \\ 0 & \sqrt{3} & 5 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = 2 \begin{pmatrix} x \\ y \\ z \end{pmatrix} \end{align} とすると、 $x=0, y+\sqrt{3}z=0$ を得るので、 例えば、 $x=0, y=\sqrt{3}/2, z=-1/2$ として、 \begin{align} \begin{pmatrix} 0 \\ \frac{\sqrt{3}}{2} \\ -\frac{1}{2} \end{pmatrix} \end{align} が規格化された固有ベクトルである。
固有値 $6$ の固有ベクトルを求めるため、 \begin{align} \begin{pmatrix} 0 & 0 & 0 \\ 0 & 3 & \sqrt{3} \\ 0 & \sqrt{3} & 5 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = 6 \begin{pmatrix} x \\ y \\ z \end{pmatrix} \end{align} とすると、 $x=0, \sqrt{3}y=z$ を得るので、 例えば、 $x=0, y=1/2, z=\sqrt{3}/2$ として、 \begin{align} \begin{pmatrix} 0 \\ \frac{1}{2} \\ \frac{\sqrt{3}}{2} \end{pmatrix} \end{align} が規格化された固有ベクトルである。
$B^T B$ の固有値 $0$ に属する固有ベクトルが \begin{align} \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix} \end{align} であることに注意して、[問2]の結果より、 \begin{align} V^{-1} = \begin{pmatrix} 1 & 0 & 0 \\ 0 & \frac{\sqrt{3}}{2} & \frac{1}{2} \\ 0 & -\frac{1}{2} & \frac{\sqrt{3}}{2} \end{pmatrix} \end{align} すなわち、 \begin{align} V = \left( V^{-1} \right)^T = \begin{pmatrix} 1 & 0 & 0 \\ 0 & \frac{\sqrt{3}}{2} & - \frac{1}{2} \\ 0 & \frac{1}{2} & \frac{\sqrt{3}}{2} \end{pmatrix} \end{align} とすればよい。
実際、このとき、 \begin{align} V B^T B V^{-1} = \begin{pmatrix} 1 & 0 & 0 \\ 0 & \frac{\sqrt{3}}{2} & -\frac{1}{2} \\ 0 & \frac{1}{2} & \frac{\sqrt{3}}{2} \end{pmatrix} \begin{pmatrix} 0 & 0 & 0 \\ 0 & 3 & \sqrt{3} \\ 0 & \sqrt{3} & 5 \end{pmatrix} \begin{pmatrix} 1 & 0 & 0 \\ 0 & \frac{\sqrt{3}}{2} & \frac{1}{2} \\ 0 & -\frac{1}{2} & \frac{\sqrt{3}}{2} \end{pmatrix} = \begin{pmatrix} 0 & 0 & 0 \\ 0 & 2 & 0 \\ 0 & 0 & 6 \end{pmatrix} \end{align}