直線 $y = 3x - 3$ 上の点 $(x,3x-3)$ の像の座標を $(x',y')$ とすると

$ $$\begin{eqnarray*} \begin{pmatrix} x' \\ y' \end{pmatrix} & = & \begin{pmatrix} 1 & 1 \\ a & b \end{pmatrix} \begin{pmatrix} x \\ 3x-3 \end{pmatrix}\\[1em] & = & \begin{pmatrix} 4x-3 \\ (a + 3b)x - 3b \end{pmatrix} \end{eqnarray*}$$ $

よって

$\left\{ $$\begin{aligned} x' &= 4x-3 \\ y' &= (a+3b)x - 3b \end{aligned}$$ \right.$

像が自分自身であることから $y' = 3x'-3$ が成り立つので, 代入すると

$(a+3b)x - 3b = 3(4x-3) - 3$

整理すると

$(a+3b)x - 3b = 12x - 12$

これが全ての $x$ で成り立つので

$\left\{ $$\begin{aligned} a + 3b &= 12 \\ -3b &= -12 \end{aligned}$$ \right.$

これを解くと $a = 0$, $b = 4$ となる。

よって $b = 4$ である。