直線 $y = 3x - 5$ 上の点 $(x,3x- 5)$ の像の座標を $(x',y')$ とすると

$ $$\begin{eqnarray*} \begin{pmatrix} x' \\ y' \end{pmatrix} & = & \begin{pmatrix} a & 1 \\ 1 & b \end{pmatrix} \begin{pmatrix} x \\ 3x-5 \end{pmatrix}\\[1em] & = & \begin{pmatrix} (a + 3)x-5 \\ (1 + 3b)x - 5b \end{pmatrix} \end{eqnarray*}$$ $

よって

$\left\{ $$\begin{aligned} x' &= (a+3)x-5 \\ y' &= (1 + 3b)x - 5b \end{aligned}$$ \right.$

像が自分自身であることから $y' = 3x'-5$ が成り立つので, 代入すると

$(1 + 3b)x - 5b = 3((a+3)x - 5) -5$

整理すると

$(1 + 3b)x - 5b = (3a + 9)x - 20$

これが全ての $x$ で成り立つので

$\left\{ $$\begin{aligned} 1 + 3b &= 3a + 9 \\ -5b &= -20 \end{aligned}$$ \right.$

これを解くと $a = \dfrac{4}{3}$, $b = 4$ となる。

よって $b = 4$ である。