直線 $y = 5x + 2$ 上の点 $(x,5x+2)$ の像の座標を $(x',y')$ とすると

$ $$\begin{eqnarray*} \begin{pmatrix} x' \\ y' \end{pmatrix} & = & \begin{pmatrix} a & 1 \\ 1 & b \end{pmatrix} \begin{pmatrix} x \\ 5x+2 \end{pmatrix}\\[1em] & = & \begin{pmatrix} (a + 5)x+2 \\ (1 + 5b)x + 2b \end{pmatrix} \end{eqnarray*}$$ $

よって

$\left\{ $$\begin{aligned} x' &= (a+5)x+2 \\ y' &= ( 1 + 5b)x + 2b \end{aligned}$$ \right.$

像が自分自身であることから $y' = 5x'+2$ が成り立つので, 代入すると

$(1 + 5b)x + 2b = 5((a+5)x + 2) + 2$

整理すると

$(1 + 5b)x + 2b = (5a + 25)x + 12$

これが全ての $x$ で成り立つので

$\left\{ $$\begin{aligned} 1 + 5b &= 5a + 25 \\ 2b &= 12 \end{aligned}$$ \right.$

これを解くと $a = \dfrac{6}{5}$, $b = 6$ となる。

よって $b = 6$ である。