行基本変形を施していき「$0$ でない成分を含む行」の数を数えます。

(1)
$2$ 行目から $1$ 行目を引き, $3$ 行目に $1$ 行目の $3$ 倍を加えると

$\begin{pmatrix} 1 & 2 & -3 \\ 0 & -1 & 7 \\ 0 & 11 & -5 \end{pmatrix}$

$3$ 行目に $2$ 行目の $11$ 倍を加えると

$\begin{pmatrix} 1 & 2 & -3 \\ 0 & -1 & 7 \\ 0 & 0 & 72 \end{pmatrix}$

$0$ でない成分を含む行が $3$ つあるので, $A_1$ の階数は $3$ になります。

(2)
$2$ 行目から $1$ 行目の $4$ 倍を引き, $3$ 行目に $1$ 行目の $3$ 倍を加えると

$\begin{pmatrix} 1 & 1 & 1 \\ 0 & -1 & -2 \\ 0 & 2 & 4 \end{pmatrix}$

$3$ 行目に $2$ 行目の $2$ 倍を加えると

$\begin{pmatrix} 1 & 1 & 1 \\ 0 & -1 & -2 \\ 0 & 0 & 0 \end{pmatrix}$

$0$ でない成分を含む行が $2$ つあるので, $A_2$ の階数は $2$ になります。

(3)
$2$ 行目に $1$ 行目の $2$ 倍を加え, $3$ 行目に $1$ 行目の $3$ 倍を加えると

$\begin{pmatrix} 1 & -1 & -2 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{pmatrix}$

$0$ でない成分を含む行が $1$ つあるので, $A_3$ の階数は $1$ になります。

行列の $2$ 行目に $1$ 行目の $3$ 倍を加え, $3$ 行目から $1$ 行目の $a$ 倍を引くと

$\begin{pmatrix} 1 & 0 & -1 \\ 0 & a & 2 \\ 0 & a & a-2 \end{pmatrix}$

$3$ 行目から $2$ 行目を引くと

$\begin{pmatrix} 1 & 0 & -1 \\ 0 & a & 2 \\ 0 & 0 & a-4 \end{pmatrix}$

$a \gt 0$ であるから, $1$ 行目と $2$ 行目は $0$ でない成分を含むことがわかります。

よってこの行列の階数が $2$ である時, $3$ 行目の成分が全て $0$ になるので

$a-4=0$

すなわち $a=4$ となります。

$n$ 次の正方行列 $A$ に対し

$A$ が正則 $\Leftrightarrow$ ${\rm rank}~A = n$

が成り立ちます。

$A$ は $2$ 次の行列なので, $A$ の階数が $2$ である条件を調べればよいことになります。

$2$ 行目から $1$ 行目の $b$ 倍を引くと

$\begin{pmatrix} 1 & a \\ 0 & c - ab \end{pmatrix}$

$1$ 行目は $0$ でない成分を含むことから

${\rm rank}~A = 2 \Leftrightarrow c -ab\not=0$

であることがわかります。