Idempotent matrix

선형 대수(linear algebra)에서, 거듭상등 행렬(idempotent matrix)은, 자신을 곱했을 때, 자신을 산출하는 행렬(matrix)입니다.^[1]^[2] 즉, 행렬 $A$ 가 거듭상등인 것과 $A^{2}=A$ 인 것은 필요충분 조건입니다. 이 곱 $A^{2}$ 를 정의하려면, $A$ 가 반드시 정사각 행렬(square matrix)이어야 합니다. 이렇게 보면, 거듭상등 행렬은 행렬 링(matrix rings)의 거듭상등 원소(idempotent elements)입니다.

Example

$2\times 2$ 거듭상등 행렬의 예제는 다음입니다: ${\begin{bmatrix}1&0\\0&1\end{bmatrix}}\qquad {\begin{bmatrix}3&-6\\1&-2\end{bmatrix}}$

$3\times 3$ 거듭상등 행렬의 예제는 다음입니다: ${\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}}\qquad {\begin{bmatrix}2&-2&-4\\-1&3&4\\1&-2&-3\end{bmatrix}}$

Real 2 × 2 case

만약 행렬 ${\begin{pmatrix}a&b\\c&d\end{pmatrix}}$ 이 거듭상등이면, 다음과 같습니다:

$a=a^{2}+bc,$
$b=ab+bd,$ implying $b(1-a-d)=0$ so $b=0$ or $d=1-a,$
$c=ca+cd,$ implying $c(1-a-d)=0$ so $c=0$ or $d=1-a,$
$d=bc+d^{2}.$

따라서, $2\times 2$ 행렬이 거듭상등 행렬이 되기 위한 필요 조건은 그것이 대각(diagonal)이거나 그것의 대각합(trace)이 1과 같다는 것입니다. 거듭상등 대각 행렬에 대해, $a$ 와 $d$ 는 1 또는 0이어야 합니다.

만약 $b=c$ 이면, 행렬 ${\begin{pmatrix}a&b\\b&1-a\end{pmatrix}}$ 은 $a^{2}+b^{2}=a$ 로 제공되는 거듭상등일 것이므로, 다음 이차 형식(quadratic equation)을 만족시킵니다:

a^{2}-a+b^{2}=0,

or

\left(a-{\frac {1}{2}}\right)^{2}+b^{2}={\frac {1}{4}}

이는 중심 (1/2, 0)과 반지름 1/2을 갖는 원(circle)입니다. 각도 θ의 관점에서,

A={\frac {1}{2}}{\begin{pmatrix}1-\cos \theta &\sin \theta \\\sin \theta &1+\cos \theta \end{pmatrix}}

는 거듭상등입니다.

어쨌든, $b=c$ 는 필요 조건이 아닙니다: $a^{2}+bc=a$ 를 갖는 임의의 행렬

{\begin{pmatrix}a&b\\c&1-a\end{pmatrix}}

은 거듭상등입니다.

Properties

Singularity and regularity

유일한 비-특이 거듭상등 행렬은 항등 행렬(identity matrix)입니다; 즉, 만약 비-상등 행렬이 거듭상등이면, 독립 행 (및 열)의 개수가 행 (및 열)의 개수보다 적습니다.

이것은 $A^{2}=A$ 라고 쓰고, $A$ 가 완전한 랭크 (비-특이)를 가진다고 가정하고, $A=IA=A^{-1}A^{2}=A^{-1}A=I$ 를 얻기 위해 $A^{-1}$ 를 미리-곱하면 알 수 있습니다.

거듭상등 행렬은 항등 행렬에서 뺄 때, 결과도 거듭상등입니다. 이것은 다음과 같은 이유로 유지됩니다:

(I-A)(I-A)=I-A-A+A^{2}=I-A-A+A=I-A.

만약 행렬 $A$ 가 거듭상등이면 모든 양의 정수 $n$ 에 대해, $A^{n}=A$ 입니다. 이것은 귀납법에 의한 증명을 사용하여 보일 수 있습니다. 분명하게 우리는 $A^{1}=A$ 와 같이 $n=1$ 에 대한 결과를 가집니다. $A^{k-1}=A$ 라고 가정합니다. 그런-다음, $A$ 는 거듭상등이기 때문에 $A^{k}=A^{k-1}A=AA=A$ 입니다. 따라서, 귀납법의 원리에 따라, 결과는 따라옵니다.

Eigenvalues

거듭상등 행렬은 항상 대각화-가능(diagonalizable)입니다.^[3] 그것의 고윳값은 0 또는 1 중 하나입니다: 만약 $\mathbf {x}$ 가 일부 거듭상등 행렬 $A$ 의 비-영 고유벡터이고 $\lambda$ 가 그것의 결합된 고윳값이면, ${\textstyle \lambda \mathbf {x} =A\mathbf {x} =A^{2}\mathbf {x} =A\lambda \mathbf {x} =\lambda A\mathbf {x} =\lambda ^{2}\mathbf {x} }$ 이며, 이는 $\lambda \in \{0,1\}$ 을 의미합니다. 이것은 나아가서 거듭상등 행렬의 행렬식(determinant)이 항상 0 또는 1임을 의미합니다. 위에서 언급한 바와 같이, 만약 행렬식이 일과 같으면, 그 행렬은 역-가능(invertible)이고 따라서 항등 행렬(identity matrix)입니다.

Trace

거듭상등 행렬의 대각합(trace), 주요 대각선에 있는 원소의 합은 행렬의 랭크(rank)와 같고 따라서 항상 정수입니다. 이것은 랭크를 계산하는 쉬운 방법을 제공하거나, 대안적으로 원소가 구체적으로 알려지지 않은 행렬의 대각합을 결정하는 쉬운 방법을 제공합니다 (예를 들어, 표본 분산(sample variance)을 모집단 분산(population variance)의 추정으로 사용하는 편향(bias)의 정도를 설정하는 것과 같이 통계에서 도움이 됩니다.).

Relationships between idempotent matrices

회귀 분석에서, 행렬 $M=I-X(X'X)^{-1}X'$ 는 공변수 $X$ 의 행렬 위에 종속 변수 $y$ 의 벡터의 회귀로부터 잔여 $e$ 를 생성하는 것으로 알려져 있습니다. (Applications 섹션을 참조.) 이제, $X_{1}$ 을 $X$ 의 열의 부분집합으로부터 형성된 행렬이라고 놓고, $M_{1}=I-X_{1}(X_{1}'X_{1})^{-1}X_{1}'$ 이라 놓습니다. $M$ 과 $M_{1}$ 이 모두 거듭상등이라는 것을 쉽게 알 수 있지만, 다소 놀라운 사실은 $MM_{1}=M$ 이라는 것입니다. 이것은 $MX_{1}=0$ 이기 때문입니다, 또는 다시 말해서, $X$ 위의 $X_{1}$ 의 열의 회귀에서 잔차가 0인데 왜냐하면 $X_{1}$ 은 $X$ 의 부분집합으로 완벽하게 보간될 수 있기 때문입니다 (직접 대입에 의해, $MX=0$ 임을 보이는 것도 간단합니다). 이것은 두 가지 다른 중요한 결과로 이어집니다: 하나는 $(M_{1}-M)$ 이 대칭이고 거듭상등이라는 것이고, 다른 하나는 $(M_{1}-M)M=0$ , 즉, $(M_{1}-M)M=0$ 이 $M$ 에 직교한다는 것입니다. 이들 결과는, 예를 들어, F 테스트의 유도에서 핵심 역할을 합니다.

거듭상등 행렬의 임의의 닮은 행렬도 거듭상등 행렬입니다. 거듭상등성은 기저의 변경(change of basis) 아래에서 보존됩니다. 이것은 $A$ 가 거듭상등인 변환된 행렬 $SAS^{-1}$ 의 곱셈을 통해 보일 수 있습니다: $(SAS^{-1})^{2}=(SAS^{-1})(SAS^{-1})=SA(S^{-1}S)AS^{-1}=SA^{2}S^{-1}=SAS^{-1}$ .

Applications

거듭상등 행렬은 회귀 분석(regression analysis)과 계량-경제학(econometrics)에서 자주 발생합니다. 예를 들어, 보통의 최소 제곱(ordinary least squares)에서, 회귀 문제는 잔여 제곱 (예측-오류) e_i의 합을 최소화하기 위해 계수 추정의 벡터 $β$ 를 선택하는 것입니다: 행렬 형식에서

Minimize

(y-X\beta )^{\textsf {T}}(y-X\beta )

여기서 $y$ 는 종속 변수(dependent variable) 관측의 벡터이고, $X$ 는 각 열이 독립 변수(independent variables) 중 하나에 대한 관측의 열인 행렬입니다. 결과 추정기는 다음과 같습니다:

{\hat {\beta }}=\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}y

여기서 위첨자 T는 전치(transpose)를 나타내고, 잔여 벡터는 다음과 같습니다:^[2]

{\hat {e}}=y-X{\hat {\beta }}=y-X\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}y=\left[I-X\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}\right]y=My.

여기서 $M$ 과 $X\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}$ (후자는 투영 행렬로 알려져 있음) 둘 다는 거듭상등이고 대칭 행렬이며, 제곱 잔여의 합이 계산될 때 단순화를 허용하는 사실입니다:

{\hat {e}}^{\textsf {T}}{\hat {e}}=(My)^{\textsf {T}}(My)=y^{\textsf {T}}M^{\textsf {T}}My=y^{\textsf {T}}MMy=y^{\textsf {T}}My.

$M$ 의 거듭상등성은 추정기 ${\hat {\beta }}$ 의 분산을 결정하는 것과 같은 다른 계산에서도 중요한 역할을 합니다.

거듭상등 선형 연산자 $P$ 는 널 공간(null space) $N(P)$ 을 따라 치역 공간(range space) $R(P)$ 위에 투영 연산자입니다. $P$ 가 직교 투영(orthogonal projection) 연산자인 것과 그것이 거듭상등이고 대칭(symmetric)인 것은 필요충분 조건입니다.

References

^ Chiang, Alpha C. (1984). Fundamental Methods of Mathematical Economics (3rd ed.). New York: McGraw–Hill. p. 80. ISBN 0070108137.
^ ^a ^b Greene, William H. (2003). Econometric Analysis (5th ed.). Upper Saddle River, NJ: Prentice–Hall. pp. 808–809. ISBN 0130661899.
^ Horn, Roger A.; Johnson, Charles R. (1990). Matrix analysis. Cambridge University Press. p. p. 148. ISBN 0521386322.

[1] Chiang, Alpha C. (1984). Fundamental Methods of Mathematical Economics (3rd ed.). New York: McGraw–Hill. p. 80. ISBN 0070108137.

[Greene-2] Greene, William H. (2003). Econometric Analysis (5th ed.). Upper Saddle River, NJ: Prentice–Hall. pp. 808–809. ISBN 0130661899.

[3] Horn, Roger A.; Johnson, Charles R. (1990). Matrix analysis. Cambridge University Press. p. p. 148. ISBN 0521386322.

[1]

[2]

[3]