선형 모형

통계학에서 선형 모형이라는 용어는 상황에 따라 다른 방식으로 사용됩니다.가장 일반적으로 발생하는 것은 회귀 모형과 관련되어 있으며 이 항은 종종 선형 회귀 모형과 동의어로 간주됩니다.그러나 이 용어는 시계열 분석에서도 다른 의미로 사용됩니다.각각의 경우, "선형"이라는 명칭은 관련 통계 이론의 복잡성을 상당히 줄일 수 있는 모델의 하위 클래스를 식별하기 위해 사용된다.

선형 회귀 모형

회귀 분석의 경우 통계적 모형은 다음과 같습니다.(표준) 샘플$({\displaystyle }$ ${\displaystyle {}_{}{i}_{}}$ , ${\displaystyle {}_{}}$ ${\displaystyle i_{}{1}_{}}$, ${\displaystyle ...}$ , ${\displaystyle {}_{}}$ ${\displaystyle i_{}{p}_{}}$)이 주어진 경우, i ${\displaystyle =1}$ , ${\displaystyle ...}$ ,$$ \ $displaystyle$($Y$_ {$i$ , X$_${ i$$} , , i$$=$$1$,$ $\ldots , n$ ) 관측치$$ ${\displaystyle Y_{}}$i \ $displaystyle$ Y _ { $i$} , n } $the{\displaystyle {}_{}}$ and and$$ and$$ 。

$\displaystyle Y_{i}=\beta _{0}+\cdots _{1}\phi _{p}+\phi _{p}(X_{ip})+\varepsilon _{i}\qquad i=1,\ldots,n}$

${\displaystyle {여기}_{}}$서 §${\displaystyle {}_{}}$1,${\displaystyle \dots ,}$ §$$ \$displaystyle \phi$ _${1},\ldots,\phi$ _${p}$는 비선형 함수일 수 있습니다.위의 수 ${\displaystyle i_{}}$ i$$\ $displaystyle$\$varepsilon$_ { $i}$는 관계 오류를 나타내는 랜덤 변수입니다.명칭의 "선형" 부분은 위의 관계에서 선형 방식으로 회귀 $계수$인 ${\displaystyle {\beta }_{}}$j \$displaystyle \beta$ _${j}$의 외관과 관련이 있다.또는 상기 모델에 대응하는 예측값, 즉

${\displaystyle {Y}_{i}=\beta _{0}+\phi _{1}(X_{i1})+\cdots +\cdots _{p}(X_{ip})\qquad (i=1,\ldots,n})$

는 ${\displaystyle {\beta }_{}}$ j$\displaystyle_{j$의 선형 함수입니다.

최소 제곱 분석을 기반으로 추정이 수행된다고 가정할 때, 알려지지 않은 $모수{\displaystyle {}_{}}$ ${\displaystyle {\beta }_{}}$j \$displaystyle \beta$ _${j}$의 추정치는 제곱 함수를 최소화하여 결정된다.

$\displaystyle S=\sum _{i}^{n}\left(Y_{i}-\beta _{0}-\cdots _{i1}\phi _{1}-\cdots -\p}\phi _{p}(X_{ip}\right)^2}.$

이를 통해 모델의 "선형" 측면이 다음을 의미함을 쉽게 알 수 있습니다.

• 최소화할 함수는 최소화가 비교적 단순한 문제인 ${\displaystyle {\beta }_{}}$ j$\$의 2차 함수이다.
• 함수의 도함수는 최소값을 쉽게 찾을 수 있도록 ${\displaystyle {\beta }_{}}$j \{$displaystyle \display_{j}}$의 선형 함수이다.
• $최소값{\displaystyle {}_{}}$ ${\displaystyle {\beta }_{}}$j \$displaystyle \beta$ _${j}$는 $관측치{\displaystyle {}_{}}$ $\$의 선형 함수이다.
• $최소값{\displaystyle {}_{}}$ ${\displaystyle {\beta }_{}}$j \$displaystyle \displaystyle$ _${j}$는 무작위 오류 ${\displaystyle {\delta }_{}}$i \$displaystyle$$$\$varepsilon$_${i$$}$의 선형 함수이므로 $β$ j \$displaystyle$ \$displaysilon$ _$\{$$j{\displaystyle {}_{}}$}의 통계 특성을 비교적 쉽게 결정할 수 있다.

시계열 모델

선형 시계열 모형의 예로는 자기 회귀 이동 평균 모형이 있습니다.여기서 시계열 값 {${\displaystyle X_{}}$ t$\$의 모델을 다음 형식으로 작성할 수 있습니다.

${\displaystyle X_{t}=c+\varepsilon _{t}+\sum _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,}$

여기서도 수량 ${\displaystyle i_{}}$ i$\$ _${i}$는 혁신을 나타내는 랜덤 변수이며, 특정 시점에 나타나는 새로운 랜덤 효과이지만 나중에 X$(\displaystyle$ X$)$의 값에도 영향을 미친다.이 경우 "선형 모델"이라는 용어는 동일한 시계열의 과거 값과 ^[1]혁신의 현재 및 과거 값의 선형 함수로 X$$ {\$display style$ X_${t}}$를 $나타내는{\displaystyle {}_{}}$ 위의 관계 구조를 의미한다.구조의 이러한 특정 측면은 시계열의 평균 및 공분산 특성에 대한 관계를 도출하는 것이 비교적 간단하다는 것을 의미합니다.여기서 "선형 모델"이라는 용어의 "선형" 부분은 구조적으로 유사한 회귀 모델의 경우처럼 계수 ${\displaystyle i_{}}$i {\$displaystyle \phi$ _${$$i}$ 및$$$$ i {\$displaystyle$ \$theta _{$i$\}\}$를 가리키는 것이 아닙니다.

통계에서의 기타 용도

일반적으로 "선형 모델"이라는 용어가 적용되지 않지만 "비선형 모델"을 사용하여 선형 구조 모델과 대조하는 경우가 있습니다.그 예로는 비선형 차원 축소를 들 수 있습니다.

「 」를 참조해 주세요.

• 일반 선형 모형
• 일반화 선형 모형
• 선형 예측 함수
• 선형 시스템
• 선형 회귀
• 통계 모형

레퍼런스