선형 최소 제곱

다음에 대한 시리즈 일부
회귀분석
모델
선형 회귀 분석 단순 회귀 분석 다항식 회귀 분석 일반 선형 모형
일반화 선형 모형 이산선택 이항 회귀 분석 이항 회귀 분석 로지스틱 회귀 분석 다항 로지스틱 회귀 분석 혼합 로짓 프로빗 다항 프로빗 주문형 로짓 주문 프로빗 포아송
다단계 모델 고정 효과 랜덤 효과 선형 혼합 효과 모형 비선형 혼합효과 모형
비선형 회귀 분석 비모수 세미파라메트릭 로버스트 퀀틸레 동위원소 주성분 최소 각도 국부적 세그먼트화
변수 내 오류
추정
최소 제곱 선형 비선형
보통 가중치 일반화
부분적 합계 비음성 능선 회귀 분석 정규화된
최소 절대 편차 반복적으로 다시 가중치 부여 베이시안 베이시안 다변량
배경
회귀 유효성 검사 평균 및 예측 반응 오차 및 잔차 적합도 학생화 잔차 가우스-마르코프 정리
수학포털
v t

선형 최소 제곱(LLS)은 데이터에 대한 선형 함수의 최소 제곱 근사값이다. 일반 잔차(비가중치), 가중치 및 일반화(상관치) 잔차에 대한 변형을 포함하여 선형 회귀에 관련된 통계적 문제를 해결하기 위한 공식 집합이다. 선형 최소 제곱에 대한 수치적 방법에는 정규 방정식의 행렬을 뒤집는 방법과 직교 분해 방법이 포함된다.

주성분

세 가지 주요 선형 최소 제곱 공식은 다음과 같다.

• 일반 최소 제곱(OLS)이 가장 일반적인 추정치다. OLS 추정치는 일반적으로 실험 데이터와 관측 데이터를 분석하는 데 사용된다.
  OLS 방법은 잔차 제곱의 합을 최소화하고, 알 수 없는 파라미터 벡터 β의 추정 값에 대한 폐쇄형 식을 유도한다.
  $${\displaystyle {\hat\boldsymbol {\beta}}=(\mathbf {X} ^{\mathsf {T}\mathbf {X}^{-1}\mathbf {X} ^{\mathsf {T}\mathbf {y},},}},}},}}}$$

  
  여기서 $y{\displaystyle \mathbf{}}$ ${\$은(는) 종속 변수의 ith 관측치인 벡터이고, $X{\displaystyle \mathbf{}}$ ${\$는) ij 요소가 j번째 독립 변수의 ith 관측치인 행렬이다$$. 오차 분산이 유한하고 회귀 분석기와 상관 관계가 없는 경우 추정기는 편향되지 않고 일관된다.^[1]
  $${\displaystyle \operatorname {E} [\,\mathbf {x} _{i}\varepsilon _{i}\,]=0,}$$

  
  여기서 $x{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ ${\$는 $행렬{\displaystyle \mathbf{}}$X .$${\$displaystyle \mathbf {X}$의 행 i의 전치물이며$$, E[max_i²_i]가 i에 의존하지 않는다는 뜻에서 균등화된다는 가정에서도 효율적이다. 오차가 퇴행기와 무관하다는 조건은 일반적으로 실험에서 충족되지만 관측 데이터의 경우 관측된 공변량과 반응 변수 모두에 관련된 공변량 z 생략 가능성을 배제하기 어렵다. 이러한 공변량이 존재하면 일반적으로 역류기와 반응 변수 사이에 상관관계가 생기게 되고, 따라서 β의 일관되지 않은 추정기가 된다. 균질성의 조건은 실험 데이터나 관찰 데이터로 실패할 수 있다. 추론이나 예측 모델링이 목표인 경우, 표본 크기가 크지 않은 한 다중 공선성이 존재하는 경우 OLS 추정치의 성능은 저조할 수 있다.
• 가중 최소 제곱(WLS)은 모형의 오차 항에 이질성이 있을 때 사용된다.
• 일반화 최소 제곱법(GLS)은 데이터와는 별개로 이단성, 상관성, 또는 모형의 오차항 사이에 둘 다 있을 때 β를 효율적으로 추정할 수 있는 OLS 방법의 확장이다. 오차항이 서로 상관관계가 없을 때 이단성 문제를 처리하기 위해 GLS는 OLS 회귀 분석의 잔차 제곱합에 대한 가중 아날로그를 최소화하며, 여기서^th i 사례의 가중치는 var(var_i)에 반비례한다. GLS의 이 특별한 경우를 "가중 최소 제곱"이라고 부른다. 추정 문제에 대한 GLS 해결책은
  $${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {y} ,}$$

  
  여기서 Ω은 오차의 공분산 행렬이다. GLS는 변환된 데이터에 대해 OLS의 가정이 충족되도록 데이터에 선형 변환을 적용하는 것으로 볼 수 있다. GLS가 적용되려면 오류의 공분산 구조를 최대 승수 상수까지 알아야 한다.

대체 제형식

그 밖의 공식은 다음과 같다.

• 반복적으로 재가중 최소 제곱(IRLS)은 이단성 또는 상관 계수 또는 모형의 오차항 사이에 둘 다 있을 때 사용되지만, 데이터와 독립적으로 오류의 공분산 구조에 대해서는 거의 알려져 있지 않은 경우 사용된다.^[2] 첫 번째 반복에서는 임시 공분산 구조를 가진 OLS 또는 GLS를 수행하고 적합치에서 잔차를 구한다. 잔차를 바탕으로 오차의 공분산 구조에 대한 개선된 추정치를 구할 수 있다. 이후 GLS 반복은 가중치를 정의하기 위해 오류 구조의 이 추정치를 사용하여 수행된다. 이 프로세스는 수렴에 반복될 수 있지만, 많은 경우 하나의 반복만으로 β의 효율적인 추정을 달성할 수 있다.^[3][4]
• 계측 변수 회귀 분석(IV)은 회귀 분석기가 오류와 상관관계가 있을 때 수행할 수 있다. 이 경우 E[zε_ii] = 0과 같은 일부 보조 기악 변수의_i 존재가 필요하다 Z가 계측기의 행렬이라면 추정기는 다음과 같이 폐쇄적인 형태로 주어질 수 있다
  $${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {y} .}$$

  
  최적 계측기 회귀 분석은 E[ z_ii z] = 0인 상황에 대한 고전적 IV 회귀 분석을 확장한 것이다.
• 총 최소 제곱(TLS)^[5]은 공변량과 반응 변수를 OLS보다 기하학적으로 대칭적으로 처리하는 선형 회귀 모형의 최소 제곱 추정에 대한 접근법이다. 그것은 "변수의 오류" 문제를 다루는 하나의 접근법이며, 공변량이 오류가 없는 것으로 가정될 때도 사용된다.

또한 백분율 최소 제곱은 예측 또는 시계열 분석 분야에서 유용한 백분율 오차 감소에 초점을 맞춘다. 또한 OLS를 사용할 경우 여기서 범위 상단의 큰 잔차가 지배할 것이므로, 종속 변수가 일정한 분산 없이 넓은 범위를 갖는 상황에서는 유용하다. 백분율 또는 상대 오차가 정규 분포를 따르는 경우 최소 제곱 백분율 회귀 분석은 최대우도 추정치를 제공한다. 백분율 회귀는 승법 오차 모형과 연결되며, OLS는 가법 오차 항을 포함하는 모형과 연결된다.^[6]

제약이 있는 최소 제곱의 경우, 솔루션에 추가적인 제약이 있는 선형 최소 제곱 문제를 해결하는 데 관심이 있다.

목적함수

OLS(즉, 가중치가 없는 관측치 가정)에서 계수 벡터에 대한 최적 식을 대체하여 목표 함수의 최적 값을 찾는다.

where ${\displaystyle \mathbf {H} =\mathbf {X} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}}$, the latter equality holding since ${\displaystyle (\mathbf {I} -\mathbf {H} )}$ is symmetric and idempotent. 이를^[7] 통해 적절한 가중치 할당에서 S의 기대값은 m - n임을 알 수 있다. 만약 단위 가중치를 가정한다면 S의 기대값은 $({\displaystyle m}$- ${\displaystyle n}$) ${\displaystyle {}^{}}$ ${\$2}}이며$,$ 여기서 $where{\displaystyle {}^{}}$ ${\$2}}는 각 관측치의 분산이다$$.

잔차가 정규 분포에 속한다고 가정할 경우 가중 제곱 잔차의 합인 목표 함수는 자유도가 m - n인 카이-제곱(${\displaystyle {squ\mathrm{}}^{}}$ 2 ${\$ 분포에 속하게 된다. $\chi {\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\$}}의 일부 적용 백분위수 값은 다음 표에 제시되어$$ 있다.^[8]

$(\displaystyle m-n})$	${\displaystyle \chi _{0.50}^{2}}$	${\displaystyle \chi _{0.95}^{2}}$	${\displaystyle \chi _{0.99}^{2}}$
10	9.34	18.3	23.2
25	24.3	37.7	44.3
100	99.3	124	136

이러한 값은 적합도에 대한 통계적 기준에 사용할 수 있다. 단위 가중치를 사용할 경우 숫자는 관측치의 분산으로 나누어야 한다.

WLS의 경우 잔차의 가중 평균에 대해 위의 일반적인 목표 함수가 대체된다.

토론

통계와 수학에서 선형 최소 제곱은 모형의 알려지지 않은 모수에 대해 모형이 제공하는 이상화 값이 선형적으로 표현되는 경우 수학적 또는 통계적 모형을 데이터에 적합시키는 접근법이다. 결과 적합 모델은 데이터를 요약하고, 동일한 시스템에서 관측되지 않은 값을 예측하며, 시스템의 기반이 될 수 있는 메커니즘을 이해하는 데 사용될 수 있다.

수학적으로 선형 최소 제곱은 A x = b의 지나치게 결정된 선형 방정식 시스템을 대략적으로 해결하는 문제인데, 여기서 b는 행렬 A의 열 공간의 요소가 아니다. 대략적인 용액은 A x = b'에 대한 정확한 용액으로 실현되며, 여기서 b'는 A의 기둥 공간에 b를 투영하는 것이다. 가장 좋은 근사치는 데이터 값과 해당 모델링 값 사이의 제곱 차이 합계를 최소화하는 것이다. 가정된 함수가 추정할 모수에 선형이기 때문에 이 접근법을 선형 최소 제곱이라고 한다. 선형 최소 제곱 문제는 볼록하며, 피팅에 사용되는 데이터 점의 수가 특별한 퇴행 상황을 제외하고 알 수 없는 매개변수의 수와 같거나 초과한다면 고유한 폐쇄형 솔루션을 갖는다. 이와는 대조적으로 비선형 최소 제곱 문제는 일반적으로 반복적인 절차에 의해 해결되어야 하며, 문제는 객관적 함수에 대한 다중 최적화를 가진 비전형일 수 있다. 이전 분포를 사용할 수 있는 경우, 베이시안 MMSE 추정기를 사용하여 충분히 결정된 시스템도 해결할 수 있다.

통계에서 선형 최소 제곱 문제는 회귀 분석의 특정 형태로 발생하는 선형 회귀 분석이라는 통계 모형의 특히 중요한 유형에 해당한다. 그러한 모델의 한 가지 기본적인 형태는 일반적인 최소 제곱 모델이다. 본 기사는 방금 언급한 기사에서 다루고 있는 통계적 회귀 모형의 공식과 해석 및 이와 관련된 통계적 추론에 대한 논의와 함께 선형 최소 제곱 문제의 수학적 측면에 초점을 맞추고 있다. 항목의 개요는 회귀 분석의 개요를 참조하십시오.

특성.

If the experimental errors, ${\displaystyle \varepsilon }$, are uncorrelated, have a mean of zero and a constant variance, ${\displaystyle \sigma }$, the Gauss–Markov theorem states that the least-squares estimator, ${\displaystyle {\hat {\boldsymbol {\beta }}}}$, has the minimum variance of all estimators that are l관측치의 초기 조합 이러한 의미에서 매개변수의 최적 또는 최적 추정기이다. 특히 이 속성은 오류의 통계적 분포 함수와 무관하다는 점에 유의하십시오. 즉, 오차의 분포함수가 정규 분포일 필요는 없다. 그러나 일부 확률 분포의 경우 관측치를 고려할 때 최소 제곱법이 가능하다는 보장은 없다. 그럼에도 불구하고, 선형적이고 편중되지 않은 최선의 추정치다.

예를 들어, 수량 측정 집합의 산술 평균이 해당 수량 값의 최소 제곱 추정기임을 쉽게 알 수 있다. 가우스-마코프 정리 조건이 적용될 경우 측정값의 오차 분포가 무엇이든 산술 평균이 최적이다.

그러나 실험 오차가 정규 분포에 속하는 경우 최소 제곱 추정기도 최대우도 추정기가 된다.^[9]

이러한 속성은 가정이 엄격히 유효하지 않은 경우에도 모든 유형의 데이터 적합에 대해 최소 제곱법을 사용하는 것을 뒷받침한다.

제한 사항

위에 주어진 치료법의 기초가 되는 가정은 독립 변수인 x에 오류가 없다는 것이다. 실제로 독립 변수의 측정에 대한 오차는 종속 변수의 오차보다 훨씬 작기 때문에 무시할 수 있다. 그렇지 않은 경우, 변수에 포함된 전체 최소 제곱 또는 더 일반적인 오차 또는 엄격한 최소 제곱을 사용해야 한다. 이는 종속변수와 독립변수의 오류를 모두 고려하여 가중치를 조정하여 표준절차를 준수함으로써 이루어질 수 있다.^[10][11]

어떤 경우에는 (가중치) 정규 방정식 행렬 XX의^T 조건이 좋지 않다. 다항식 적합 시 정규 방정식 행렬은 Vandermonde 행렬이다. 밴더몬드 행렬은 행렬의 순서가 증가할수록 점점 더 상태가 나빠진다.^{[citation needed]} 이러한 경우 최소 제곱 추정치는 측정 노이즈를 증폭시키고 매우 부정확할 수 있다.^{[citation needed]} 이러한 경우 다양한 정규화 기법을 적용할 수 있는데, 그 중 가장 일반적인 기법을 능선 회귀라고 한다. 예를 들어 파라미터에 대한 추가 정보가 알려진 경우, $\beta {\displaystyle \stackrel{}{\mathit{}}}$ ${\displaystyle \stackrel{}{\mathbf{^}}}$ ${\$의 가능한 값 범위를 알면 다양한 기법을 사용하여 솔루션의 안정성을 높일 수 있다. 예를 들어, 제한된 최소 제곱을 참조하십시오.

Another drawback of the least squares estimator is the fact that the norm of the residuals, ${\displaystyle \ \mathbf {y} -X{\hat {\boldsymbol {\beta }}}\ }$ is minimized, whereas in some cases one is truly interested in obtaining small error in the parameter ${\displaystyle \mathbf {\hat {\boldsymbol {\be$$ta }}} }$, e.g., a small value of ${\displaystyle \ {\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\ }$.^{[citation needed]} However, since the true parameter ${\displaystyle {\boldsymbol {\beta }}}$ is necessarily unknown, this quantity cannot be directly minimized. If a prior probability on ${\displaystyle {\hat {\boldsymbol {\beta }}}}$ is known, then a Bayes estimator can be used to minimize the mean squared error, ${\displaystyle E\left\{\ {\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\ ^{2}\right\}}$. 최소제곱법은 전례가 없을 때 적용하는 경우가 많다. 놀랍게도, 여러 매개변수를 공동으로 추정할 때, 스타인의 현상이라고 알려진 효과인 더 나은 추정기를 구성할 수 있다. 예를 들어 측정 오차가 가우스인 경우 최소 제곱 기법을 지배하거나 능가하는 여러 추정기가 알려져 있다. 이 중 가장 잘 알려진 것은 제임스 기법이다.-스테인 추정기. 이것은 회귀 문제에 적용된 더 일반적인 수축 추정기의 예다.

적용들

• 다항식 적합: 모형은 독립형 변수의 다항식입니다, x:
  • 직선: $f{\displaystyle }$( x ,${\displaystyle \beta \mathit{}}$)${\displaystyle }$= ${\displaystyle {\beta \mathrm{}}_{}}$ 1${\displaystyle {}_{}}$+ ${\displaystyle {}_{}}$ 2 ${\displaystyle {x\mathrm{}}_{}}$ ${\displaystyle f(x,{\boldsymbol {\beta }})=\베타 _{1}+\beta _{$2}$x$^[12]
  • 2차: $f{\displaystyle }$( x ,${\displaystyle \beta \mathit{}}$)${\displaystyle }$= ${\displaystyle {\beta \mathrm{}}_{}}$ 1${\displaystyle {}_{}}$+ ${\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ x +${\displaystyle {}_{}}$ 3 ${\displaystyle {}_{}{}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\$ _${2}x+\beta _{3x^{2$
  • 입방체, 사분위수 및 상위 다항식. 고차 다항식을 사용한 회귀 분석의 경우 직교 다항식을 사용하는 것이 좋다.^[13]
• 수치 평활 및 차별화 - 다항식 피팅을 적용한 것이다.
• 둘 이상의 독립 변수에 있는 다항(표면 피팅 포함)
• B-스플라인으로^[10] 원곡선 피팅
• 화학측정학, 검정곡선, 표준첨가, 잔해 그림, 혼합물 분석

데이터 피팅에 사용

선형 최소 제곱의 1차 적용은 데이터 적합에 있다. Given a set of m data points ${\displaystyle y_{1},y_{2},\dots ,y_{m},}$ consisting of experimentally measured values taken at m values ${\displaystyle x_{1},x_{2},\dots ,x_{m}}$ of an independent variable (${\displaystyle x_{i}}$ may be scalar or vector quantities), and given a model function ${\displaystyle y=f(x,{\boldsymbol {\beta }}),}$ with ${\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),}$ it is desired to find the parameters ${\displaystyle \beta _{j}}$ such that the model 함수 "최고"는 데이터에 적합하다. 선형 최소 제곱에서 선형성은 매개변수 $\beta {\displaystyle {}_{}}$ ${\displaystyle j_{}}$, ${\displaystyle \beta _{j}$에 대해 의미되므로

여기서 함수 $\phi {\displaystyle {}_{}}$ ${\displaystyle j_{}}$ ${\$는 변수 x에 대해 비선형일 수 있다$$.

이상적으로는 모형 함수가 데이터에 정확하게 적합하므로

${\displaystyle \mathrm{모든}}$ $i{\displaystyle }$= ${\displaystyle 1}$,${\displaystyle 2}$,${\displaystyle \dots ,}$m${\displaystyle }$. ${\displaystyle i=1,2,\dots,m.}$ 이것은$$ 일반적으로 실제로 불가능하며, 이는 결정할 파라미터보다 데이터 포인트가 더 많기 때문이다. 이때 선택한 접근법은 잔차 제곱합에서 가능한 최소값을 찾는 것이다. 기능을 최소화하기 위해

$r{\displaystyle }$ ${\displaystyle i_{}}$ ${\$을(를) 대체한$$다음 f {\$displaystyle$ f}을$($를) 대체하면 위의 2차 최소화 문제가 된다$.$

그리고 정상 방정식을 풀어서 가장 적합한 것을 찾을 수 있다.

예

As a result of an experiment, four ${\displaystyle (x,y)}$ data points were obtained, ${\displaystyle (1,6),}$ ${\displaystyle (2,5),}$ ${\displaystyle (3,7),}$ and ${\displaystyle (4,10)}$ (shown in red in the diagram on the right). 우리는 이 네 점에 가장 잘 맞는$$ 선 $y{\displaystyle }$= ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$+ ${\displaystyle {}_{}}$ 2 ${\displaystyle {}_{}}$ ${\displaystyle y=\beta _{1}+\beta _{2}x}$를 찾기를 바란다. 즉, 과도하게 결정된 선형 시스템을 대략적으로 해결하는$$ ${\displaystyle {\beta \mathrm{}}_{}}$ 1 ${\$및$$ $\beta {\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ ${\$}}의 숫자를 찾고자 한다.

어떤 "최상의" 의미에서는 알려지지 않은 두 개의 방정식에 4개의 방정식이 있다.

${\displaystyle r}$ ${\displaystyle r}$은 각 점에서 곡선 적합치와 데이터 사이의 잔차를 나타낸다$$.

이 문제를 해결하기 위한 최소 제곱 접근법은 가능한 한 잔차 제곱합(즉, 함수의 최소값을 찾기 위해)을 작게 만드는 것이다.

최소값은$$$\beta {\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ ${\$$beta \{1$},$β$ 2 {\displaystyle \$beta _{1$}$$및$$ $\beta {\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ ${\$}의 부분파생상품을 계산하여$$ 0으로 설정하여 결정한다.

이렇게 되면 두 개의 미지의 방정식(정상 방정식)으로 불리는 두 개의 방정식이 나오게 되는데, 이를 해결할 때 다음과 같은 결과를 얻을 수 있다.

등식 $y{\displaystyle }$=${\displaystyle \mathrm{}}$3.${\displaystyle 5\mathrm{}}$+ ${\displaystyle 1}$.4${\displaystyle \mathrm{x}}$ ${\displaystyle y=3.5+1$.4x$}$이(가) 최적의 적합선이다. ${\displaystyle \mathrm{그런}}$ 다음 관측치의 $y{\displaystyle }$${\displaystyle \mathrm{}}$${\displaystyle y$$}$ 값과$$ $y$ ${\$$displaystyle 1$.$1,}$${\displaystyle }$- ${\displaystyle 1.3,}$ ${\displaystyle -1.3,}$${\displaystyle }$- ${\displaystyle 0.7,}$ ${\displaystyle -0$.7$,}$ 및$$${\displaystyle \mathrm{}}0$.${\displaystyle 9}$ ${\disp$.$ystyle 0.9}($오른쪽 다이어그램 참조). 잔차 제곱합 최소값은 S${\displaystyle (}3{\displaystyle .5,}$ ${\displaystyle 1.}$4${\displaystyle }$)${\displaystyle }$= 1.${\displaystyle 1^{}}$ ${\displaystyle {2\mathrm{}}^{}}$+ (${\displaystyle }$- ${\displaystyle 1.3{}^{}}$) 2${\displaystyle {}^{}}$+ (${\displaystyle }$- ${\displaystyle 0.7{}^{}}$) ${\displaystyle {2\mathrm{}}^{}}$+ 0${\displaystyle {\mathrm{.}}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$= 4${\displaystyle \mathrm{.2이다.}}$${\displaystyle S(3.5,1.4)=1.1^{2}+(-1.3)^{2}+(-0.7)^{2}+0.$$9^{2}=4.2.$$}$

보다 일반적으로는 $n{\displaystyle }$ ${\$${\displaystyle {displaystyle}_{}}$ $n}$ regressor x j {\$displaystyle x_{j}$및 선형 모델을 가질 수 있다.

2차 모형 사용

중요한 것은, "선형 최소 제곱"에서, 우리는 위의 예와 같이 선을 모델로 사용하는 것에 제한되지 않는다. 예를 들어, 제한된 2차 $모델{\displaystyle }$y = ${\displaystyle {\beta \mathrm{}}_{}}$ 1 x ${\displaystyle {2\mathrm{}}^{}}$ ${\$ y$=\beta _{1}x^{$2$\}\}.$ 이 모델은 $여전히{\displaystyle {}_{}}$ ${\displaystyle {\beta \mathrm{}}_{}}$ 1$${\$displaystyle \beta _{1}}$ 매개변수에서$$ 선형이기 때문에 데이터 포인트에서 방정식의 시스템을 구성하여 동일한 분석을 수행할 수 있다.

매개변수에 관한 부분파생상품(이번에 단 하나)을 다시 계산하여 0으로 설정한다.

해결된 결과 최적의 적합 모델 $y{\displaystyle }$= 0${\displaystyle .703}$ ${\displaystyle {x\mathrm{}}^{}}$ 2${\displaystyle {}^{}}$. ${\displaystyle y=0.703x^{2$}로 유도$.$$}$

참고 항목

• 선 교차점#간섭되지 않는 선을 가장 가까운 점, 응용 프로그램
• 라인 피팅
• 비선형 최소 제곱
• 정규화 최소 제곱
• 단순 선형 회귀 분석
• 부분 최소 제곱법
• 선형함수

참조

추가 읽기

• Bevington, Philip R.; Robinson, Keith D. (2003). Data Reduction and Error Analysis for the Physical Sciences. McGraw-Hill. ISBN 978-0-07-247227-1.

외부 링크

• 최소 제곱 피팅 – MathWorld의 경우
• 최소 제곱 피팅-폴리노멀 – MathWorld로부터