카메라 매트릭스

이 글은 검증을 위해 인용구가 추가로 필요하다. 신뢰할 수 있는 출처에 인용문을 추가하여 이 기사를 개선할 수 있도록 도와주십시오. 공급되지 않은 재료는 도전하여 제거할 수 있다. 출처 찾기: "카메라 매트릭스" – 뉴스 · 신문 · 책 · 학자 · JSTOR (2010년 7월) (이 템플릿 메시지를 제거하는 방법과 시기 학습)

컴퓨터 비전에서 카메라 매트릭스 ${\displaystyle \mathrm{또는}}$ (카메라) 투영 매트릭스는 $3{\displaystyle \mathrm{}}$ ${\displaystyle \times }$ 4 ${\displaystyle 3\times 4}$ 매트릭스로, 세계의 3D 지점에서 이미지의 2D 지점까지의 핀홀 카메라 매핑을 설명한다.

$x{\displaystyle \mathbf{}}$ ${\$를) 균일한 좌표(4차원 벡터)로 3D 점을 표현하고$$ y$${\$displaystyle \mathbf {y}$을$($를) 핀홀 카메라에서 이 점의 이미지를 표현하도록 한다(3차원 벡터). 다음 관계가 유지된다.

${\displaystyle \mathbf {y} \sim \mathbf {C} \,\mathbf {x} }$

여기서 $C{\displaystyle \mathbf{}}$ ${\$은$($는) 카메라 매트릭스이며${\displaystyle }$~ ${\displaystyle \,\sim }$ 기호는$$ 왼손과 오른손이 0이 아닌 스칼라 곱셈까지 같다는 것을 의미한다.

카메라 매트릭스 C ${\$이(가) 두 투영 공간의 요소 간 매핑에 관여하므로$$, 이 역시 투영 요소로 간주할 수 있다. 이것은 0이 아닌 스칼라에 의한 곱셈은 동등한 카메라 매트릭스를 낳기 때문에 11도 자유도에 불과하다는 것을 의미한다.

파생

핀홀 카메라 모델에 따라 3D 지점 P의 좌표에서 이미지 평면에 투영되는 지점의 2D 이미지 좌표까지의 매핑은 다음과 같다.

${\displaystyle {\pmatrix}y_{1}\{1}\y_{2}\end{pmatrix}={\frac {f}{x_{3}}}{\pmatrix}}{\pmatrix}}}}}$

여기서${\displaystyle }$( ${\displaystyle {x\mathrm{}}_{}}$ 1,${\displaystyle {}_{}{x\mathrm{}}_{}}$ ${\displaystyle {}_{}}$,${\displaystyle {}_{}{x\mathrm{}}_{}}$ ${\displaystyle {}_{}}$) ${\displaystyle (x_{1},x_{2},x_{3}}$은(는) 카메라 중심 좌표계에 상대적인 P의 3D 좌표,${\displaystyle }$(${\displaystyle {}_{}}$ 1,${\displaystyle {}_{}{2\mathrm{}}_{}{}_{}}$) ${\displaystyle (y_{1},y_{2$})은 결과 이미지$$ 좌표, f >로 가정하는 카메라의 초점 길이입니다. 더욱이, 우리는₃ x > 0이라고 가정하기도 한다.

카메라 매트릭스를 도출하기 위해 위의 식을 균일한 좌표 단위로 다시 작성한다. Instead of the 2D vector ${\displaystyle (y_{1},y_{2})}$ we consider the projective element (a 3D vector) ${\displaystyle \mathbf {y} =(y_{1},y_{2},1)}$ and instead of equality we consider equality up to scaling by a non-zero number, denoted ${\displaystyle \,\sim }$. First, 우리는 통상적인 3D 좌표에 동질적 이미지 좌표를 표현으로 쓴다.

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}={\begin{pmatrix}{\frac {f}{x_{3}}}x_{1}\\{\frac {f}{x_{3}}}x_{2}\\1\end{pmatrix}}\sim {\begin{pmatrix}x_{1}\\x_{2}\\{\frac {x_{3}}{f}}\end{pmatrix}}}$

마지막으로, 3D 좌표도 동종 $표현{\displaystyle \mathbf{}}$ x$${\$displaystyle \mathbf {x}로$표시되며, 카메라$$ 매트릭스는 다음과 같이 나타난다.

(y 1y21)∼(10000100001f0)(x1x2x31){\displaystyle{\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}\sim{\begin{pmatrix}1&, 0&, 0&, 0\\0&, 1&, 0&, 0\\0&, 0&,{\frac{1}{f}}&0\end{pmatrix}}\,{\begin{pmatri.x}x_{1}\\x_{2}\\x_{3}\\1\end{p$행렬}}$ 또는 y ~ C${\displaystyle x\mathbf{}}$ ${\$y$} \sim \mathbf$ {$C} \,\mathbf {x} }$

여기서 $C{\displaystyle \mathbf{}}$ ${\$는) 카메라 매트릭스(matrix)이며$$, 이 매트릭스는 다음과 같다.

=( 1 0 1 0 )${\$ {$1}{f}&0\end{pmatrix$

그리고 해당 카메라 매트릭스는 이제

${\displaystyle \mathbf {C} ={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}\sim {\begin{pmatrix}f&0&0&0\\0&f&0&0\\0&0&1&0\end{pmatrix}}}$

마지막 단계는 $C{\displaystyle \mathbf{}}$ ${\$ 그 자체가$$ 투영 요소인 결과물이다.

여기서 파생된 카메라 매트릭스는 0이 아닌 원소를 거의 포함하지 않는다는 점에서 사소하게 보일 수 있다. 이는 3D 및 2D 지점에 대해 선택된 특정 좌표계에 크게 좌우된다. 그러나 실제로는 아래와 같이 다른 형태의 카메라 매트릭스가 일반적이다.

카메라 위치

이전 섹션에서 파생된$$ 카메라 매트릭스 $C{\displaystyle \mathbf{}}$ ${\$}에는 벡터에 의해 확장되는 null 공간이 있음

${\displaystyle \mathbf {n} ={\\pmatrix}0\\\0\\\1\end{pmatrix}}}$

이것은 좌표(0,0,0), 즉 "카메라 중심"(입구 동공, 핀홀 카메라의 핀홀 위치)이 O에 있는 3D 지점의 동질적인 표현이기도 하다. 이는 카메라로 카메라 중심(그리고 이 지점만)을 이미지 평면의 한 지점에 매핑할 수 없다는 것을 의미한다(또는 동등하게, 이미지의 모든 레이가 이 지점을 통과할 때 이미지의 모든 지점에 매핑된다).

For any other 3D point with ${\displaystyle x_{3}=0}$, the result ${\displaystyle \mathbf {y} \sim \mathbf {C} \,\mathbf {x} }$ is well-defined and has the form ${\displaystyle \mathbf {y} =(y_{1}\,y_{2}\,0)^{\top }}$. This corresponds to a point at infinity in the pro구조 영상 평면(이미지 평면을 유클리드 평면으로 촬영하더라도 해당 교차점이 존재하지 않음).

표준화된 카메라 매트릭스 및 표준화된 이미지 좌표

위에서 도출한 카메라 매트릭스는 f = 1:

${\displaystyle \mathbf{C} _{0}={\begin{pmatrix}1&0&0\\0&0\\0&0&0\\\nd{pmatrix}}=\좌측({\begin{c}{c}\mathbf{0}\}\mathbf {0}\}\}\}}}}\matmatmathbf {mathb}오른쪽)$

여기서 $I{\displaystyle \mathbf{}}$ ${\$은$($는) $3{\displaystyle \mathrm{}}$ ${\displaystyle \times }$ $[\displaystyle 3\time 3}$ ID$$ 매트릭스를 나타낸다. 여기서$$ $3{\displaystyle \mathrm{}}$ ${\displaystyle \times }$ ${\displaystyle 4}$ ${\displaystyle 3\times$4} $행렬$ C$${\$displaystyle \mathbf {C}}$은(는) 3${\displaystyle }$× $[\displaystyle$ 3$\times$3$$} 행렬과 3차원 벡터의 결합으로 나뉜다는 점에 유의하십시오. 카메라 매트릭스 $C{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {\mathrm{}}_{}}$ ${\$을(를) 표준형이라고 부르기도 한다$$.

지금까지 3D 세계의 모든 지점은 카메라 중심 좌표계, 즉 카메라 중심에서 유래한 좌표계(핀홀 카메라의 핀홀 위치)로 표현되어 왔다. 그러나 실제로 3D 지점은 임의 좌표계(X1', X2', X3')에 상대적인 좌표 단위로 나타낼 수 있다. 카메라 좌표 축(X1, X2, X3)과 축(X1, X2, X3')이 유클리드 유형(직교 및 등방성)이라고 가정하면 두 좌표계 사이에 고유한 유클리드 3D 변환(회전 및 번역)이 있다. 즉, 카메라가 반드시 z축을 따라 보는 원점에 있는 것은 아니다.

회전과 3D 좌표 변환의 두 가지 연산을 두 개의 $4{\displaystyle \mathrm{}}$ ${\displaystyle \times }$ $[\displaystyle 4\time 4]$ 행렬로$$ 나타낼 수 있다.

${\displaystyle \left({\begin{array}{c c}\mathbf {R} &\mathbf {0} \\\hline \mathbf {0} &1\end{array}}\right)}$ and ${\displaystyle \left({\begin{array}{c c}\mathbf {I} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)}$

여기서 $R{\displaystyle \mathbf{}}$ ${\$은$($는) $3{\displaystyle \mathrm{}}$ ${\displaystyle \times }$ ${\displaystyle 3}$ ${\displaystyle$ 3$\times$ 3$}$ 회전$$ 행렬이고 $t{\displaystyle \mathbf{}}$ ${\$는) 3차원 변환 벡터다$$. 첫 번째 매트릭스를 3D 포인트의 동질적 표현에 곱하면 그 결과는 회전된 포인트의 동질적 표현이며, 두 번째 매트릭스는 대신 번역을 수행한다. 두 작업을 순서대로 수행하면, 즉, 먼저 회전한 다음 (이미 회전된 좌표계에 주어진 변환 벡터로) 변환이 결합 회전과 변환 매트릭스를 제공한다.

${\displaystyle \left({\begin{array}{c}\c}\mathbf {R} &\hline \mathbf {0} &1\end{array}\오른쪽)}$

$R{\displaystyle \mathbf{}}$ ${\$과($)$ t {\$displaystyle$ \$mathbf${t$}$이(가) 위의 두 좌표계(X1,X2,X3)와 (X1',X2',X3')와 관련된 회전 및$$ 번역이라고 가정하면, 이는 다음을 의미한다.

${\displaystyle \mathbf {x} =\좌측({\begin{array}{c}\mathbf {R} >\hline \mathbf {0} &1\end{array}\오른쪽)\mathbf {x}'}}}$

여기서 $x{\displaystyle {\mathbf{}}^{}}$ ${\displaystyle {}^{}}$ ${\$은(는) 좌표계(X1',X2',X3')에 있는 점 P의 균일한 표현이다.

또한 카메라 매트릭스가 $C{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {\mathrm{}}_{}}$ ${\$에 의해 주어진다고 가정하면 (X1,X2,X3) 시스템의 좌표에서 동종 이미지 좌표로 매핑되는 것이 된다$.$

${\displaystyle \mathbf {y} \sim \mathbf {C} _{0}\,\mathbf {x} =\left({\begin{array}{c c}\mathbf {I} &\mathbf {0} \end{array}}\right)\,\left({\begin{array}{c c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)\mathbf {x} '=\left({\begin{array}{c c}\mathbf {R} &\mathbf {t} \end{array}}\right)\,\mathbf {x} '}$

따라서 좌표계의 점(X1',X2',X3')과 영상 좌표를 연결하는 카메라 매트릭스는

${\displaystyle \mathbf {C} _{N}=\left({\begin{array}{c}\c}\mathbf {R} &\mathbf {t}\end{array}\right)}}$

3D 회전 매트릭스와 3차원 변환 벡터의 결합

이러한 유형의 카메라 매트릭스를 표준화된 카메라 매트릭스라고 하며, 초점 길이 = 1을 가정하고 영상 좌표는 원점이 축 X3와 영상 평면 사이의 교차점에 위치하며 3D 좌표계와 동일한 단위를 갖는 좌표계에서 측정된다. 결과 영상 좌표를 정규화된 영상 좌표라고 한다.

카메라 위치

다시, 위에서 설명한 표준화된$$ ${\displaystyle {}_{}}$ 매트릭스의 null 공간인 $C{\displaystyle {\mathbf{}}_{}}$ N ${\$은 4차원 벡터에 의해 확장된다.

${\displaystyle \mathbf {n} ={\begin{pmatrix}-\mathbf {R}^-1\,\mathbf {t}\\1\end{pmatrix}={\begin{pmatrix}{\tilde}{}}}}}}}}}$

이것은 또한 현재 (X1,',X2,',X3') 시스템에 상대적인 카메라 센터의 좌표이기도 하다. 이는 3차원 벡터 $n{\displaystyle \stackrel{}{\mathbf{}}}$~ ${\$에 먼저 회전을 적용한 후 변환을 적용하면 알 수 있으며$$, 그 결과는 3D 좌표(0,0,0)의 균일한 표현이 된다.

이는 카메라 매트릭스가 언급하는 것과 동일한 좌표계에 상대적인 3D 좌표 단위로 나타낸다면 카메라 센터(동일 표현)가 카메라 매트릭스의 null 공간에 있음을 의미한다.

정규화된 카메라 매트릭스 $C{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ ${\$은(는) 이제 다음과 같이 기록될$$ 수 있다.

${\displaystyle \mathbf {C} _{N}=\mathbf {R} \,\left({\begin{array}{c c}\mathbf {I} &\mathbf {R} ^{-1}\,\mathbf {t} \end{array}}\right)=\mathbf {R} \,\left({\begin{array}{c c}\mathbf {I} &-{\tilde {\mathbf {n} }}\end{array}}\right)}$

$여기$서 n${\displaystyle \stackrel{}{}}$~ ${\$은(X1',X2',X3') 시스템에 상대적인 카메라의 3D 좌표다$$.

일반 카메라 매트릭스

표준화된 카메라 매트릭스에 의해 생성된 매핑을 고려할 때, 결과적으로 표준화된 영상 좌표는 임의의 2D 동음이의어로 변환될 수 있다. 여기에는 스케일(등방성 및 비등방성)뿐만 아니라 2D 변환 및 회전도 포함되지만 일반적인 2D 원근 변환도 포함된다. 이러한 변환은 동종 정규화된 영상 $좌표{\displaystyle \mathbf{}}$ y ${\$를) 동종 변환 영상 $좌표{\displaystyle {\mathbf{}}^{}}$ y$′$ {\displaystyle \mathbf {y$$}에$$ $매핑하는{\displaystyle \mathrm{}3}$ $×$3 {\$displaystystyle \mathbf {y}$ $행렬$ $}$로 나타낼 수 있다$.$

${\displaystyle \mathbf {y} '=\mathbf {H} \,\mathbf {y} }$

3D 좌표에서 표준화된 영상 좌표에 대해 위의 식을 삽입하면

${\displaystyle \mathbf {y} '=\mathbf {H} \,\mathbf {C} _{N}\,\mathbf {x} '}}}$

이것은 가장 일반적인 형태의 카메라 매트릭스를 생산한다.

${\displaystyle \mathbf {C} =\mathbf {H} \,\mathbf {H} _{N}=\mathbf {H} \,\좌측({\begin{array}{c}}}\mathbf {t} \end{array}}\rig}\오른쪽)}$

참고 항목

• 3D 투영

참조

• Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in computer vision. Cambridge University Press. ISBN 0-521-54051-8.