트리포칼 텐서

컴퓨터 비전에서, 트리텐서(tripical tensor)는 3×3×3의 숫자 배열이다(즉, tensor). 3개의 보기 사이의 모든 투영적인 기하학적 관계를 통합한다.그것은 장면 구조와 독립적이며 세 개의 보기 중 상대적인 움직임(즉, 포즈)과 그 내적인 교정 파라미터에만 의존하는 세 개의 뷰에서 해당 포인트 또는 선의 좌표를 연관시킨다.따라서, 세 가지 관점에서의 기본 매트릭스의 일반화로 하찮은 텐서(stitcal tensor)를 생각할 수 있다.27개 원소로 구성된 텐서에도 불구하고 실제로 독립된 것은 18개에 불과하다는 점에 주목한다.

또한 본질적인 매개변수가 주어진 점 및 선의 좌표를 3개의 뷰로 연관시키고 카메라의 상대적 자세를 글로벌 스케일로 인코딩하여 총 11개의 독립 요소 또는 자유도를 나타낸다.자유도가 감소하면 비선형성 증가의 비용으로 모델에 적합한 대응점이 더 적어질 수 있다.^[1]

상관 슬라이스

$텐서$ 는 또한 상관관계 $슬라이스로$ 알려진 ${\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}$ $3 x$ 3 ${\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}$ T ${\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}$ , $2$ , $3$ 의 순위 2의 ${\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}$ 으로 볼 수 $있다.$ Assuming that the projection matrices of three views are ${\mathbf {P} }=[{\mathbf {I} }\; \;{\mathbf {0} }]$ , ${\mathbf {P} }'=[{\mathbf {A} }\; \;{\mathbf {a} }_{4}]$ and ${\displaystyle {$ $\mathbf {P} ''}=[{\mathbf {B} }\; \;{\mathbf {b} }_{4}]}$ , the correlation slices of the corresponding tensor can be expressed in closed form as ${\displaystyle {\mathbf {T} }_{i}={\mathbf {a} }_{i}{\mathbf {b} }_{4}^{t}-{\mathbf {a} }_{4}{\mathbf {b} }_{i}^{$ $t},\;i=1\ldots 3$ ${\mathbf {a} }_{i},\;{\mathbf {b} }_{i}$ 서 i ${\mathbf {a} }_{i},\;{\mathbf {b} }_{i}$ , b ${\mathbf {a} }_{i},\;{\mathbf {b} }_{i}$ ${\$ 는 각각 ${\mathbf {a} }_{i},\;{\mathbf {b} }_{i}$ 카메라 행렬의 i 열이다^th.그러나 실제로는 3개의 뷰에 걸쳐 포인트와 라인 매치를 통해 텐서를 추정한다.

삼선 구속조건

하찮은 텐서의 가장 중요한 특성 중 하나는 세 개의 이미지에서 선과 점 사이의 선형 관계를 발생시킨다는 것이다.More specifically, for triplets of corresponding points ${\mathbf {x} }\;\leftrightarrow \;{\mathbf {x} }'\;\leftrightarrow \;{\mathbf {x} }''$ and any corresponding lines ${\displaystyle {\mathbf {l} }\;\leftrightarrow \;{\mathbf {l} }'\;\leftrightarrow$ $\;{\mathbf {l}"}$ 을(를) 통해 ${\mathbf {l} }\;\leftrightarrow \;{\mathbf {l} }'\;\leftrightarrow \;{\mathbf {l} }''$ 다음과 같은 삼선 구속조건이 유지된다.

({\mathbf {l} }^{\prime t}\left[{\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}\right]{\mathbf {l} }'')[{\mathbf {l} }]_{\times }={\mathbf {0} }^{t}

{\mathbf {l}^{\\premium t}\왼쪽(\sum _{i}x_{i}{}{\mathbf {T}}{{i}\right){\mathbf {}{l}"=0

{\mathbf {l}^{\primate t}\좌(\sum _{i}{i}{i}}{{i}\i}\i}\mathbf {}}\times }={\mathbf {0}^{t}}}}}}}

{\displaystyle [{\mathbf {x}'}_{\times }\left(\sum _{i}x_{i}{{T}\오른쪽){\mathbf {l}}}={\mathbf {0}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}"

[{\mathbf {x}'}_{\times }{i}{i}{{i}}{\mathbf {T}{x}\right][{\mathbf {x}}}}}]{\time }={\mathbf {0}{3\times3\time}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}

여기서 [ $[\cdot ]_{\times }$ $[\cdot ]_{\times }$ $[\cdot ]_{\times }$ ${\$ 은(는) 스큐-크기 교차 제품 행렬을 $[\cdot]_{\times}$ 나타낸다.

옮기다

3개의 뷰와 두 뷰의 짝을 이루는 점 쌍의 사소한 텐서(tensor)를 고려할 때, 추가 정보 없이 세 번째 뷰에서 포인트의 위치를 결정할 수 있다.이를 점 전이라고 하며 유사한 결과가 선과 원뿔에 대해 유지된다.일반 곡선의 경우 오스카하는 원의 국부적 차등 곡선 모델(즉, 곡률)을 통해 이전을 실현할 수 있으며, 이 모델은 원뿔로 이행될 수 있다.^[2]보정된 작은 초점 텐더를 사용하여 공간 비틀림을 반영하는 3차 모델의 이전은 연구되었지만 보정되지 않은 작은 점액 텐서는 여전히 개방적인 문제로 남아 있다.^[3]

추정

보정되지 않음

고전적인 경우는 3가지 해결책을 제시하는 6점 대응이다^[4]^[5].

9개 회선 서신에서 사소한 시약을 추정하는 경우는 최근에야 해결되었다.^[6]

보정됨

보정된 사소한 시차 텐서를 추정하는 것은 악명 높기로 악명 높으며, 4 포인트 서신을 필요로 한다.^[7]

점들이 접선 방향이나 입사선으로 귀속되는 점 3점 대응만을 사용하는 경우는 최근에 해결되었다. 점들 중 2개만이 입사선을 가지고 있는 점으로, 이것은 312도의 최소 문제(그러므로 최대 312개의 해결책이 있을 수 있음)이며, 일반 곡선의 경우와 관련이 있다(점수가 312개인 경우).각도), 또는 귀속 방향이 있는 형상점(^[8]예: SIFT 방향).같은 기법으로 3점 대응과 1회선 대응의 혼용 사례를 해결했는데, 이 역시 216도로 미미한 것으로 나타났다.

참조

^ Martyushev, E. V. (2017). "On Some Properties of Calibrated Trifocal Tensors". Journal of Mathematical Imaging and Vision. 58 (2): 321–332. arXiv:1601.01467. doi:10.1007/s10851-017-0712-x. S2CID 1634602.
^ Schmid, Cordelia (2000). "The Geometry and Matching of Lines and Curves Over Multiple Views" (PDF). International Journal of Computer Vision. 40 (3): 199–233. doi:10.1023/A:1008135310502. S2CID 11844321.
^ Fabbri, Ricardo; Kimia, Benjamin (2016). "Multiview Differential Geometry of Curves". International Journal of Computer Vision. 120 (3): 324–346. arXiv:1604.08256. Bibcode:2016arXiv160408256F. doi:10.1007/s11263-016-0912-7. S2CID 11908870.
^ Richard Hartley and Andrew Zisserman (2003). "Online Chapter: Trifocal Tensor" (PDF). Multiple View Geometry in computer vision. Cambridge University Press. ISBN 978-0-521-54051-3.
^ Heyden, A. (1995). "Reconstruction from Image Sequences by means of Relative Depths". Proceedings of IEEE International Conference on Computer Vision. pp. 1058–1063. doi:10.1109/ICCV.1995.466817. ISBN 0-8186-7042-8. S2CID 7789642.
^ Larsson, Viktor; Astrom, Kalle; Oskarsson, Magnus (2017). "Efficient Solvers for Minimal Problems by Syzygy-Based Reduction". 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 2383–2392. doi:10.1109/CVPR.2017.256. ISBN 978-1-5386-0457-1. S2CID 13069612.
^ Nister, David; Schaffalitzky, Frederik (2006). "Four Points in Two or Three Calibrated Views: Theory and Practice". International Journal of Computer Vision. 67 (2): 211–231. doi:10.1007/s11263-005-4265-x. S2CID 10231211.
^ Fabbri, Ricardo; Duff, Timothy; Fan, Hongyi; Regan, Margaret; de Pinho, David; Tsigaridas, Elias; Wampler, Charles; Hauenstein, Jonathan; Kimia, Benjamin; Leykin, Anton; Pajdla, Tomas (23 Mar 2019). "Trifocal Relative Pose from Lines at Points and its Efficient Solution". arXiv:1903.09755 [cs.CV].

추가 읽기

Hartley, Richard I. (1997). "Lines and Points in Three Views and the Trifocal Tensor". International Journal of Computer Vision. 22 (2): 125–140. doi:10.1023/A:1007936012022. S2CID 8979544.
Torr, P. H. S.; Zisserman, A. (1997). "Robust Parameterization and Computation of the Trifocal Tensor". Image and Vision Computing. 15 (8): 591–607. CiteSeerX 10.1.1.41.3172. doi:10.1016/S0262-8856(97)00010-3.

외부 링크

작은 기하학적 기하학의 시각화(원래 INRIA Robotvis의 Sylvain Bougnoux에 의해, Java가 필요함)

알고리즘

보정되지 않은 사소한 시차적 시차 추정의 Matlab 구현 및 쌍별 기본 매트릭스 비교
C++ 최적화된 호모토피 계속 코드를 사용하여 보정된 경미한 텐서 추정의 구현.현재 이 점에 선(형상 위치 및 방향 또는 접선이 있는 곡선 지점과 같이)이 있는 해당 점 3개와 선 1개를 포함하는 경우를 포함한다.

[1] Martyushev, E. V. (2017). "On Some Properties of Calibrated Trifocal Tensors". Journal of Mathematical Imaging and Vision. 58 (2): 321–332. arXiv:1601.01467. doi:10.1007/s10851-017-0712-x. S2CID 1634602.

[2] Schmid, Cordelia (2000). "The Geometry and Matching of Lines and Curves Over Multiple Views" (PDF). International Journal of Computer Vision. 40 (3): 199–233. doi:10.1023/A:1008135310502. S2CID 11844321.

[3] Fabbri, Ricardo; Kimia, Benjamin (2016). "Multiview Differential Geometry of Curves". International Journal of Computer Vision. 120 (3): 324–346. arXiv:1604.08256. Bibcode:2016arXiv160408256F. doi:10.1007/s11263-016-0912-7. S2CID 11908870.

[hzbook-4] Richard Hartley and Andrew Zisserman (2003). "Online Chapter: Trifocal Tensor" (PDF). Multiple View Geometry in computer vision. Cambridge University Press. ISBN 978-0-521-54051-3.

[5] Heyden, A. (1995). "Reconstruction from Image Sequences by means of Relative Depths". Proceedings of IEEE International Conference on Computer Vision. pp. 1058–1063. doi:10.1109/ICCV.1995.466817. ISBN 0-8186-7042-8. S2CID 7789642.

[6] Larsson, Viktor; Astrom, Kalle; Oskarsson, Magnus (2017). "Efficient Solvers for Minimal Problems by Syzygy-Based Reduction". 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 2383–2392. doi:10.1109/CVPR.2017.256. ISBN 978-1-5386-0457-1. S2CID 13069612.

[7] Nister, David; Schaffalitzky, Frederik (2006). "Four Points in Two or Three Calibrated Views: Theory and Practice". International Journal of Computer Vision. 67 (2): 211–231. doi:10.1007/s11263-005-4265-x. S2CID 10231211.

[8] Fabbri, Ricardo; Duff, Timothy; Fan, Hongyi; Regan, Margaret; de Pinho, David; Tsigaridas, Elias; Wampler, Charles; Hauenstein, Jonathan; Kimia, Benjamin; Leykin, Anton; Pajdla, Tomas (23 Mar 2019). "Trifocal Relative Pose from Lines at Points and its Efficient Solution". arXiv:1903.09755 [cs.CV].

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

Search