8점 알고리즘
Eight-point algorithm8점 알고리즘은 대응하는 일련의 이미지 포인트에서 스테레오 카메라 쌍과 관련된 필수 매트릭스 또는 기본 매트릭스를 추정하기 위해 컴퓨터 비전에 사용되는 알고리즘입니다.1981년 크리스토퍼 롱게트-하이긴스에 의해 필수 매트릭스의 경우에 도입되었다.이론적으로는 이 알고리즘은 기본행렬에도 사용할 수 있지만 실제로는 1997년 리처드 하틀리에 의해 기술된 정규화된 8점 알고리즘이 이 경우에 더 적합하다.
알고리즘의 이름은 8개 이상의 대응하는 이미지 포인트에서 필수 매트릭스 또는 기본 매트릭스를 추정한다는 사실에서 유래했습니다.그러나 알고리즘의 변형은 8점 미만으로 사용할 수 있습니다.
공평면성 제약
두 카메라의 에피폴라 기하학과 공간의 한 점을 대수 방정식으로 표현할 수 있다.P({P})가 공간 내 어디에 있든 벡터 P P P {\ {\ {에 주의해 주십시오. 눈의 기준 프레임에 포인트 P의 좌표를 X X_{로 하고 오른쪽 눈의 기준 프레임에 있는P({R})의 좌표를 XR R, T)로 합니다.기준 프레임 s.t. R ( -) { X _ { R } ( X { L} - )는 두 기준 프레임의 P{ P} 사이의 관계입니다.The following equation always holds because the vector generated from is orthogonal to both and :
I R( \ I=^ { T } 、
( - ) { \ ( X { L } - T )^{ X T( \ X _ { }^ { T} x x x x x x )로 치환하면 다음과 같이 됩니다.
{ T \ }는 매트릭스로 간주할 수 있습니다.Longuet-Higgins는 S { S를 사용하여 나타냈습니다. R T S{\RT\는 흔히 필수 매트릭스라고 불리며 E{\ E로 표시됩니다.
、 R {\( \ { O _ { L } { } } 、 { \ {O _ R } 、 { \ overline { OP } }}}는 L 、 o o o o o o the the the the the to to to to the to to to to to to to to to to to to to to the to to to to to to to toy ,ydisplay { y,y라고 부르면 왼쪽 및 오른쪽 이미지 평면에 있는P {\ P의 투영 좌표를 다음과 같이 나타낼 수 있습니다.
기본 알고리즘
기본 8점 알고리즘은 필수 E를 추정하는 경우에 대해 설명합니다. 3단계로 구성됩니다.E와 직접 관련된 선형 방정식을 공식화한 후 한 해를 갖지 않을 수 있음을 고려하여 방정식을 푼다마지막으로 결과 매트릭스의 내부 구속조건을 관리한다.첫 번째 단계는 Longuet-Higgins의 논문에서 설명되며, 두 번째와 세 번째 단계는 추정 이론의 표준 접근법이다.
E \{E에 의해 정의된 제약조건은 다음과 같습니다.
정규화된 이미지 y \ '에 표시되는 해당 이미지 포인트의 경우알고리즘이 해결하는 문제는 일치하는 이미지 포인트 세트에 대해 E를 하는 것입니다.실제로 이미지 포인트의 이미지 좌표는 노이즈의 영향을 받으며, 솔루션도 과잉 결정될 수 있습니다. 즉, 모든 포인트에 대해 위의 제약 조건을 정확히 충족하는E \{E})를 찾을 수 없습니다.이 문제는 알고리즘의 두 번째 단계에서 해결됩니다.
1단계: 균질 선형 방정식 공식화
와 함께
- ( 1 ) { \ } { } _ { \ \ \ _ { \ \ \ { pmatrix} } ( \ \ { } \ { } \
제약은 또한 다음과 같이 고쳐 쓸 수 있다.
또는
어디에
- ~ ( 1 1 y ′ 2 ) ( { { } { } }\
e(\는 9차원 벡터 형태의 필수 을 나타내며, 이 벡터는× × × 3 × 3 × 3 × 3 × 3 × 3× 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × × × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 × 3 ×3 × 3 × 3 ×
대응하는 각 이미지 포인트의 쌍은 y~(\를 생성합니다.3D 포인트 Pk(\})가 주어진 경우 이는 y ~ style에 해당합니다.
e {\{ 충분한 수의 선형 벡터y~ {\{k}가 주어지면 e{을(를) 쉽게 할 수 있습니다.모든 y를 Y의 열로 수집합니다(\ 그 후 다음과 같이 해야 합니다.
즉 e \{e는 균질 선형 방정식의 해입니다.
2단계: 방정식 풀기
이 방정식을 풀기 위한 표준 접근방식은 e가 0과 같은 단수 값에 대응하는 Y의 우측 단수 을 의미합니다.하기 위해 최소 8개의 선형 독립 y ~ {\{가 사용된다면, 이 단수 벡터는 유일하며(스칼라 곱셈과 관련하여) 결과적으로 e가 .를 결정할 수 있습니다.
를 하기 위해8개 이상의 하는 점이 사용되는 경우 0과 같은 이 없을 수 있습니다실제로 영상 좌표가 다양한 유형의 노이즈에 의해 영향을 받는 경우 이 문제가 발생합니다.이 상황에 대처하기 위한 일반적인 접근법은 총 최소 제곱 문제로서 설명하는 것입니다.e\를
{\\ {} \인 경우.해결책은Y의 단수값에 대응하는 왼쪽 단수 벡터로(\ \e})를 선택하는 것입니다 emathbf {를 3× (\ 3 3 로 다시 정렬하면 이 스텝의 결과를 얻을 수 있습니다.빨간색은 E \로 표시됩니다.
순서 3: 내부 구속의 실시
노이즈가 많은 화상 좌표를 처리하는 또 다른 결과는 결과 행렬이 필수 행렬의 내부 구속조건을 충족하지 못할 수 있다는 것입니다. 즉, 행렬의 단수 값 중 두 개가 같고 0이 아니며 다른 하나는 0입니다.애플리케이션에 따라서는, 내부 제약으로부터의 편차가 작거나 큰 것이 문제가 될 수도 있고, 문제가 되지 않을 수도 있습니다.추정된 행렬이 내부 제약 조건을 충족하는 것이 중요한 경우, 이는 다음과 같이 최소화하는 등급 2의 E {E '}을(를) 구함으로써 달성할 수 있습니다.
서 E e \는 2단계에서 얻은 행렬이며 Frobenius 행렬 노름을 사용합니다.이 문제에 대한 해결책은 먼저 E t\의 특이값 분해를 계산하는 것입니다.
서 U {\{U \ {V는 직교 이며 S\ {는 E \ {{est의 단수를 포함하는 대각 행렬이다. 0이거나 적어도 같아야 하는 다른 두 개에 비해 작아야 합니다.어떤 경우에도,
서 s1, 는 각각 S에서 가장 크고 두 번째로 큰 단수 값입니다.마지막으로 E \ \{ }는 다음과 같습니다.
E \ '는 알고리즘에 의해 제공되는 필수 행렬의 결과 추정치입니다.
정규화 알고리즘
기본 8점 알고리즘은 기본 F의 추정에도 원칙적으로 사용할 수 있습니다. F에 대한 정의 제약은 다음과 같습니다.
서 y \ ' 는 대응하는 이미지 좌표를 균질하게 표현한 것입니다(정규화할 필요는 없습니다).즉, 행렬(\를 필수 행렬과 유사하게 형성하여 방정식을 풀 수 있습니다.
F 의 변형 버전인 f{\ \mathbf {f의 경우 에서 설명한 절차에 따라 일치하는 8개의 점 집합에서F {\을(를 할 수 있습니다.그러나 실제로는 결과 기본행렬이 에피폴라 구속조건을 결정하는 데 유용하지 않을 수 있다.
어려움
문제는 인Y \{가 종종 잘못된 조건이라는 것입니다.이론적으로 Y에는 0과 같은 단수가 하나 있고 나머지는 0이 아닙니다.그러나 실제로는 0이 아닌 일부 특이값은 큰 값에 비해 작아질 수 있습니다.좌표가 거의 정확한Y {\을를) 생성하기 위해 8개 이상의 대응하는 점이 사용되는 경우, 약 0으로 식별할 수 있는 명확한 단수 값이 없을 수 있습니다.이것에 의해, 균질한 선형 방정식의 해답은, 유용하기에 충분히 정확하지 않을 수 있다.
원인
하틀리는 1997년 기사에서 이 추정 문제를 다루었다.이 문제에 대한 그의 분석은 이 문제가 의 균질한 이미지 좌표가 제대로 분포되지 않았기 때문에 발생했음을 보여줍니다. R (\^{ 2D 이미지 좌표 y 1, y2의 일반적인 균질한 표현(\display style },
서 y1, (\는 모두 최신 디지털 카메라의 경우 0 ~ 1000 ~ 2000 범위에 있습니다.즉, y의 처음 두 좌표가 세 번째 좌표보다 훨씬 큰 범위에 걸쳐 변화합니다. Y\를 구성하는 데 사용되는 이미지 포인트가 ( ±( {\100과 같이 이미지의 비교적 작은 영역에 있는 경우벡터 y(\displaystyle {y는 같은 방향 이하에 있습니다.모든 포인트따라서 Y는 의 큰 단수 값을 가지며 나머지 단수 값은 작습니다.
솔루션
이 문제에 대한 해결책으로, Hartley는 두 영상의 각 좌표계를 다음 원칙에 따라 독립적으로 새로운 좌표계로 변환해야 한다고 제안했다.
- 새 좌표계의 원점은 영상 점의 중심(중력 중심)에서 중앙에 위치해야 합니다.이것은, 원래의 기원을 새로운 기원으로 변환하는 것으로 실현됩니다.
- 변환 후에는 원점에서 점까지의 거리의 평균이 2가 좌표가 균일하게 조정됩니다.
이 원리로 인해 일반적으로 두 영상 각각에 대해 별도의 좌표 변환이 이루어집니다.그 결과 새로운 균질한 이미지 y ,、 y display ( \ \{ , \ {)는 다음과 같이 표시됩니다.
서T , \ ' 는 기존 정규화된 영상 좌표를 새로운 정규화 영상 좌표로 변환(변환 및 스케일링)한 것입니다.이 정규화는 단일 영상에 사용되는 이미지 포인트에만 의존하며 일반적으로 정규화된 카메라에 의해 생성된 정규화된 이미지 좌표와는 다릅니다.
기본 매트릭스에 기초한 에피폴라 제약은 이제 다음과 같이 다시 쓰여질 수 있습니다.
서 F ( ( )T- 1 - 1 ( \ \{ F ) = ( ( \{ T ' )^즉, 정규화된 균일한 이미지 y,, ¯{\ { {, \{ ' 를 사용하여 변환된 기본 F { { 를 추정할 수 있습니다.
정규화 변환의 목적은 일반적으로 정규화된 이미지 좌표로 구성된 Y {\이가 Y {\ \{Y보다 더 나은 조건 번호를 갖는 것입니다.즉 솔루션 \ style \y f보다 Y {\ f \ style \ \{의 해로서 정의됩니다.가 결정되어 F로 재형성되었습니다.F(\displaystyle \mathbf {에 따라 F{F})를 수 있도록 F(\displaystyle \mathbf {F
일반적으로 이 기본 행렬의 추정치는 정규화되지 않은 좌표에서 추정하여 얻은 것보다 더 나은 추정치입니다.
8점 미만 사용
각 점 쌍은의 요소에서 하나의 구속 방정식에 기여합니다. E{}은(는) 자유도가 이므로 이론적인 점에서E \{E를 결정하는 데 5개의 점 쌍만으로 충분합니다.견해에 따르면, 이것의 실제 실행은 간단하지 않고 다양한 비선형 방정식을 푸는 것에 의존한다.
Kaveh Pathian 등은 회전 사분위수를 [1][2]직접 계산함으로써 필수 행렬의 계산을 우회하는 5, 6, 7점에 대한 알고리즘을 제안했다.
「 」를 참조해 주세요.
레퍼런스
- ^ Fathian, Kaveh (2018). "QuEst: A Quaternion-Based Approach for Camera Motion Estimation From Minimal Feature Points". IEEE Robotics and Automation Letters. 3 (2): 857–864. arXiv:1704.02672. doi:10.1109/LRA.2018.2792142. S2CID 51983009.
- ^ Fathian, Kaveh (2018). "Camera relative pose estimation for visual servoing using quaternions". Robotics and Autonomous Systems. 107: 45–62. doi:10.1016/j.robot.2018.05.014. S2CID 52011938.
추가 정보
- Richard I. Hartley (June 1997). "In Defense of the Eight-Point Algorithm". IEEE Transactions on Pattern Recognition and Machine Intelligence. 19 (6): 580–593. doi:10.1109/34.601246.
- Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in computer vision. Cambridge University Press. ISBN 978-0-521-54051-3.
- H. Christopher Longuet-Higgins (September 1981). "A computer algorithm for reconstructing a scene from two projections". Nature. 293 (5828): 133–135. Bibcode:1981Natur.293..133L. doi:10.1038/293133a0. S2CID 4327732.
