이미지 연결

영상 스티칭 또는 사진 스티칭은 여러 장의 사진 영상을 겹치는 시야의 장과 결합해 분할된 파노라마나 고해상도 영상을 제작하는 과정이다. 일반적으로 컴퓨터 소프트웨어를 사용하여 수행되는 대부분의 이미지 스티칭 접근법은 매끄러운 결과를 얻기 위해 이미지와 동일한 노출 사이의 거의 정확한 중첩을 필요로 하지만,^[1][2] 일부 스티칭 알고리즘은 실제로 겹치는 영역에서 고동적 범위의 영상을 수행함으로써 서로 다른 노출 이미지로부터 이익을 얻는다.^[3][4] 일부 디지털 카메라는 내부적으로 사진을 바느질할 수 있다.

적용들

이미지 스티칭은 다음과 같은 현대 응용 분야에서 널리 사용되고 있다.

• 문서 모자이싱^[5]
• 프레임 속도 영상 정렬을 사용하는 캠코더의 영상 안정화 기능
• 디지털 지도 및 위성 사진의 고해상도 포토모사
• 메디컬 이미징
• 다중 이미지 초고해상도 영상화
• 비디오 스티치^[6]
• 객체 삽입

과정

영상 스티칭 프로세스는 영상 등록, 보정, 블렌딩의 세 가지 주요 구성 요소로 나눌 수 있다.

이미지 연결 알고리즘

영상 정렬을 추정하기 위해서는 한 영상의 픽셀 좌표와 다른 영상의 픽셀 좌표와 관련된 적절한 수학적 모델을 결정하는 알고리즘이 필요하다. 직접 픽셀 대 픽셀 비교와 그라데이션 강하(및 기타 최적화 기법)를 결합한 알고리즘을 사용하여 이러한 파라미터를 추정할 수 있다.

각 이미지에서 구별되는 특징을 찾아낸 다음 효율적으로 매치하여 이미지 쌍 간의 대응성을 신속하게 설정할 수 있다. 여러 개의 이미지가 파노라마에 존재할 때, 세계적으로 일관된 선형을 계산하고 어떤 이미지가 서로 겹치는지를 효율적으로 발견하는 기법이 개발되었다.

시차, 렌즈 왜곡, 장면 움직임 및 노출 차이가 있더라도 겹치는 영상을 원활하게 혼합하기 위한 알고리즘과 마찬가지로 정렬된 모든 영상을 뒤틀거나 투영하여 배치하는 최종 합성 표면이 필요하다.

이미지 연결 문제

두 뷰의 조도가 동일하다고 보장할 수 없기 때문에 두 이미지를 바느질하면 가시적인 솔기가 생성될 수 있다. 솔기의 다른 이유는 동일한 연속 전경에 대한 두 이미지 사이의 배경 변화일 수 있다. 시차, 렌즈 왜곡, 장면 움직임 및 노출 차이도 해결해야 할 주요 사안이다. 비이상적 실생활의 경우 장면 전체에 걸쳐 강도가 달라지며, 프레임에 걸쳐 대비와 강도가 달라진다. 또한 시각적으로 보기 좋은 합성물을 만들기 위해 파노라마 이미지의 가로 세로 비율을 고려할 필요가 있다.

파노라마 스티칭의 경우 이상적인 영상 세트는 렌즈 왜곡을 극복하고 검출 가능한 기능을 충분히 갖출 수 있도록 합리적인 양의 중복(최소 15~30%)을 가질 수 있다. 이미지 세트는 솔기가 발생할 확률을 최소화하기 위해 프레임 간에 일관된 노출을 가질 것이다.

키포인트 검출

영상 간 대응 내용을 자동으로 찾으려면 기능 감지가 필요하다. 이미지를 합성하고 있는 이미지와 정렬하는 데 필요한 변환을 추정하기 위해서는 강력한 대응책이 필요하다. 코너스, 블롭, 해리스 코너, 해리스 코너의 가우스인과의 차이점은 반복 가능하고 뚜렷하기 때문에 좋은 특징이다.

이자 포인트 감지를 위한 최초의 연산자 중 하나는 Hans P에 의해 개발되었다. 모라벡은 1977년 클러스터 환경을 통한 로봇 자동 항법 연구와 관련된 연구를 했다. Moravec는 또한 이미지에서 "관심 지점"의 개념을 정의하고 이러한 관심 지점을 다른 이미지에서 일치하는 영역을 찾는 데 사용할 수 있다고 결론지었다. 모라벡 연산자는 관심 지점을 모든 방향에 큰 강도 편차가 있는 지점으로 정의하기 때문에 코너 검출기로 간주된다. 이것은 종종 모퉁이에서 일어나는 일이다. 그러나, Moravec는 연속적인 이미지 프레임 등록에 사용될 수 있는 이미지에서 단지 구별되는 영역을 찾는 것에 특별히 관심이 없었다.

해리스와 스티븐스는 모라벡의 코너 검출기에 대해 직접 방향과 관련해 코너 점수 차이를 고려해 개선했다. 그들은 이미지 시퀀스에 기반한 로봇 환경의 해석을 구축하기 위한 프로세싱 단계로 그것이 필요했다. 모라벡처럼 연속 영상 프레임에서 해당 포인트를 매치하는 방법이 필요했지만 프레임 간 코너와 에지 모두를 추적하는 데 관심이 많았다.

SIFT와 SEFT는 최근의 핵심 포인트 또는 관심 포인트 검출기 알고리즘이지만, 주목할 점은 이러한 알고리즘이 특허를 획득하고 상업적 사용이 제한된다는 것이다. 일단 형상이 감지되면, SIFT 설명자와 같은 서술자 방법을 나중에 그것들과 일치시키기 위해 적용할 수 있다.

등록

이미지 등록은 이미지 세트의 형상을^[7] 일치시키거나 또는 중첩된 픽셀 간의 절대적 차이의 합을 최소화하는 이미지 정렬을 검색하기 위해 직접 정렬 방법을 사용하는 것을 포함한다.^[8] 직접 정렬 방법을 사용할 경우 먼저 이미지를 보정하여 더 나은 결과를 얻을 수 있다. 또한 사용자는 기능 일치 단계를 돕기 위해 파노라마의 대략적인 모델을 입력할 수 있으며, 예를 들어 인접한 이미지만 일치하는 기능을 검색할 수 있다. 매칭할 수 있는 기능 그룹이 작기 때문에 검색 결과가 더 정확하고 비교 실행이 더 빠르다.

데이터로부터 강력한 모델을 추정하기 위해 사용되는 일반적인 방법을 RANSAC라고 한다. RANSAC이라는 이름은 "RANDOM SAmple Consensus"의 약칭이다. 이것은 특이치를 포함할 수 있는 관측된 데이터 점 집합에서 수학적 모형을 적합시키는 강력한 모수 추정을 위한 반복적인 방법이다. 알고리즘은 일정한 확률만을 가지고 합리적인 결과를 낸다는 점에서 비결정론적이며, 이 확률은 더 많은 반복이 수행될수록 증가한다. 확률론적 방법이라는 것은 알고리즘이 실행될 때마다 다른 결과가 얻어지는 것을 의미한다.

RANSAC 알고리즘은 통신 문제의 동시 해결과 스테레오 카메라 한 쌍과 관련된 기본 매트릭스의 추정을 포함하여 컴퓨터 시야에서 많은 응용 프로그램을 찾아냈다. 이 방법의 기본적인 가정은 데이터가 "영역", 즉 어떤 수학 모델에 의해 분포를 설명할 수 있는 데이터와 모델에 맞지 않는 데이터인 "특이치"로 구성되어 있다는 것이다. 특이치는 소음, 측정 오류 또는 단순히 잘못된 데이터에서 오는 점으로 간주된다.

동음이의학 추정의 문제에 대해서, RANSAC는 일부 점 쌍을 사용하여 여러 모델을 적합시키려 한 다음 모형이 대부분의 점들을 연관시킬 수 있는지 확인하는 것으로 동작한다. 가장 좋은 모델 - 가장 많은 수의 정확한 일치를 산출하는 동음이의어가 문제의 해답으로 선택된다. 따라서 데이터 포인트에 대한 특이치의 수가 매우 낮을 경우 RANSAC는 데이터에 적합한 적절한 모델을 출력한다.

눈금 매기기

이미지 보정은 이상적인 렌즈 모델과 사용된 카메라 렌즈 조합, 왜곡과 같은 광학적 결함, 이미지 간의 노출 차이, Vigneting,^[9] 카메라 응답 및 색도 이상 간의 차이를 최소화하는 것을 목적으로 한다. 형상 검출 방법을 사용하여 영상을 등록하고 형상의 절대 위치를 기록 및 저장한 경우, 스티치 소프트웨어는 영상을 범권 위에 배치하는 것 외에 이미지의 기하학적 최적화를 위해 데이터를 사용할 수 있다. Panotools와 그것의 다양한 파생 프로그램들은 이 방법을 사용한다.

정렬

합성 중인 이미지의 뷰 포인트와 일치하도록 이미지를 변환하려면 정렬이 필요할 수 있다. 정렬(Alignment)은 좌표계의 변화로, 필요한 관점과 일치하는 이미지를 출력하는 새로운 좌표계를 채택한다. 이미지가 통과할 수 있는 변환 유형은 변환해야 하는 이미지의 변환, 회전 및 스케일링을 포함하는 유사 변환, 아핀 또는 투영적 변환이다.

투영적 변환은 영상이 변환할 수 있는 가장 먼 거리(2차원 평면 변환의 집합에서)로, 변환된 이미지에서 보존되는 가시적 형상만 직선인 반면, 병렬 변환은 아핀 변환에서 유지된다.

투영적 변환은 다음과 같이 수학적으로 설명할 수 있다.

x' = H $\cdot {\displaystyle }$ ${\displaystyle \cdot }$ x$$,

여기서 x는 이전 좌표계의 점이며, x'는 변환된 영상의 해당 점이고, H는 동음이의 행렬이다.

카메라의 본질(K와 K')과 그 회전 및 번역 [R t]을 실제 좌표 X와 X'로 사용하여 포인트 x와 x'를 표현하면 다음과 같은 결과를 얻을 수 있다.

x = K $\cdot {\displaystyle }$ ${\displaystyle \cdot }$ $$[R t] $\cdot {\displaystyle }$ ${\displaystyle \cdot }$ X와' = K$displaystyle \cdot$ }[$$R't'] $\cdot {\displaystyle }$ ${\displaysty \cdot }$X$$'이다.

위의 두 방정식과 x와 x의 동음이의 관계를 이용하여 우리는 도출할 수 있다.

H = K' $\cdot {\displaystyle }$ ${\displaystyle \cdot }$ R$$' $\cdot {\displaystyle }$ ${\displaystyle \cdot }$ R$$⁻¹ $\cdot {\displaystyle }$ ${\displaysty \cdot }$K$$⁻¹

동음이의학 매트릭스 H에는 8개의 매개변수 또는 자유도가 있다. 동음이의어는 다음을 사용하여 직접 선형 변환 및 단수 값 분해를 사용하여 계산할 수 있다.

$\cdot {\displaystyle }$ ${\displaystyle \cdot }$h = 0,

여기서 A는 대응 좌표를 사용하여 구성된 행렬이고 h는 재구성된 동음이의 행렬의 9개 원소의 1차원 벡터다. h로 가려면 SVD: A = U $\cdot {\displaystyle }$ ${\displaystyle \cdot }$S $\cdot {\displaystyle }$ ${\displaystyle \cdot }$V$$ 및 h = V(가장 작은 단수 벡터에 해당하는 열)를 간단히 적용하면 된다. h가 A의 null 공간에 놓여 있기 때문에 이것은 사실이다. 우리는 8도의 자유도를 가지고 있기 때문에 알고리즘은 최소한 4개의 점 서신을 필요로 한다. RANSAC가 동음이의어 추정에 사용되고 복수의 서신을 이용할 수 있는 경우, 정확한 동음이의어 매트릭스는 최대 인어의 수를 가진 매트릭스가 된다.

컴포지팅

합성(composing)은 보정된 영상이 한 장면의 한 장면으로 나타날 수 있도록 정렬되는 과정이다. 알고리즘이 어떤 대응책이 중복되는지 알기 때문에 자동으로 컴포지팅을 할 수 있다.

블렌딩

영상 혼합은 보정 단계에서 파악된 조정을 실행하고 영상을 출력 투영으로 다시 매핑하는 것을 포함한다. 노출 차이를 보정하기 위해 이미지 간에 색상을 조정한다. 해당되는 경우 동작 보정 및 디호스팅과 함께 높은 동적 범위 병합이 수행된다. 영상이 함께 혼합되고 심선 조정이 이루어져서 영상 간 솔기의 가시성을 최소화한다.

단순 게인 조정으로 솔기를 줄일 수 있다. 이 보상은 기본적으로 겹쳐지는 픽셀의 강도 차이를 최소화하고 있다. 이미지 블렌딩 알고리즘은 이미지의 중심 부근에 픽셀에 더 많은 가중치를 부여한다. Gain 보정 영상과 멀티밴드 혼합 영상을 가장 잘 비교한다. IJCV 2007. 이미지를 보정하는 또 다른 방법은 직진이다. Matthew Brown과 David G. Lowe는 논문 'Invariant Features를 사용한 자동 파노라마 이미지 스티칭'에서 벡터 u가 (렌더링 프레임에서) 수직으로 되어 출력 파노라마에서 웨이브 효과를 효과적으로 제거하도록 글로벌 회전을 적용하는 직선 방법을 설명한다.

보상이 획득된 후에도 Vigneting(이미지 가장자리로 강도가 감소), 광학 중앙의 원치 않는 동작에 의한 시차 효과, 카메라의 불일치로 인한 등록 오류, 방사형 왜곡 등 모델링되지 않은 여러 효과로 인해 일부 이미지 가장자리가 여전히 보인다. 이러한 이유로 그들은 멀티밴드 블렌딩이라 불리는 블렌딩 전략을 제안한다.

투영 배치

공간의 동일한 지점에서 가져온 영상 세그먼트의 경우 다양한 지도 투영 중 하나를 사용하여 연결된 영상을 정렬할 수 있다.

직선으로

직선 투영, 단 한 지점에서 팬스피어를 교차하는 2차원 평면에서 실링된 영상을 보는 위치. 실제 직선인 선은 이미지상의 방향과 상관없이 직선으로 표시된다. 약 120° 정도의 넓은 시야는 이미지 경계 부근에 심한 왜곡을 보이기 시작한다. 직사각형 투영의 한 예는 파노라마 보기를 위해 큐빅 매핑이 있는 큐브 면의 사용이다. 파노라마는 6개의 정사각형으로 맵핑되어 있으며, 각 정육면체는 파노라마의 90도 영역을 보여준다.

원통형

원통형 투영. 여기서 연결된 이미지는 360° 수평 시야와 제한된 수직 시야를 보여준다. 이 투영에서 파노라마는 이미지가 실린더로 포장되어 내부에서 보는 것처럼 보이게 되어 있다. 2D 평면에서 볼 때 수평선은 곡선으로 보이는 반면 수직선은 직선으로 유지된다.^[10] 수직 왜곡은 범권 상류에 가까워지면 급격히 증가한다. Mercator 및 Miller 원통형 등 다양한 원통형 형식이 있으며, 이는 팬스피어의 극 부근에 변형이 적다.

구면

구면 투영 또는 등사각형 투영 - 다른 원통형 투영을 엄격히 말한다. 여기서 봉합된 이미지는 360° 수평을 180° 수직 시야, 즉 전체 구면을 보여준다. 이 투영에서 파노라마는 이미지를 구체로 감싸서 내부에서 보는 것처럼 보이게 되어 있다. 2D 평면에서 볼 때 수평선은 원통형 투영에서처럼 곡선으로 나타나는 반면 수직선은 수직으로 유지된다.^[10]

판니니

파노라마는 기본적으로 구의 지도이기 때문에, 지도 제작자의 다양한 다른 지도화 투영도 원할 경우 사용될 수 있다. 또한 이탈리아의 베두티스토 화가 지오반니 파올로 파니니의^[12] 이름을 딴 후긴의 판니니 투영법이나^[11] PTgui의 베두티모 투영법처럼 일반적인 카르토그래피 투영법보다 미적으로 더 만족스러운 장점을 가질 수 있는 전문적 투영법도 있다.^[13] 출력 이미지의 최종 모양을 미세하게 조정하기 위해 동일한 영상에 다른 투영을 결합할 수 있다.^[14]

입체적

입체 투영 또는 피쉬아이 투영은 가상 카메라를 똑바로 아래로 향하게 하고 전체 지면과 그 위 영역을 표시할 수 있을 정도로 시야를 크게 설정하여 작은 행성 파노라마를 형성하는데 사용될 수 있다. 가상 카메라를 위쪽으로 향하게 하면 터널 효과가 발생한다. 입체 투영의 일치성은 스테레오그래픽 투영 기사에서 논한 것과 같은 동등한 면적 피시예 투영보다 시각적으로 더 만족스러운 결과를 산출할 수 있다.

공예품

같은 장소에서 찍지 않은 영상(카메라의 입구 동공에 대한 피벗 위)^[15]을 사용하면 최종 제품에 시차 오류가 발생할 수 있다. 캡처된 씬(scene)이 빠른 움직임이나 동적 움직임을 특징으로 하는 경우 영상 세그먼트 사이의 시간 차이로 인해 아티팩트가 발생할 수 있다. 수동 선택과 바느질이 아닌 형상 기반의 정렬 방법을 통한 "블라인드 스티치"(자동 고정 장치 참조)는 파노라마 조립에 결함을 일으킬 수 있다.

소프트웨어

전용 프로그램으로는 Autostitch, Hugin, Ptgui, Panorama Tools, Microsoft Research Image Composite Editor, CleVR Stitcher 등이 있다. 많은 다른 프로그램들 또한 여러 이미지를 연결할 수 있다; 인기 있는 예는 포토머지라고 알려진 도구와 최신 버전에서는 새로운 오토블렌드를 포함하는 Adobe Systems의 포토샵이다. VideoStitch와 같은 다른 프로그램들은 비디오 스티치를 가능하게 하고 Vahana VR은 실시간 비디오 스티치를 가능하게 한다. QuickPHOTO 현미경 소프트웨어용 이미지 스티칭 모듈은 카메라의 라이브 뷰를 사용하여 현미경의 여러 시야를 대화식으로 결합할 수 있다. 그것은 또한 전체 현미경 검체의 수동 스티치에도 사용될 수 있다.

참고 항목

• 액션샷 파노라마 사진
• 아나글리프 3D
• 오토스티치
• 파생작업
• 디지털 이미지 모자이크
• 문서 모자이싱
• 판노그래피
• 파노라마 사진
• VR 사진(인터랙티브 파노라마)

참조

외부 링크

• Wikimedia Commons의 스티치 관련 미디어