이미지 등록

Image registration
동일한 장면의 여러 노출을 등록하고 합산하면 신호 대 노이즈 비율이 개선되어 이전에는 볼 수 없었던 것을 볼 수 있습니다.이 그림에서는 먼 알프스 산맥이 안갯속까지 수십 킬로미터에 달하지만 잘 보인다.

영상 등록은 여러 데이터 세트를 하나의 좌표계로 변환하는 과정입니다.데이터는 여러 사진, 서로 다른 센서의 데이터, 시간, 깊이 또는 [1]시점일 수 있습니다.컴퓨터 비전, 의료 영상,[2] 군사 자동 표적 인식, 인공위성의 영상 및 데이터 편집 및 분석에 사용됩니다.이러한 다양한 측정에서 얻은 데이터를 비교 또는 통합할 수 있으려면 등록이 필요합니다.

알고리즘 분류

강도 기반과 기능 기반

영상 기록 또는 영상 정렬 알고리즘은 명암 기반 및 기능 [3]기반으로 분류할 수 있습니다.영상 중 하나는 이동 또는 소스라고 하며 다른 하나는 대상, 고정 또는 감지된 영상이라고 합니다.이미지 등록에는 소스/동영상(들)을 대상 이미지에 맞게 공간적으로 변환하는 작업이 포함됩니다.대상 영상의 기준 프레임은 정지 상태이고 다른 데이터 세트는 대상과 [3]일치하도록 변환됩니다.명암 기반 방법은 상관 메트릭을 통해 영상의 명암 패턴을 비교하는 반면, 특징 기반 방법은 점, 선 및 [3]등고선과 같은 영상 특징 간의 대응 관계를 찾습니다.명암 기반 방법은 전체 영상 또는 하위 영상을 등록합니다.하위 영상이 등록된 경우 해당 하위 영상의 중심이 해당 특징점으로 처리됩니다.기능 기반 메서드는 영상에서 특히 구별되는 여러 점 간의 대응 관계를 설정합니다.다음으로, 화상중의 복수의 점과의 대응 관계를 알고, 기하학적 변환을 결정해, 대상 화상을 기준 화상에 매핑 해, 기준 [3]화상과 대상 화상과의 포인트 바이 포인트 대응 관계를 확립한다.강도 기반 정보와 특징 기반 정보를 결합하는 방법도 개발되었다.[4]

변환 모델

화상 등록 알고리즘은 대상 화상 공간을 기준 화상 공간에 관련짓기 위해 사용하는 변환 모델에 따라 분류할 수도 있다.변환 모델의 첫 번째 광범위한 범주에는 회전, 스케일링, 변환 및 기타 아핀 [5]변환이 포함된 선형 변환이 포함됩니다.선형 변환은 기본적으로 전역적이므로 이미지 [3]간의 로컬 기하학적 차이를 모델링할 수 없습니다.

변환의 두 번째 범주는 '탄성' 또는 '비강성' 변환을 허용합니다.이러한 변환은 대상 영상을 기준 영상과 정렬하도록 로컬로 왜곡할 수 있습니다.비강성 변환에는 방사형 기저 함수(박판 또는 표면 스플라인, 다중 4차원 및 콤팩트하게 지원되는[3] 변환), 물리적 연속체 모델(점액체) 및 대형 변형 모델(차동형)이 포함된다.

변환은 일반적으로 모형이 매개 변수의 수를 지정하는 매개 변수로 설명됩니다.예를 들어 풀 화상의 번역은 단일 파라미터인 번역 벡터로 기술할 수 있다.이러한 모델을 파라메트릭 모델이라고 합니다.반면 비파라미터 모델에서는 파라미터화를 따르지 않으므로 각 영상 요소가 임의로 [6]이동될 수 있습니다.

워프 필드의 추정과 적용을 모두 구현하는 많은 프로그램이 있습니다.SPM 및 AIR 프로그램의 일부입니다.

덧셈이 아닌 함수 구성의 법칙을 통한 좌표 변환

또는 공간 정규화를 위한 많은 고급 방법들이 변환 중에 부드러운 서브매니폴드를 전달하기 때문에 변환 동형 및 미분 동형을 보존하는 구조 위에 구축되고 있다.미분동형은 그룹을 형성하지만 가법적이 아니라 함수 구성의 법칙에 따라 그룹이기 때문에 흐름에 따라 미분동형이 생성된다.이러한 이유로, 가산 그룹의 아이디어를 일반화하는 흐름은 1-1 및 변환에 대한 토폴로지를 보존하는 대규모 변형을 발생시킬 수 있습니다.이러한 변환을 생성하는 계산 방법은 종종 LDMM이라고[7][8][9][10] 불리며, 계산 해부학의 측지학적 흐름에 대응하는 좌표계를 연결하기 위한 주요 계산 도구로서 미분 동형의 흐름을 제공한다.

MRI[11] Studio 및 MRI Cloud[12].org를 포함하여 미분형 매핑을 통해 좌표의 미분형 변환을 생성하는 프로그램이 다수 있다.

공간 및 주파수 영역 방식

공간적 방법은 영상의 강도 패턴 또는 특징과 일치하여 영상 영역에서 작동합니다.특징 매칭 알고리즘의 일부는 오퍼레이터가 영상에서 대응하는 제어점(CP)을 선택하는 수동 화상 등록을 수행하기 위한 기존 기술보다 발전한 것입니다.제어점의 수가 적절한 변환 모델을 정의하는 데 필요한 최소값을 초과하는 경우 LANSAC와 같은 반복 알고리즘을 사용하여 영상 등록을 위한 특정 변환 유형(예: 아핀)의 매개변수를 강력하게 추정할 수 있습니다.

주파수 도메인 메서드는 변환 도메인에서 작업하는 동안 이미지 등록을 위한 변환 매개 변수를 찾습니다.이러한 방법은 변환, 회전 및 스케일링과 같은 간단한 변환에 사용할 수 있습니다.한 쌍의 영상에 위상 상관법을 적용하면 단일 피크를 포함하는 세 번째 영상이 생성됩니다.이 피크의 위치는 영상 간의 상대 변환에 해당합니다.많은 공간 영역 알고리즘과 달리 위상 상관 방법은 노이즈, 폐색 및 의료 또는 위성 영상의 일반적인 기타 결함에 대해 탄력적입니다.또한 위상 상관관계는 고속 푸리에 변환을 사용하여 두 이미지 간의 상호 상관관계를 계산하여 일반적으로 큰 성능 향상을 초래합니다.먼저 영상을 로그 극좌표로 [13][14]변환하여 두 영상 간의 회전 및 스케일 차이를 결정하도록 방법을 확장할 수 있습니다.푸리에 변환의 특성으로 인해 회전 및 스케일링 파라미터는 변환에 불변한 방법으로 결정될 수 있습니다.

싱글 모드와 멀티 모드 방식

단일 모드 방식과 다중 모드 방식 간에 다른 분류를 할 수 있습니다.단일 모달리티 방법은 동일한 스캐너/센서 유형으로 획득한 동일한 모달리티에 이미지를 등록하는 경향이 있는 반면, 다중 모달리티 등록 방법은 다른 스캐너/센서 유형으로 획득한 이미지를 등록하는 경향이 있습니다.

피사체의 이미지가 다른 스캐너에서 자주 획득되기 때문에 의료 영상에는 다중 형식 기록 방법이 자주 사용됩니다.예를 들어 뇌 CT/MRI 영상 또는 종양 위치 파악을 위한 전신 PET/CT 영상 등록, 해부학의 특정 부분을 분할하기 위한 비조영 CT 영상에 대한 조영 증강 CT 영상 등록, 방사선 치료에서의 전립선 위치 파악을 위한 초음파 및 CT 영상 등록을 포함한다.

자동 방식과 인터랙티브 방식

등록 방법은 제공하는 자동화 수준에 따라 분류할 수 있습니다.수동, 대화형, 반자동 및 자동 방식이 개발되었습니다.수동 방법에서는 영상을 수동으로 정렬할 수 있는 도구를 제공합니다.인터랙티브 방식에서는 특정 키 조작을 자동으로 실행함과 동시에 등록 안내를 사용자에게 의존하여 사용자의 편견을 줄입니다.반자동 방식은 더 많은 등록 단계를 자동으로 수행하지만 등록이 올바른지 확인하는 것은 사용자에게 달려 있습니다.자동 메서드는 사용자 조작을 허용하지 않으며 모든 등록 단계를 자동으로 수행합니다.

이미지 등록에 대한 유사성 측정

영상 유사성은 의료 영상에 널리 사용됩니다.화상 유사도 측정은, 2개의 [3]화상중의 강도 패턴간의 유사도를 정량화한다.영상 유사성 측정의 선택은 등록할 영상의 촬영장비에 따라 달라집니다.화상 유사도 측정의 일반적인 예로는 상호 상관 관계, 상호 정보, 강도 차이의 제곱합 및 비율 화상 균일성이 있습니다.멀티 모드 화상 등록에서는, 상호 정보와 정규화된 상호 정보가 가장 일반적인 화상 유사도 대책이다.교차 상관, 제곱 강도 차이의 합계 및 비율 영상 균일성은 일반적으로 동일한 모달리티의 영상 등록에 사용됩니다.

대규모 변형을 통한 매칭 방법을 기반으로 한 비용 함수에 대한 많은 새로운 특징이 계산 해부학 분야에서 나타났다. 여기에는 대응 관계가 없는 점 세트 또는 랜드마크인 측정 매칭, 곡선 매칭 및 수학적 전류 및 가변 몰드를 통한 표면 매칭이 포함된다.

불확실성

시공간적 차이가 있는 이미지 등록에는 불확실성 수준이 있습니다.의료 진단과 같은 많은 변화 감지 애플리케이션에서 불확실성 측정을 통한 자신 있는 등록은 매우 중요합니다.

디지털 이미지 픽셀이 공간 거리 수 킬로미터(NASA의 LANDAT 이미지 등)를 나타낼 수 있는 원격 감지 애플리케이션에서 불확실한 이미지 등록은 솔루션이 지면으로부터 수 킬로미터 떨어진 곳에 있을 수 있음을 의미합니다.몇몇 주목할 만한 논문은 결과를 [15][16]비교하기 위해 이미지 등록의 불확실성을 정량화하려고 시도했다.그러나 불확실성을 정량화하거나 변형을 추정하기 위한 많은 접근방식은 계산 집약적이거나 제한된 공간 변환 집합에만 적용된다.

적용들

뇌의 MRI 영상 2개 등록

이미지 등록은 원격 감지(카토그래피 업데이트) 및 컴퓨터 비전에 적용됩니다.이미지 등록이 가능한 어플리케이션의 범위가 넓기 때문에 모든 용도에 최적화된 일반적인 방법을 개발하는 것은 불가능하다.

의료 영상 기록(변화 감지 또는 종양 모니터링과 같은 다른 시점에 촬영된 동일한 환자의 데이터에 대한)에는 피험자의 변형(호흡, 해부학적 변화 등으로 인한)에 대처하기 위한 탄력적(비강성) 기록이 추가로 수반되는 경우가 많습니다.또한 의료 영상의 비강성 등록을 사용하여 신경 영상 촬영을 위한 Talairach Atlas와 같은 해부학적 Atlas에 환자의 데이터를 등록할 수 있습니다.

천체사진에서는 희미한 물체의 신호 대 잡음 비율을 높이기 위해 이미지 정렬과 스태킹이 자주 사용됩니다.쌓지 않으면 행성의 태양 횡단 회전과 같은 사건의 시간 경과를 발생시키는 데 사용될 수 있습니다.제어점(자동 또는 수동으로 입력)을 사용하여 컴퓨터는 한 이미지에 변환을 수행하여 두 번째 또는 여러 개의 이미지에 주요 피쳐가 정렬되도록 합니다.이 기술은 또한 다양한 크기의 이미지에 사용할 수 있으며, 다양한 망원경 또는 렌즈를 통해 촬영한 이미지를 결합할 수 있습니다.

cryo-TEM 불안정성에서는 샘플 드리프트가 발생하며, 높은 분해능을 유지하고 노이즈 영상에 대한 높은 신호를 얻기 위해 정확한 영상 기록과 함께 많은 빠른 수집이 필요합니다.SNR이 낮은 데이터의 경우 영상 [17]스택에 있는 모든 영상 순열을 교차 상관하여 최상의 영상 등록이 이루어집니다.

이미지 등록은 파노라마 이미지 생성에 필수적인 부분입니다.카메라와 카메라폰과 같은 임베디드 기기에서 실시간으로 구현되고 실행될 수 있는 많은 다른 기술들이 있다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Lisa Gottesfeld Brown, 이미지 등록 기술 조사(개요), ACM Computing Survey 아카이브, 제24권, 제4호, 1992년 12월, 325 - 376페이지
  2. ^ 생체 이미징과 뇌 지도
  3. ^ a b c d e f g A. Ardeshir Goshtasby: 의료, 리모트 센싱, 산업 어플리케이션용 2-D 및 3-D 이미지 등록, Wiley Press, 2005.
  4. ^ Papademetris, Xenophon; Jackowski, Andrea P.; Schultz, Robert T.; Staib, Lawrence H.; Duncan, James S. (2004). "Integrated Intensity and Point-Feature Nonrigid Registration". Medical Image Computing and Computer-Assisted Intervention – MICCAI 2004. Lecture Notes in Computer Science. Vol. 3216. pp. 763–770. doi:10.1007/978-3-540-30135-6_93. ISBN 978-3-540-22976-6. ISSN 0302-9743.
  5. ^ http://www.comp.nus.edu.sg/~cs4243/cs4243/register/register.pdf[베어 URL PDF]
  6. ^ Sotiras, A.; Davatzikos, C.; Paragios, N. (July 2013). "Deformable Medical Image Registration: A Survey". IEEE Transactions on Medical Imaging. 32 (7): 1153–1190. doi:10.1109/TMI.2013.2265603. PMC 3745275. PMID 23739795.
  7. ^ Toga, Arthur W. (1998-11-17). Brain Warping. Academic Press. ISBN 9780080525549.
  8. ^ "Landmark matching on brain surfaces via large deformation diffeomorphisms on the sphere — University of Utah". utah.pure.elsevier.com. Archived from the original on 2018-06-29. Retrieved 2016-03-21.
  9. ^ Beg, M. Faisal; Miller, Michael I.; Trouvé, Alain; Younes, Laurent (2005). "Computing Large Deformation Metric Mappings via Geodesic Flows of Diffeomorphisms". International Journal of Computer Vision. 61 (2): 139–157. doi:10.1023/B:VISI.0000043755.93987.aa. S2CID 17772076. Retrieved 2016-03-21.
  10. ^ Joshi, S. C.; Miller, M. I. (2000-01-01). "Landmark matching via large deformation diffeomorphisms". IEEE Transactions on Image Processing. 9 (8): 1357–1370. Bibcode:2000ITIP....9.1357J. doi:10.1109/83.855431. ISSN 1057-7149. PMID 18262973.
  11. ^ "MRI Studio".
  12. ^ "MRICloud Brain Mapping".
  13. ^ B. Srinivasa Reddy; B. N. Chatterji (Aug 1996). "An FFT-Based Technique for Translation, Rotation and Scale-Invariant Image Registration". IEEE Transactions on Image Processing. 5 (8): 1266–1271. doi:10.1109/83.506761. PMID 18285214. S2CID 6562358.
  14. ^ Zokai, S., Wolberg, G., "대규모 유사성과 투영적 변환 회복을 위한 로그 극성 매핑을 사용한 이미지 등록"IEEE Transactions on Image Processing, vol. 14, No. 10, 2005년 10월
  15. ^ Simonson, K., Drescher, S., Tanner, F. 불확실성 분석을 통한 이진 이미지 등록에 대한 통계 기반 접근법.패턴 분석 및 머신 인텔리전스에 관한 IEEE 트랜잭션, 제29권, 제1호, 2007년 1월
  16. ^ Domokos, C., Kato, Z., Francos, J., 이진 영상의 아핀 변형 매개변수 추정.IEEE 국제음향, 음성, 신호처리에 관한 회의, 2008년
  17. ^ Savitsky; El Baggari; Clement; Hovden; Kourkoutis (2018). "Image registration of low signal-to-noise cryo-STEM data". Ultramicroscopy. 191: 56–65. arXiv:1710.09281. doi:10.1016/j.ultramic.2018.04.008. PMID 29843097. S2CID 26983019.

외부 링크

Wikimedia Commons에는 이미지 등록과 관련된 미디어가 있습니다.