이미지 융합

Image fusion

이미지 융합 과정은 여러 이미지에서 중요한 모든 정보를 수집하는 것으로 정의되며, 이러한 정보를 더 적은 수의 이미지, 보통 하나의 이미지에 포함시킨다. 이 단일 이미지는 어떤 단일 소스 이미지보다 더 유익하고 정확하며, 필요한 모든 정보로 구성되어 있다. 영상 융합의 목적은 데이터의 양을 줄이는 것뿐만 아니라 인간과 기계 인식에 보다 적합하고 이해할 수 있는 영상을 구성하는 것이다. [1] [2] 컴퓨터 비전에서 멀티센서 이미지 융합은 두 개 이상의 이미지에서 나온 관련 정보를 하나의 이미지로 결합하는 과정이다.[3] 결과 이미지는 어떤 입력 이미지보다 더 유용할 것이다.[4]

원격 감지 애플리케이션에서 공간 기반 센서의 가용성이 증가함에 따라 다른 이미지 융합 알고리즘에 대한 동기가 부여된다. 이미지 처리에서 여러 상황은 단일 이미지에서 높은 공간 및 높은 스펙트럼 분해능을 필요로 한다. 이용 가능한 대부분의 장비는 그러한 데이터를 설득력 있게 제공할 수 없다. 이미지 융합 기법은 서로 다른 정보 출처의 통합을 가능하게 한다. 융합된 이미지는 보완적인 공간 및 스펙트럼 분해능 특성을 가질 수 있다. 그러나 표준 영상 융합 기법은 병합하는 동안 다중 스펙트럼 데이터의 스펙트럼 정보를 왜곡할 수 있다.

위성 영상에서는 두 가지 유형의 영상을 사용할 수 있다. 인공위성에 의해 획득된 범색상 이미지는 이용 가능한 최대 분해능으로 전송되고 다중 스펙트럼 데이터는 더 높은 분해능으로 전송된다. 이것은 보통 두 배나 네 배 더 낮을 것이다. 수신기 스테이션에서, 범색상 이미지는 더 많은 정보를 전달하기 위해 다중 스펙트럼 데이터와 병합된다.

이미지 융합을 수행하기 위한 많은 방법이 존재한다. 가장 기본적인 것은 하이패스 필터링 기술이다. 이후 기법은 이산 웨이브릿 변환, 균일한 이성적 필터 뱅크, 라플라크 피라미드에 기초한다.

멀티 포커스 영상 융합

멀티 포커스 영상 융합은 입력 영상에서 모든 정보를 이상적으로 담고 있는 출력 영상을 만들기 위해 포커스 깊이가 다른 입력 영상에서 유용하고 필요한 정보를 수집하는 데 사용된다.[2][5] VSN(Visual Sensor Network)에서 센서는 영상과 비디오 시퀀스를 기록하는 카메라다. VSN의 많은 어플리케이션에서 카메라는 장면의 모든 세부 사항을 포함한 완벽한 일러스트를 제공할 수 없다. 카메라의 광학 렌즈에 제한된 초점 깊이가 존재하기 때문이다.[6] 따라서 카메라의 초점 길이에 위치한 물체만 초점이 맞춰지고 지워지고 이미지의 다른 부분은 흐릿해진다. VSN은 여러 대의 카메라를 이용해 장면에서 서로 다른 깊이의 포커스를 가진 영상을 촬영할 수 있다. 압력·온도 센서 등 다른 센서에 비해 카메라로 생성되는 데이터의 양이 많고, 제한된 대역 폭, 에너지 소비, 처리 시간 등 일부 한계로 인해 전송 데이터의 양을 줄이기 위해서는 로컬 입력 영상을 처리하는 것이 필수적이다. 앞에서 언급한 이유들은 다중 초점 영상 융합이 필요하다는 것을 강조한다. 멀티 포커스 영상 융합은 입력된 영상들의 모든 중요한 정보를 포함한 입력된 다중 포커스 영상을 하나의 영상에 결합하는 과정으로, 모든 입력 영상보다 장면에 대한 정확한 설명이 가능하다.[2]

이미지 통합 이유

멀티 센서 데이터 융합은 많은 응용 사례에 대한 보다 일반적인 공식 솔루션을 요구하는 분야가 되었다. 이미지 처리에서 여러 상황은 단일 이미지에서 높은 공간 및 높은 스펙트럼 정보를 필요로 한다.[7] 이것은 원격 감지에 중요하다. 그러나 이러한 금융상품은 설계상 또는 관찰 제약조건 때문에 그러한 정보를 제공할 수 없다. 이를 위한 한 가지 가능한 해결책은 데이터 융합이다.

표준 영상 융합 방법

영상 융합 방법은 크게 공간 영역 융합과 변환 영역 융합이라는 두 그룹으로 분류할 수 있다.

평균화, 브로베이 방식, 주성분 분석(PCA) 및 IHS 기반 방식과 같은 융합 방식은 공간 영역 접근법에 속한다. 또 다른 중요한 공간 영역 융합 방법은 하이패스 필터링 기반 기법이다. 여기서는 고주파 세부 정보가 MS 영상의 업샘플링 버전에 주입된다. 공간 영역 접근의 단점은 융합된 이미지에서 공간 왜곡을 발생시킨다는 것이다. 분류 문제와 같은 추가 처리를 진행하는 동안 스펙트럼 왜곡이 악재가 된다. 공간 왜곡은 영상 융합에 대한 주파수 영역 접근 방식으로 매우 잘 처리할 수 있다. 다중 솔루션 분석은 원격 감지 이미지를 분석하는 데 매우 유용한 도구가 되었다. 이산형 파장 변환은 핵융합에 매우 유용한 도구가 되었다. 라플라시안 피라미드 기반, 커브릿 변환 기반 등과 같은 다른 융접 방법들도 있다. 이 방법들은 융합된 이미지의 공간 및 스펙트럼 품질에서 다른 공간적 융합 방법에 비해 더 나은 성능을 보여준다.

영상 융합에 사용되는 영상은 이미 등록되어 있어야 한다. 등록 오류는 이미지 융합의 주요 오류 원인이다. 잘 알려진 이미지 통합 방법은 다음과 같다.

  • 하이패스 필터링 기법
  • IHS 변환 기반 이미지 융합
  • PCA 기반 이미지 융합
  • Wavelet 변환 영상 퓨전
  • 쌍방향 공간 주파수 일치

원격 감지 영상 퓨전

원격 감지의 이미지 융합에는 여러 애플리케이션 도메인이 있다. 중요한 영역은 다해상도 이미지 융합(일반적으로 범선 샤프닝이라고 함)이다. 위성 사진에서는 두 가지 유형의 이미지를 가질 수 있다.

  • 범색상 이미지 – 넓은 시야 파장 범위에서 수집되지만 흑백으로 렌더링되는 이미지.
  • 다중 스펙트럼 영상 – 둘 이상의 스펙트럼 또는 파장 간격에서 광학적으로 획득한 영상. 각 개별 이미지는 대개 동일한 물리적 영역과 스케일을 가지지만 다른 스펙트럼 밴드를 가진다.

SPOT PAN 위성은 고해상도(10m 픽셀) 범색상 데이터를 제공한다. LANDSAT TM 위성은 낮은 해상도(30m 픽셀)의 다중 스펙트럼 영상을 제공하는 반면, 이미지 통합은 이러한 이미지를 병합하여 단일 고해상도 다중 스펙트럼 이미지를 생성하려고 시도한다.

이미지 융합의 표준 병합 방법은 RGB(Red-Green-Blue)에서 Intensity-에 기초한다.Hue-Satation(IHS) 변환. 위성 영상 융합에 관련된 일반적인 단계는 다음과 같다.

  1. 저해상도 다중 스펙트럼 이미지의 크기를 범색 이미지와 동일한 크기로 조정하십시오.
  2. 다중 스펙트럼 이미지의 R, G, B 밴드를 IHS 구성요소로 변환한다.
  3. 다중 스펙트럼 이미지에 대해 범색상 이미지를 수정하십시오. 이 작업은 일반적으로 다중 스펙트럼 영상의 Intensity 구성 요소와 범색상 영상의 히스토그램 일치를 기준으로 수행된다.
  4. 명암 성분을 범색상 영상으로 교체하고 역 변환을 수행하여 고해상도 다중 스펙트럼 영상을 얻으십시오.

팬샤프닝은 포토샵으로 할 수 있다.[8] 원격 감지에서의 영상 융합 애플리케이션도 이용할 수 있다.[9]

의료 영상 융합

영상 융합은 의학 진단과 치료에서 사용되는 일반적인 용어가 되었다.[10] 이 용어는 환자의 여러 영상이 등록되어 중첩되거나 병합되어 추가 정보를 제공할 때 사용된다. 퓨전된 영상은 동일한 이미징 모달리티에서 복수의 영상에서 생성하거나,[11] 자기공명영상(MRI), 컴퓨터단층촬영(CT), 양전자 방출단층촬영(PET), 단일광자 방출단층촬영(SPEP)과 [12]같은 복수의 촬영장비의 정보를 결합하여 생성될 수 있다. 방사선학과 방사선 종양학에서, 이 이미지들은 다른 목적으로 사용된다. 예를 들어, CT 영상은 조직 밀도의 차이를 확인하기 위해 더 자주 사용되는 반면 MRI 영상은 뇌종양을 진단하는 데 사용된다.

정확한 진단을 위해 방사선사는 여러 이미지 형식의 정보를 통합해야 한다. 융합되고 해부학적으로 일관된 이미지는 암을 진단하고 치료하는데 특히 유익하다. 이러한 신기술의 등장으로 방사선 종양학자는 강도 변조 방사선 치료(IMRT)를 최대한 활용할 수 있다. 진단 영상을 방사선 계획 영상에 오버레이할 수 있으면 IMRT 표적 종양 볼륨이 더 정확해진다.

이미지 통합 메트릭

이미지 통합 방법의 비교 분석은 서로 다른 메트릭스가 서로 다른 사용자 요구를 지원하며, 서로 다른 이미지 통합 방법에 민감하며, 애플리케이션에 맞게 조정되어야 한다는 것을 보여준다. 이미지 융합 측정 지표의 범주는 정보 이론[4] 특징, 구조 유사성 또는 인간의 인식에 기초한다.[13]

참고 항목

참조

  1. ^ Zheng, Yufeng; Blasch, Erik; Liu, Zheng (2018). Multispectral Image Fusion and Colorization. SPIE Press. ISBN 9781510619067.
  2. ^ a b c M., Amin-Naji; A., Aghagolzadeh (2018). "Multi-Focus Image Fusion in DCT Domain using Variance and Energy of Laplacian and Correlation Coefficient for Visual Sensor Networks". Journal of AI and Data Mining. 6 (2): 233–250. doi:10.22044/jadm.2017.5169.1624. ISSN 2322-5211.
  3. ^ Haghighat, M. B. A.; Aghagolzadeh, A.; Seyedarabi, H. (2011). "Multi-focus image fusion for visual sensor networks in DCT domain". Computers & Electrical Engineering. 37 (5): 789–797. doi:10.1016/j.compeleceng.2011.04.016.
  4. ^ a b Haghighat, M. B. A.; Aghagolzadeh, A.; Seyedarabi, H. (2011). "A non-reference image fusion metric based on mutual information of image features". Computers & Electrical Engineering. 37 (5): 744–756. doi:10.1016/j.compeleceng.2011.07.012.
  5. ^ Naji, M. A.; Aghagolzadeh, A. (November 2015). Multi-focus image fusion in DCT domain based on correlation coefficient. 2015 2nd International Conference on Knowledge-Based Engineering and Innovation (KBEI). pp. 632–639. doi:10.1109/KBEI.2015.7436118. ISBN 978-1-4673-6506-2. S2CID 44524869.
  6. ^ Naji, M. A.; Aghagolzadeh, A. (November 2015). A new multi-focus image fusion technique based on variance in DCT domain. 2015 2nd International Conference on Knowledge-Based Engineering and Innovation (KBEI). pp. 478–484. doi:10.1109/KBEI.2015.7436092. ISBN 978-1-4673-6506-2. S2CID 29215692.
  7. ^ AL Smadi, Ahmad (18 May 2021). "Smart pansharpening approach using kernel-based image filtering". IET Image Processing. doi:10.1049/ipr2.12251.
  8. ^ 포토샵에서 판샤프닝
  9. ^ "Beyond Pan-sharpening: Pixel-level Fusion in Remote Sensing Applications" (PDF). Archived from the original (PDF) on 2015-09-01. Retrieved 2013-03-05.
  10. ^ James, A.P.; Dasarathy, B V. (2014). "Medical Image Fusion: A survey of state of the art". Information Fusion. 19: 4–19. arXiv:1401.0166. doi:10.1016/j.inffus.2013.12.002. S2CID 15315731.
  11. ^ Gooding, M.J.; et al. (2010). "Investigation into the fusion of multiple 4-D fetal echocardiography images to improve image quality". Ultrasound in Medicine and Biology. 36 (6): 957–66. doi:10.1016/j.ultrasmedbio.2010.03.017. PMID 20447758.
  12. ^ Maintz, J.B.; Viergever, M.A. (1998). "A survey of medical image registration". Medical Image Analysis. 2 (1): 1–36. CiteSeerX 10.1.1.46.4959. doi:10.1016/s1361-8415(01)80026-8. PMID 10638851.
  13. ^ Liu, Z.; Blasch, E.; Xue, Z.; Langaniere, R.; Wu, W. (2012). "Objective Assessment of Multiresolution Image Fusion Algorithms for Context Enhancement in Night Vision: A Comparative Survey". IEEE Transactions on Pattern Analysis and Machine Intelligence. 34 (1): 94–109. doi:10.1109/tpami.2011.109. PMID 21576753. S2CID 9248856.

외부 링크